AI 시대 일 잘하는 사람의 7가지 특징: METR 19% 실험과 하버드-BCG 758명 연구로 본 메타인지·문제 정의·문해력

"AI를 쓰면 일이 빨라진다"는 믿음, 측정해 보셨습니까

AI를 쓰고 나서 일이 빨라졌다고 느끼시나요?

아마 그렇다고 답하실 겁니다. 초안이 몇 초 만에 나오고, 막히던 일이 술술 풀리는 느낌이 드니까요.

그런데 그 느낌을 실제로 재 본 실험이 있습니다. 결과는 꽤 잔인합니다.

비영리 AI 연구기관 METR은 2025년, 자기 프로젝트를 수년간 다뤄 온 숙련 개발자 16명에게 실제 업무 246건을 맡겼습니다. 과제마다 무작위로 AI 사용을 허용하거나 금지했습니다.

시점	개발자들의 답 / 실제 결과
실험 전 예측	AI를 쓰면 24% 빨라질 것
실험 후 체감	20% 정도 빨라진 것 같다
실제 측정	19% 더 느려짐

체감과 실제 사이에 39%포인트의 간극이 있었습니다.

이 실험은 2025년 초 도구 기준입니다. AI는 계속 발전하고 있으니 속도 결과는 달라질 수 있습니다. 하지만 이 실험이 남긴 교훈은 속도가 아닙니다. 자기가 얼마나 잘하고 있는지에 대한 감각이 이만큼 틀릴 수 있다는 사실입니다.

이 글은 한 독서 유튜브 채널이 책 《AI 시대, 어떻게 일할 것인가》를 중심으로 정리한 내용을 바탕으로, 인용된 연구를 원 논문과 대조해 다시 썼습니다. 영상과 논문의 숫자가 다른 곳은 논문 기준으로 바로잡았습니다.

AI 시대 일 잘하는 사람의 7가지 특징

1. 겸손(메타인지) 2. 문제 정의 3. 언러닝 4. 자기 분야의 전문성 5. 책임 6. 업무 흐름 속 AI 활용 7. 문해력

 

한눈에 보는 7가지

특징	스스로에게 던질 질문	관련 근거
겸손(메타인지)	나는 무엇을 모르는가	METR 실험
문제 정의	이 질문이 맞는 질문인가	오구즈 아카르의 문제 정식화
언러닝	무엇을 버려야 하는가	피터 센게, 배리 오라일리
전문성	AI의 답을 검증할 수 있는가	하버드-BCG 758명 실험
책임	이 결정은 누구의 것인가	자동화 편향
워크플로	AI가 업무 흐름에 들어와 있는가	MIT NANDA 보고서
문해력	정확히 읽고 정확히 쓰는가	PIAAC 성인 역량 연구

1. 겸손한 사람, 즉 메타인지가 높은 사람

겸손이라고 하면 자기를 낮추는 태도를 떠올립니다. 여기서 말하는 겸손은 다릅니다. 자기 자신을 정확하게 보는 능력입니다.

자기가 틀릴 수 있다는 걸 아는 사람은 AI도 틀릴 수 있다는 걸 압니다. 그래서 AI가 그럴듯한 거짓을 말할 때 오히려 강해집니다.

책은 겸손의 반대편에 두 가지를 둡니다.

• 오만: "내가 해 봐서 아는데 AI는 엉터리야."
• 나태: "그냥 AI가 정해 줘."

둘 다 겸손이 아닙니다. 책의 표현을 빌리면 "나는 모른다"는 인정과 "그래도 내가 판단한다"는 책임이 한 사람 안에 함께 있어야 합니다.

METR 실험의 개발자들에게 부족했던 것은 실력이 아니었습니다. 자기 실력을 정확히 재는 눈이었습니다.

2. 문제를 제대로 정의할 줄 아는 사람

AI는 문제가 주어지면 답을 잘 냅니다. 그런데 문제 자체가 틀렸다면 어떻게 될까요?

킹스칼리지런던의 오구즈 아카르 교수는 프롬프트 엔지니어링 기술은 AI가 발전하면서 사라질 수 있다고 지적했습니다. 대신 문제를 제대로 정의하는 일, 즉 문제 정식화(problem formulation)는 인간이 맡을 수밖에 없다고 강조했습니다.

책에 나오는 예시가 쉽습니다.

실연한 직후 AI에게 "한 달 안에 10kg 빼는 방법 알려 줘"라고 물으면 AI는 성실하게 식단과 운동 계획을 내놓습니다. 하지만 "나는 왜 갑자기 살을 빼려 하는가", "지금 내게 필요한 게 정말 감량인가"는 AI가 대신 물어 주지 않습니다.

업무도 같습니다.

일 못하는 방식	일 잘하는 방식
"내년 신상 스마트폰 기획 아이디어 10개 뽑아 줘"	판매 부진 원인 파악 → 호의적인 소비자 분류 → 강점·약점 정리 → 그것을 AI에 건넨 뒤 기획 요청

결과물의 수준은 프롬프트 기술보다 그 앞 단계에서 갈립니다.

3. 언러닝을 할 줄 아는 사람

MIT 슬론 경영대학원의 피터 센게는 "오늘의 문제는 어제의 해결책에서 비롯된다"고 말했습니다.

어제의 미덕이 오늘의 악덕이 되는 경우는 흔합니다.

• 남의 일까지 묵묵히 도맡는 것은 팀원에게는 미덕입니다. 리더가 되면 일을 맡기지 못하는 무능이 됩니다.
• 20대에 밤샘으로 성과를 낸 사람이 50대에도 같은 방식을 고집하면 몸이 먼저 무너집니다.

그래서 필요한 것이 언러닝입니다. 더 나은 방법을 받아들이기 위해 기존의 사고방식을 의도적으로 버리는 일입니다.

배리 오라일리는 이를 세 단계의 순환으로 정리했습니다.

1. 비움 학습: 무엇을 왜 버릴지 명확히 정합니다.
2. 재학습: 기존 신념과 충돌하는 정보까지 받아들이며 다시 배웁니다.
3. 전환: 배운 것을 실제 행동으로 옮깁니다. 이것이 다음 비움의 출발점이 됩니다.

핵심은 더 많이 하는 것이 아니라 덜어내는 것입니다. AI가 '더 많이, 더 빠르게'를 가져갔다면 인간의 자리는 그 반대편에 있습니다.

4. 자기 분야의 전문성이 높은 사람

하버드 비즈니스 스쿨과 보스턴컨설팅그룹(BCG)은 컨설턴트 758명을 대상으로 사전 등록된 무작위 실험을 했습니다. 결과는 두 방향으로 갈렸습니다.

과제 유형	AI를 쓴 그룹의 결과
AI 역량 범위 안의 과제	과제 12.2% 더 완수, 25.1% 더 빠름, 품질 40% 이상 높음
AI 역량 범위 밖의 과제	정답률 19%포인트 낮음

범위 밖에서는 AI가 그럴듯하게 틀렸고, 사람이 그것을 그대로 받았습니다.

더 무서운 것은 후속 연구입니다. BCG 컨설턴트 72명이 GPT-4의 답을 검증하려 한 대화를 분석했더니, 사람이 반박할수록 AI는 한계를 인정하기보다 설득의 강도를 높였습니다. 사과하고 수정하는 듯하면서 원래 주장을 더 그럴듯한 근거로 되풀이했습니다. 연구진은 이를 '설득 폭격(persuasion bombing)'이라고 불렀습니다.

그래서 전문성이 필요합니다. 지치지 않는 인턴이 초안을 무한히 만들어 내는 시대에 중요한 것은 그 결과물을 깐깐하게 평가하고 골라내는 안목입니다.

책은 여기에 경고를 하나 붙입니다. 그 안목은 구경만 해서는 생기지 않습니다. 게임 경기를 오래 본다고 게임을 잘하게 되지 않는 것과 같습니다. AI가 만들어 준 결과물에만 의존하면 검증할 눈은 끝내 생기지 않습니다.

5. 책임을 질 줄 아는 사람

인지심리학에는 자동화 편향이라는 개념이 있습니다. 자동화 시스템의 판단을 자기 판단보다 우선시하는 경향입니다.

문제는 사고가 났을 때입니다. "내가 아니라 시스템이 틀렸다"는 면피 심리가 작동합니다. 일도 책임도 기계에 떠넘기는 것입니다.

책의 입장은 단호합니다. 일은 AI에게 맡길 수 있고 판단도 위탁할 수 있지만, 책임은 떠넘길 수 없습니다.

• AI에게 "어떻게 하는 게 좋을까요?"라고 물을 수 있습니다.
• 하지만 "이렇게 하겠습니다"는 사람의 입에서 나와야 합니다.

결정의 근거를 밖에 두면 결과의 책임도 밖으로 밀려납니다. "AI가 그렇게 하라고 했다"는 말이 모든 결정의 알리바이가 될 수 있는 시대이기에 이 유혹은 더 커집니다.

6. 조직의 업무 흐름에서 AI를 쓸 수 있는 사람

여기서부터는 개인기가 아니라 일하는 흐름의 문제입니다.

MIT의 프로젝트 NANDA가 2025년 발표한 보고서는 업계를 흔들었습니다. 300건이 넘는 AI 도입 사례를 검토했더니, 기업들이 300억~400억 달러를 투자하고도 95%가 측정 가능한 손익 개선을 만들지 못했다는 내용입니다.

이 95%라는 숫자에는 방법론 논쟁이 있습니다. 조사 대상 조직이 공개되지 않았고 보고서 스스로도 예비 결과라고 밝혔습니다. 그래도 연구진이 지목한 원인은 눈여겨볼 만합니다. 모델 성능도, 규제도 아니었습니다. AI를 실제 업무 흐름에 통합하지 못한 것이었습니다.

책에는 마케팅팀 '강 과장'이 등장합니다. 공식 역할 외에 데이터 분석, 에이전시 관리, 후배 멘토링까지 떠맡고 늘 끌려다니는 인물입니다. 책이 제안하는 재설계는 이렇습니다.

• 메일 분류, 자료 취합, 회의록 정리 같은 반복 업무는 자동화합니다.
• 핵심 업무는 AI에게 초안을 맡기되, 조건과 맥락을 붙여 계속 다시 시킵니다.
• 자신 없는 분야에서는 AI를 스승으로 삼습니다.
• 후배 피드백과 타 부서 소통에도 AI를 끌어들여 모호한 말을 줄입니다.

조직 차원의 방법은 의외로 소박합니다. 대단한 강연도 긴 프로그램도 필요 없습니다. AI와 함께 일한 경험을 매주 한 번, 티타임 정도의 시간에 서로 공유하는 것입니다.

7. 문해력: 나머지 여섯 가지를 움직이는 엔진

앞의 여섯 가지는 모두 같은 토대 위에 서 있습니다.

자기가 뭘 모르는지 아는 것, 문제를 다시 정의하는 것, 낡은 전제를 버리는 것, AI의 답을 검증하는 것, 판단을 남에게 설명하는 것. 전부 읽고 쓰는 능력입니다.

같은 도구를 쥐고도 결과가 갈리는 이유가 여기에 있습니다.

• AI에게 무엇을 시킬지 정확한 말로 풀어내는 능력
• 맥락과 조건을 빠짐없이 구조화해 전달하는 능력
• 돌아온 답에서 사실과 그럴듯한 포장을 가려내는 능력

문해력은 교양의 문제만도 아닙니다. 스탠퍼드대 후버연구소의 에릭 하누셰크 등이 OECD 국제성인역량조사(PIAAC) 데이터를 분석한 연구에 따르면, 수리력 점수가 1표준편차 오를 때 한창 일할 연령대 근로자의 임금은 평균 18% 높았습니다. 논문은 수리력과 문해력에서 이 효과가 큰 편이라고 설명합니다.

영상에서는 이 18%를 문해력 수치로 소개하지만, 논문의 대표 수치는 수리력 기준이라는 점은 구분해 두겠습니다.

브라질의 교육철학자 파울루 프레이리는 글을 읽는 일이 곧 세상을 읽는 일이라고 보았습니다. 《문해내공》(신종호·김윤정)은 이를 '지적 주권'이라고 부릅니다. 오늘날의 문맹은 글자를 못 읽는 사람이 아니라, 누군가 설계한 알고리즘과 프레임에 갇힌 사람이라는 것입니다.

오늘 해 볼 3가지

1. 측정하기: 이번 주 업무 하나를 골라 AI를 썼을 때 걸린 시간을 실제로 적어 봅니다. 체감과 비교합니다.
2. 질문 앞에 질문 놓기: AI에게 요청하기 전에 "이 일의 진짜 문제는 무엇인가"를 한 문장으로 먼저 씁니다.
3. 밖에서 검증하기: AI의 답이 의심스러우면 같은 대화창에서 따지지 말고 원자료나 다른 출처로 확인합니다.

자주 묻는 질문

METR 실험은 AI가 쓸모없다는 뜻인가요?

아닙니다. 익숙한 코드베이스를 다루는 숙련 개발자 16명, 2025년 초 도구라는 좁은 조건의 결과입니다. 핵심은 체감과 실제가 크게 다를 수 있다는 점입니다.

프롬프트 엔지니어링은 배울 필요가 없나요?

필요 없다는 뜻이 아닙니다. 프롬프트 기술보다 그 앞 단계인 문제 정의가 결과를 더 크게 가른다는 뜻입니다.

AI가 틀린 것 같을 때 어떻게 검증해야 하나요?

후속 연구는 같은 대화 안에서 AI에게 다시 확인을 요구하면 설득만 강해질 수 있다고 경고합니다. 대화 밖의 자료로 검증하는 편이 안전합니다.

마치며

도구는 모두에게 똑같이 주어졌습니다. 결과는 똑같지 않습니다.

이 글의 일곱 가지를 다 외우실 필요는 없습니다. 하나만 기억하셔도 됩니다. "빨라진 것 같다"와 "빨라졌다"는 다릅니다.

이번 주에 딱 한 번만 시간을 재 보시기 바랍니다. 결과가 예상과 같다면 다행이고, 다르다면 그것이 시작입니다.

※ 이 글은 독서 유튜브 영상의 내용을 바탕으로 하되, 인용된 연구는 원 논문과 보도를 기준으로 수치를 확인해 정리했습니다. 책의 내용은 원문 인용이 아닌 요약입니다.