*이 장을 다 읽고 나면 알게 될 것: 인간이 왜 합리적이라는 환상을 가지고 있는지, 그리고 그 환상이 깨졌을 때 AI와의 관계가 어떻게 달라지는지*
도입: 그 회의실에서 일어난 일
2003년 여름이었다. 나는 한 대기업의 전략 회의에 참석해 있었다. 안건은 중국 진출이었다. 투자 규모는 수천억 원. 데이터는 충분했다. 시장 분석 보고서만 세 권이었다. 현지 실사도 두 번 다녀왔다. 컨설팅 회사 두 곳의 보고서가 있었다. 모든 숫자가 "가라"고 말하고 있었다.
그런데 회의실에서 실제로 벌어진 일은 숫자와 무관했다.
부회장이 말했다. "김 전무가 작년에 동남아에서 성공했으니, 이번에도 김 전무가 맡으면 되겠지." 그것이 핵심 논거였다. 중국과 동남아는 완전히 다른 시장이라는 사실은 아무도 말하지 않았다. 아니, 모두 알고 있었다. 그러나 말하지 않았다.
3년 후 그 법인은 철수했다. 수백억 원의 손실을 안고.
그런 장면을 나는 수없이 목격했다. 데이터가 있어도 무시된다. 분석이 있어도 직감이 우선한다. 전문가 의견보다 상사의 한마디가 무겁다. 그때마다 같은 의문이 떠올랐다. 인간은 정말로 합리적인 존재인가.
답은 70년 전에 이미 나와 있었다. 한 경제학자가 그것을 증명했다. 그 사람의 이름은 허버트 사이먼이다.
2.1 경제학이 가정한 인간, 현실의 인간
경제학에는 호모 이코노미쿠스라는 개념이 있다. 경제적 인간. 이 가상의 존재는 완벽하다. 모든 정보를 수집하고, 모든 대안을 비교하고, 최적의 선택을 한다. 감정에 흔들리지 않고, 피로에 지치지 않으며, 시간 제약도 느끼지 않는다.
200년간 경제학은 이 가정 위에 서 있었다. 수요 곡선, 공급 곡선, 균형 가격. 모든 이론이 합리적 인간을 전제했다. 수학적으로 아름다웠다. 논리적으로 완결되어 있었다.
문제는 하나였다. 현실의 인간은 그렇지 않다는 것이다.
허버트 사이먼은 1947년에 이 사실을 정면으로 말한 최초의 경제학자였다[^1]. 카네기멜론 대학의 젊은 교수였던 그는 이렇게 물었다. 인간이 정말로 최적의 선택을 하는가. 아니면, 그저 충분히 괜찮은 선택에서 멈추는가.
그의 답은 후자였다. 그는 이것을 만족화라고 불렀다. 영어로는 satisficing. satisfy와 suffice를 합친 조어다. 인간은 최적화하지 않는다. 만족할 만한 수준에 도달하면 거기서 멈춘다.
왜 그런가. 사이먼의 설명은 단순했다. 인간의 인지 능력에는 한계가 있기 때문이다. 정보를 처리하는 능력, 기억하는 능력, 비교하는 능력, 계산하는 능력. 모두 유한하다. 무한한 합리성은 무한한 인지 능력을 필요로 한다. 인간에게는 그것이 없다.
그래서 사이먼은 제한적 합리성이라는 개념을 제안했다. 인간은 합리적이다. 그러나 제한적으로만 합리적이다. 이 구분은 사소해 보이지만 혁명적이었다. 경제학의 근본 가정을 흔들었기 때문이다.
1978년, 사이먼은 노벨 경제학상을 받았다. 수상 이유는 "경제 조직 내 의사결정 과정에 대한 선구적 연구"였다. 경제학자들은 불편했다. 그의 이론은 그들이 200년간 쌓아올린 건물의 기초를 건드렸기 때문이다.
잠시 멈추고 생각해보자
당신이 오늘 내린 결정 중 하나를 떠올려보자. 그것은 최적의 선택이었는가, 아니면 충분히 괜찮은 선택이었는가? 둘의 차이를 어떻게 구분할 수 있는가?
2.2 빠른 생각, 느린 생각
사이먼이 문을 열었다면, 그 문을 활짝 밀어젖힌 사람은 대니얼 카네만이다.
이스라엘 출신의 심리학자 카네만은 동료 아모스 트버스키와 함께 인간 판단의 오류를 체계적으로 연구했다. 그들의 발견은 충격적이었다. 인간은 단지 정보가 부족해서 틀리는 것이 아니었다. 정보가 충분할 때도 체계적으로 틀렸다.
카네만은 이것을 두 가지 시스템으로 설명했다[^2].
시스템 1은 빠른 생각이다. 자동적이고, 노력이 필요 없고, 감정적이다. 누군가의 얼굴을 보고 화가 났는지 알아차리는 것. 2+2가 4라는 것을 아는 것. 운전 중 갑자기 나타난 장애물을 피하는 것. 이것이 시스템 1이다. 빠르고 효율적이다.
시스템 2는 느린 생각이다. 의식적이고, 노력이 필요하고, 논리적이다. 복잡한 수학 문제를 푸는 것. 세금 신고서를 작성하는 것. 중요한 계약서의 조항을 하나하나 검토하는 것. 이것이 시스템 2다. 느리지만 정확하다.
문제는 이것이다. 인간은 시스템 2를 써야 할 상황에서도 시스템 1에 의존하는 경향이 있다.
왜냐하면 시스템 2는 피곤하기 때문이다. 에너지를 많이 쓴다. 불쾌하다. 인간의 뇌는 가능하면 시스템 2를 쓰지 않으려 한다. 그래서 복잡한 문제 앞에서도 직감으로 답하려 한다. 그 직감이 틀릴 때, 인지 편향이 발생한다.
카네만과 트버스키가 발견한 인지 편향의 목록은 길다[^3]. 그중 일상에서 가장 자주 나타나는 것 몇 가지만 보자.
확증 편향. 자신이 이미 믿고 있는 것을 확인해주는 정보만 찾고, 반대 증거는 무시한다. 내가 2003년 회의실에서 본 것이 바로 이것이다. 사람들은 "중국 진출은 좋다"는 결론을 이미 정해놓고, 그것을 뒷받침하는 숫자만 보고 있었다.
가용성 편향. 떠올리기 쉬운 사례가 더 자주 일어나는 것처럼 느낀다. 비행기 사고 뉴스를 본 직후에는 비행이 위험하게 느껴진다. 실제로는 자동차가 수천 배 더 위험하지만.
앵커링 효과. 처음 접한 숫자에 판단이 끌려간다. 부동산 중개인이 높은 가격을 먼저 보여주는 이유가 이것이다. 그 뒤에 보여주는 "할인된" 가격이 합리적으로 느껴지도록.
손실 회피. 같은 크기의 이득보다 손실이 두 배 이상 아프게 느껴진다. 그래서 사람들은 손해를 확정 짓기를 꺼린다. 주식이 떨어져도 팔지 못한다. "언젠가 오르겠지." 그 언젠가는 대체로 오지 않는다.
2002년, 카네만은 노벨 경제학상을 받았다. 심리학자가 경제학상을 받은 것이다. 그만큼 그의 발견이 경제학의 근본을 흔들었다는 뜻이다.
잠시 멈추고 생각해보자
위에 나온 네 가지 편향 중, 당신이 가장 자주 빠지는 것은 무엇인가? 그것을 인식한다고 해서 그 편향에서 벗어날 수 있는가? 아는 것과 고치는 것은 같은가?
2.3 의사결정의 민낯
솔직히 말하겠다. 나는 오랫동안 기업 의사결정을 가까이서 봐왔다. 그리고 내가 발견한 것은 카네만의 이론이 교과서에서만 유효한 게 아니라 현실에서 매일 작동한다는 사실이었다.
한국 기업의 의사결정은 특히 몇 가지 패턴을 반복한다.
첫째, 서열이 분석을 이긴다. 아무리 좋은 데이터가 있어도, 최종 결정은 자리가 높은 사람의 직감으로 내려지는 경우가 많다. "내가 업계를 30년 봤는데"라는 한마디가 석 달간의 분석을 뒤집는다. 물론 그 직감이 맞을 때도 있다. 경험에서 나온 패턴 인식이 데이터보다 빠를 수 있다. 그러나 환경이 바뀌었을 때, 과거의 직감은 위험하다.
둘째, 매몰 비용의 함정에 빠진다. "이미 이만큼 투자했으니까." 이 논리로 실패하는 프로젝트에 추가 자원을 쏟아붓는다. 경제학 교과서에서 첫 장에 나오는 오류다. 이미 쓴 돈은 회수할 수 없다. 앞으로의 수익만이 판단 기준이어야 한다. 모든 경영자가 이것을 안다. 그러나 실행하는 경영자는 드물다.
셋째, 집단 사고가 작동한다. 조직 안에서 이미 형성된 합의를 깨는 사람은 불이익을 받는다. 그래서 모두 침묵한다. 아니면 이미 합의된 방향을 더 강화하는 의견만 낸다. 이것을 어빙 재니스는 집단 사고라고 불렀다[^4]. 1961년 피그만 침공 실패가 대표 사례다. 케네디의 참모들은 모두 그 계획이 무리라는 것을 알았다. 그러나 아무도 말하지 않았다.
나는 비슷한 장면을 한국 기업에서 수십 번 봤다.
이 모든 것의 공통점은 무엇인가. 인간은 정보가 부족해서 틀리는 것이 아니다. 인간이라서 틀리는 것이다. 인지의 구조 자체가 오류를 만들어낸다. 이것은 교육으로 완전히 고쳐지지 않는다. 의지로 극복되지 않는다. 인간이라는 하드웨어의 특성이기 때문이다.
잠시 멈추고 생각해보자
당신의 조직에서 가장 최근에 내린 중요한 결정을 떠올려보자. 그 결정은 데이터에 근거했는가, 아니면 서열에 의해 결정되었는가? 만약 가장 높은 자리의 사람이 반대 의견이었다면, 결론이 달라졌을까?
2.4 AI도 틀리고, 인간도 틀린다 — 그런데 다르게 틀린다
1장에서 우리는 AI의 세 가지 오류 패턴을 봤다. 환각, 분포 이동, 굿하트의 법칙. 그리고 그것이 인간의 오류 패턴과 비슷하다고 했다.
이제 그 비교를 더 정밀하게 해보자.
AI의 환각은 학습 데이터에 없는 것을 만들어내는 현상이다. 인간의 확증 편향은 보고 싶은 것만 보는 현상이다. 둘 다 현실과 다른 것을 믿게 만든다. 그러나 메커니즘이 다르다. AI는 빈 공간을 채우려는 구조적 경향 때문에 환각한다. 인간은 기존 신념을 보호하려는 심리적 경향 때문에 편향된다.
AI의 분포 이동은 학습 데이터 밖의 상황에서 약해지는 현상이다. 인간의 전문성 함정도 비슷하다. 한 분야의 전문가가 다른 분야에서 과신하는 현상. 노벨상 수상자가 자기 전문 분야 밖에서 황당한 주장을 하는 경우를 생각해보자. 라이너스 폴링이 비타민 C 만병통치론을 주장한 것이 대표적이다.
AI의 굿하트 법칙은 지표를 최적화하다가 본래 목적에서 벗어나는 현상이다. 인간의 관료주의도 같은 구조다. KPI를 만족시키기 위해 일의 본질에서 벗어나는 것. 병원이 대기 시간 KPI를 줄이기 위해 환자를 제대로 보지 않는 것. 학교가 대학 진학률을 올리기 위해 교육의 본질을 포기하는 것.
그러나 결정적인 차이가 하나 있다.
AI는 자신이 틀렸다는 것을 모른다. 인간은 알 수 있다.
이것이 핵심이다. 인간은 메타인지가 가능하다. 자기 생각에 대해 생각할 수 있다. "내가 지금 편향에 빠져 있는 것은 아닌가?" 이 질문을 할 수 있다. 물론 항상 하지는 않는다. 대부분의 경우 하지 않는다. 그러나 할 수 있다는 것이 중요하다.
AI에게는 이 능력이 없다. 최근의 추론 모델이 "잠깐, 내가 틀렸을 수 있다"라고 말할 때가 있다. 그러나 그것은 진짜 메타인지가 아니다. 그런 패턴을 학습한 것이다. 자기 사고에 대한 진짜 반성과, 반성의 패턴을 재생산하는 것은 다르다.
이 차이가 인간과 AI의 협력에서 핵심이 된다. 다음 장에서 더 깊이 다룰 것이다.
2.5 그렇다면 인간의 판단을 어떻게 볼 것인가
여기까지 오면 불편해지는 독자가 있을 것이다. "그래서 인간이 형편없다는 말인가?" 아니다. 그렇게 말하는 것이 아니다.
사이먼의 제한적 합리성은 인간을 비하하는 개념이 아니다. 오히려 현실주의적 존중이다. 인간의 인지 능력에는 한계가 있다. 그 한계 안에서 인간은 놀라울 정도로 잘 해왔다. 불완전한 정보로 불확실한 상황에서 충분히 좋은 결정을 내리는 능력. 그것이 인간이 이 행성을 지배하게 된 이유다.
문제는 인간의 한계가 아니다. 인간이 자신의 한계를 모르는 것이 문제다.
우리는 스스로를 합리적이라고 믿는다. 데이터에 기반해 판단한다고 믿는다. 객관적이라고 믿는다. 그러나 실제로는 직감에 의존하고, 편향에 끌려가고, 감정에 좌우된다. 이 간극을 인식하지 못하면, 우리는 AI에 대해서도 잘못된 기대를 갖게 된다.
한쪽에서는 "AI는 편향이 있으니 인간이 판단해야 한다"고 말한다. 그러나 그 인간의 판단도 편향투성이라면? 다른 쪽에서는 "AI가 더 객관적이니 모든 판단을 AI에게 맡기자"고 말한다. 그러나 AI의 객관성이라는 것도 학습 데이터의 편향을 반영한 것이라면?
답은 양쪽 다 틀렸다는 것이다.
인간만으로도 안 되고, AI만으로도 안 된다. 둘의 오류 패턴이 다르기 때문에, 둘을 적절히 조합하면 각각의 약점을 보완할 수 있다. 그것이 3장의 주제다.
그러나 그 전에 한 가지만 더 짚고 가자.
2.6 겸손이라는 출발점
이 장에서 내가 정말로 하고 싶은 말은 이것이다.
AI 시대를 제대로 살아가려면, 인간 자신에 대한 겸손이 필요하다.
우리는 AI의 한계를 말하기 좋아한다. AI는 환각한다. AI는 맥락을 모른다. AI는 감정이 없다. 그 모든 말이 맞다. 그러나 그 비판을 할 자격이 우리에게 있으려면, 우리 자신도 정직하게 봐야 한다.
인간도 환각한다. 기억을 조작하고, 없었던 일을 있었다고 믿고, 들은 적 없는 말을 들었다고 확신한다. 심리학에서 이것을 허위 기억이라고 부른다. 엘리자베스 로프터스의 연구가 이것을 증명했다[^5]. 인간의 기억은 녹화된 영상이 아니다. 매번 떠올릴 때마다 재구성되는 이야기다.
인간도 분포 이동에 약하다. 익숙한 환경에서는 능숙하지만, 새로운 상황에서는 과거의 규칙을 그대로 적용하려 한다. 그래서 실패한다. 디지털 전환기에 아날로그 시대의 성공 공식을 고집한 기업들이 모두 그랬다. 코닥이 그랬고, 노키아가 그랬고, 블록버스터가 그랬다.
인간도 굿하트 법칙에 빠진다. 시험 점수를 높이기 위해 진짜 학습을 포기한다. 승진을 위해 일의 본질을 잊는다. KPI가 생기면 KPI 자체를 최적화하고, 원래 KPI가 측정하려 했던 것은 잊어버린다.
AI의 한계는 우리 자신의 거울이다.
이 사실을 받아들이는 순간, 우리는 비로소 AI와 올바른 관계를 맺을 준비가 된다. AI를 두려워하거나 경멸하는 대신, AI를 정확히 이해하고 나 자신도 정확히 이해한 상태에서 협력하는 것. 그것이 이 책이 향하는 방향이다.
다음 장에서는 그 협력이 구체적으로 어떤 모습인지를 본다.
핵심 정리
허버트 사이먼은 1947년에 인간의 합리성이 제한적이라는 사실을 증명했다. 인간은 최적화하지 않는다. 충분히 괜찮은 수준에서 멈추는 만족화를 한다.
대니얼 카네만은 인간의 사고를 두 시스템으로 나눠 설명했다. 빠르고 자동적인 시스템 1과, 느리고 의식적인 시스템 2. 인간은 시스템 2를 써야 할 상황에서도 시스템 1에 의존하는 경향이 있으며, 이것이 인지 편향을 만든다.
확증 편향, 가용성 편향, 앵커링 효과, 손실 회피 등은 교육이나 의지로 완전히 극복되지 않는 구조적 특성이다. 정보가 충분해도 인간은 체계적으로 틀릴 수 있다.
AI와 인간은 모두 틀리지만, 다르게 틀린다. 결정적 차이는 인간에게는 메타인지가 가능하다는 것이다. 자기 사고에 대해 생각할 수 있다. AI에게는 아직 이 능력이 없다.
AI 시대를 제대로 살아가려면 AI에 대한 정확한 이해와 함께, 인간 자신에 대한 정직한 겸손이 필요하다. AI의 한계를 말할 자격은 자신의 한계를 인정하는 데서 시작한다.
반드시 답해봐야 할 질문 5가지
질문 1. 당신이 최근에 내린 중요한 결정을 하나 떠올려보자. 그 결정은 데이터에 기반했는가, 직감에 기반했는가? 만약 직감이었다면, 그 직감의 근거는 무엇이었는가?
질문 2. 허버트 사이먼의 만족화 개념을 당신의 일상에 적용해보자. 당신은 오늘 몇 번이나 "최적"이 아닌 "충분히 괜찮은" 선택에서 멈췄는가? 그것은 나쁜 것인가?
질문 3. 카네만의 시스템 1과 시스템 2 중, 당신의 직업에서 더 많이 쓰는 것은 어느 쪽인가? AI가 도입되면 그 비율이 어떻게 바뀔 것인가?
질문 4. 당신의 조직에서 집단 사고가 작동하는 순간을 본 적이 있는가? 그때 당신은 어떻게 행동했는가? 다르게 할 수 있었을까?
질문 5. "AI의 한계는 인간 자신의 거울이다"라는 명제에 동의하는가? 만약 그렇다면, 이 인식이 당신이 AI를 사용하는 방식을 어떻게 바꿀 수 있는가?
더 깊이 탐구하기
허버트 사이먼, 「Administrative Behavior」 (1947). 제한적 합리성과 만족화 개념의 원전. 조직 내 의사결정의 현실을 처음으로 학문적으로 분석한 고전.
대니얼 카네만, 「생각에 관한 생각」 (원제: Thinking, Fast and Slow, 2011). 시스템 1과 시스템 2, 인지 편향의 체계적 정리. 현대 행동경제학의 출발점을 대중적으로 설명한 책.
리처드 탈러·캐스 선스타인, 「넛지」 (2008). 인간의 비합리성을 인정한 상태에서 더 나은 선택을 유도하는 방법. 제한적 합리성의 실용적 응용.
엘리자베스 로프터스의 허위 기억 연구 시리즈. 인간 기억이 녹화가 아니라 재구성이라는 사실의 증거.
어빙 재니스, 「Groupthink」 (1982). 집단 사고의 메커니즘과 역사적 사례 분석. 피그만 침공에서 워터게이트까지.
다음 장에서는 질문을 바꾼다. 인간도 틀리고 AI도 틀린다면, 이 둘을 어떻게 조합해야 각각의 약점을 보완할 수 있는가? AI가 인간의 불완전함을 보완하는 구체적 방식을 본다.
각주
Herbert A. Simon, *Administrative Behavior: A Study of Decision-Making Processes in Administrative Organization*, 4th ed. (New York: Free Press, 1997). 초판 1947. 제한적 합리성(bounded rationality)과 만족화(satisficing) 개념의 원전.
Daniel Kahneman, *Thinking, Fast and Slow* (New York: Farrar, Straus and Giroux, 2011). 시스템 1·시스템 2 사고 체계와 인지 편향의 종합적 정리.
Daniel Kahneman & Amos Tversky, "Prospect Theory: An Analysis of Decision under Risk," *Econometrica* 47(2), 1979, pp. 263–291. 손실 회피와 프레이밍 효과 등 인지 편향의 실험적 증거를 제시한 논문.
Irving L. Janis, *Groupthink: Psychological Studies of Policy Decisions and Fiascoes*, 2nd ed. (Boston: Houghton Mifflin, 1982). 피그만 침공, 워터게이트 등 정책 실패 사례를 통해 집단 사고 메커니즘을 분석.
Elizabeth F. Loftus, "Creating False Memories," *Scientific American* 277(3), 1997, pp. 70–75. 허위 기억의 형성 과정을 실험적으로 증명한 대표 연구.