9. AI가 합리성의 경계를 확장하는 방식
이 챕터를 다 읽고 나면 알게 될 것: 인간과 AI의 약점이 대칭적이라는 것. 그리고 최적의 조합이 대체가 아닌 보완이라는 것.
인간의 약점은 피로, 편향, 기억 한계다. AI의 강점은 지치지 않고, 일관되며, 무한히 기억한다. 둘의 약점이 대칭을 이룬다. 최적의 조합은 대체가 아니라 보완이다. 파일럿과 오토파일럿의 관계다.
파일럿과 오토파일럿
항공기 조종석에는 두 시스템이 있다.
파일럿이 있다. 이착륙, 비상 상황, 판단이 필요한 순간에 작동한다. 경험과 직관으로 결정한다.
오토파일럿이 있다. 순항 중 고도, 속도, 방향을 유지한다. 지치지 않는다. 실수하지 않는다. 그러나 예상치 못한 상황에 대응하지 못한다.
둘 다 혼자서는 불완전하다. 파일럿만으로는 대양 횡단 비행이 불가능하다. 12시간 동안 집중을 유지할 수 없다. 오토파일럿만으로는 허드슨 강 불시착이 불가능하다. 2009년 체슬리 설런버거 기장이 한 일은 매뉴얼에 없었다[1].
기업에서 AI와 인간의 관계도 같다.
보완성 매트릭스
인간이 강한 영역과 AI가 강한 영역은 대칭적이다.
인간이 강한 곳이 있다. 맥락 이해. 윤리적 판단. 창의적 문제 해결. 공감. 질문 생성. 직관. 예외 상황 대응.
AI가 강한 곳이 있다. 대량 데이터 처리. 패턴 인식. 일관성. 속도. 24시간 작동. 다국어 처리. 반복 업무.
인간이 약한 곳이 있다. 피로. 편향. 기억 한계. 감정 변동. 주의력 산만. 처리 속도 한계.
AI가 약한 곳이 있다. 할루시네이션. 학습 데이터 밖의 상황. 상식 추론. 의식. 경험. 질문 생성.
이 매트릭스를 보면 답이 보인다. 인간의 약점을 AI가 보완하고, AI의 약점을 인간이 보완한다.
잡음(Noise) — 인간 판단의 숨겨진 결함
2021년, 대니얼 카너먼이 새 책을 냈다. "잡음(Noise)"이다[2].
편향(bias)은 이미 많이 연구되었다. 한쪽으로 치우치는 것이다. 잡음은 다르다. 같은 사건에 대해 다른 사람이, 혹은 같은 사람이 다른 날에 다른 판단을 내리는 것이다.
카너먼은 미국 판사들의 양형을 분석했다. 같은 범죄에 대해 판사에 따라 형량이 3배 이상 차이가 났다. 같은 판사도 월요일과 금요일에 다른 판단을 했다. 점심 식사 전과 후에 달랐다.
기업에서도 같다. 같은 대출 신청서를 두 심사역이 보면 다른 결과가 나올 수 있다. 같은 이력서를 오전에 보는 것과 오후에 보는 것이 다를 수 있다.
AI는 잡음이 없다. 같은 입력에 같은 출력을 낸다. 온도(temperature) 설정을 0으로 하면 완벽하게 결정적이다. 월요일이든 금요일이든, 점심 전이든 후이든 같다.
인간의 판단에서 잡음을 줄이는 것. 이것이 AI 보완의 가장 직접적인 가치다.
보완 구조의 설계 원칙
보완이 자연 발생하지는 않는다. 설계해야 한다.
세 가지 원칙이 있다.
첫째, 역할을 명확히 나눈다. 무엇을 AI가 하고 무엇을 인간이 하는지 사전에 정의한다. "AI가 초안을 작성하고, 인간이 검토한다." 이렇게 역할을 나누면 중복과 혼란이 줄어든다.
둘째, 인간의 최종 판단권을 유지한다. Human-in-the-Loop1다. AI가 제안하되, 인간이 승인한다. 특히 고위험 결정(대출 승인, 의료 진단, 법적 판단)에서 이 원칙은 필수다.
셋째, AI의 불확실성을 표시한다. AI가 "확신도 95%"와 "확신도 60%"를 구분해서 보여주면, 인간은 어디에 더 주의를 기울여야 하는지 안다. 확신도가 낮은 곳에 인간의 판단을 집중한다.
보완의 한계
보완에도 한계가 있다.
자동화 편향2이 대표적이다. AI가 추천하면 인간이 무비판적으로 수용하는 경향이다. AI가 "이 후보가 적합합니다"라고 하면, 인간 심사역이 자기 판단 대신 AI 판단을 따른다. AI의 보완이 인간의 판단력을 오히려 약화시킬 수 있다.
기술 의존(deskilling)3도 있다. 항법 앱에 의존하면 길을 기억하지 못하게 된다. AI에 의존하면 분석 능력이 퇴화할 수 있다.
이 한계들은 Vol.2(인간)에서 더 깊이 다룬다. 여기서는 하나만 기억하자. AI가 인간의 합리성을 확장하되, 확장의 방향과 한계를 의식적으로 설계해야 한다.
AI가 합리성을 확장한다. 그런데 확장된 합리성은 "무엇"을 할까. 예측까지는 잘한다. "이 패턴이 반복될 것이다." 그런데 CEO는 예측 말고 "왜"를 묻는다. "왜 이 패턴이 발생하는가?" "이 정책을 시행하면 무슨 일이 일어나는가?" 상관관계와 인과관계는 다르다. 다음 챕터에서 이 차이를 본다.
References
[1] NTSB, 'US Airways Flight 1549 Accident Report', 2010. — 2009년 허드슨 강 불시착. 오토파일럿이 대응할 수 없는 상황에서 인간 판단이 155명을 살린 사례
[2] Kahneman, D., Sibony, O. & Sunstein, C., 'Noise: A Flaw in Human Judgment', Little Brown, 2021. — 인간 판단의 가변성(잡음)을 체계적으로 분석. 판사 양형, 의사 진단, 보험 심사의 잡음 데이터