*이 장을 다 읽고 나면 알게 될 것: 인간의 핵심 기능을 AI에게 맡길 때 무엇이 사라지고 무엇이 남는지, 그리고 그 경계를 어떻게 설계해야 하는지*
도입: 외장 하드디스크가 된 인간
내 아버지는 전화번호를 수십 개 외우고 있었다. 친구, 거래처, 병원, 식당. 다이얼을 돌리며 번호를 누를 수 있었다. 나는 세 개도 외우지 못한다. 아내 번호, 내 번호, 그리고 하나 더. 나머지는 스마트폰이 기억한다.
이것은 단순한 편의의 문제가 아니다. 기억의 일부를 기계에 넘긴 것이다. 그 결과 나의 기억 능력은 아버지보다 분명히 약하다. 그 대신 나는 기억에 쓸 에너지를 다른 곳에 쓴다. 적어도 그렇다고 믿고 싶다.
스마트폰은 기억만 외주화했다. AI 에이전트는 더 많은 것을 외주화한다. 기억뿐 아니라 판단도, 행동도.
이 장에서는 세 가지를 하나하나 본다. 각각을 외주화할 때 무엇이 일어나는가.
10.1 기억의 외주화
인간은 오래전부터 기억을 외부에 저장해왔다. 문자가 그렇다. 책이 그렇다. 노트가 그렇다. 소크라테스는 문자가 기억력을 약화시킬 것이라고 경고했다. 그의 경고는 부분적으로 맞았다. 문자를 가진 문명의 사람들은 구전 문화의 사람들보다 암기 능력이 떨어진다. 그러나 문자가 가져다준 것이 잃은 것보다 압도적으로 크다.
AI는 이 외주화를 한 차원 끌어올린다.
이전의 외부 기억(책, 노트, 컴퓨터)은 수동적이었다. 내가 찾아야 했다. AI의 기억은 능동적이다. 내가 필요로 할 때 알아서 꺼내준다. "지난번 김 부장과의 미팅에서 뭘 논의했지?"라고 물으면 바로 답이 나온다. 심지어 내가 물어보기 전에 관련 정보를 미리 띄워줄 수도 있다.
이것의 장점은 명확하다. 기억의 부담이 줄어든다. 중요한 것을 놓치지 않는다. 과거의 결정과 현재의 맥락을 쉽게 연결한다.
그러나 위험도 있다.
인간의 기억은 단순한 저장이 아니다. 기억은 정체성의 재료다. 나는 내가 기억하는 것으로 구성된다. 어린 시절의 추억, 첫 직장에서의 실수, 중요한 순간의 감정. 이것들이 모여서 "나"를 만든다.
AI에게 기억을 맡기면, 기억의 소유권이 모호해진다. "내가 기억하는 것"과 "AI가 나를 위해 기억하는 것"은 같은가? 앨범 속 사진을 보고 떠올리는 기억과, AI가 "당신은 2019년 3월에 이것을 했습니다"라고 알려주는 기억은 같은 질의 기억인가?
나는 다르다고 생각한다. 직접 기억하는 것에는 감정과 맥락과 해석이 붙어 있다. AI가 기록한 것에는 사실만 있다. 사실과 기억은 다른 것이다.
잠시 멈추고 생각해보자
당신의 기억 중에서 감정이 붙어 있는 기억과, 단순한 사실로만 남아 있는 기억의 차이를 느껴보자. AI가 대체할 수 있는 것은 어느 쪽인가?
10.2 판단의 외주화
기억보다 더 심각한 것은 판단의 외주화다.
AI가 "이 이메일에는 이렇게 답하세요"라고 제안한다. 처음에는 제안을 검토한다. 꼼꼼히 읽고, 수정하고, 보낸다. 그런데 AI의 제안이 계속 괜찮으면, 점점 검토를 생략하게 된다. "AI가 잘 알아서 하겠지." 그러다 보면 어느 순간 판단을 AI에게 완전히 위임하게 된다.
이것을 자동화 편향이라고 부른다. 기계의 출력을 무비판적으로 받아들이는 경향. 연구에 따르면, 자동화 시스템이 도입되면 인간은 점진적으로 감시 역할을 포기한다. 처음에는 주의 깊게 보지만, 시스템이 잘 작동할수록 경계를 낮추고, 결국 형식적 승인만 하게 된다.
항공 분야에서 이 문제가 가장 잘 연구되어 있다. 자동항법장치가 도입된 후, 파일럿의 수동 조종 능력이 떨어졌다는 보고가 많다. 자동화에 의존하다가 자동화가 실패하는 순간, 수동으로 전환해야 하는데 그 능력이 사라진 것이다. 2009년 에어프랑스 447편 추락 사고가 그 대표 사례다.
AI 에이전트도 같은 위험을 가진다. 평상시에는 AI가 잘 판단한다. 그래서 인간은 판단 근육을 쓰지 않는다. 그러다가 AI가 비정상 상황에서 잘못된 판단을 할 때, 인간이 개입해서 교정해야 하는데, 이미 판단 능력이 약해져 있다.
편리함이 능력을 갉아먹는 역설.
이것이 판단 외주화의 핵심 위험이다.
10.3 행동의 외주화
마지막으로 행동의 외주화.
이전까지의 AI는 정보를 주었다. 인간이 행동했다. "내일 비가 옵니다." 인간이 우산을 챙긴다. "이 주식이 하락 추세입니다." 인간이 매도한다.
에이전트형 AI는 직접 행동한다. 인간을 대신해 이메일을 보내고, 미팅을 잡고, 물건을 주문하고, 돈을 이체한다. 인간은 사후에 결과를 확인한다.
행동의 외주화는 두 가지 차원에서 문제가 된다.
첫째, 책임의 문제. AI가 잘못된 행동을 했을 때, 책임은 누구에게 있는가? AI가 내 이름으로 보낸 부적절한 이메일은 내 책임인가? AI가 내 계좌에서 잘못 이체한 돈은 누구 책임인가? 법적으로도, 윤리적으로도 아직 답이 없다.
둘째, 관계의 문제. 인간관계는 상호작용의 축적이다. 내가 직접 연락하는 것과 AI가 대신 연락하는 것은 다르다. 설령 상대방이 구분하지 못한다 해도, 나는 안다. 그리고 그 차이가 관계의 질에 영향을 미친다. 적어도 나는 그렇게 믿는다.
명절에 자동 문자를 보내는 것과 직접 전화하는 것의 차이를 생각해보자. 받는 사람은 구분하지 못할 수도 있다. 그러나 보내는 사람에게 그 차이는 분명하다. 직접 했을 때의 마음과, 자동으로 처리했을 때의 마음은 다르다.
잠시 멈추고 생각해보자
AI가 당신 대신 행동할 때, 그 행동의 "주인"은 누구인가? 법적으로? 도덕적으로? 감정적으로? 이 세 가지가 다른 답을 줄 수 있는가?
10.4 세 가지 외주화의 복합 효과
기억, 판단, 행동을 각각 따로 보면 관리 가능해 보인다. 그러나 세 가지가 동시에 외주화되면 질적으로 다른 상황이 된다.
기억을 AI가 관리하고, 그 기억에 기반해 판단을 AI가 내리고, 그 판단에 따라 행동을 AI가 실행하면. 인간은 무엇을 하는가?
목표를 정하는 것? 그것도 AI가 "당신의 과거 행동 패턴으로 볼 때, 이런 목표가 적절합니다"라고 제안할 수 있다. 제안을 승인하는 것? 그것은 의미 있는 역할인가, 아니면 형식적 서명에 불과한가?
이것이 극단으로 가면, 인간은 AI 시스템의 서명권자 이상의 역할이 없어진다. CEO가 모든 결재 서류에 서명은 하지만 실제로는 읽지 않는 것처럼. 형식적으로는 인간이 결정하지만, 실질적으로는 AI가 결정하는 구조.
이 상태를 인간의 자율성이라고 부를 수 있는가?
나는 아니라고 생각한다. 자율성은 형식이 아니라 실질이다. 실질적으로 AI의 제안을 검토하고, 필요하면 거부하고, 다른 방향을 제시할 수 있는 능력이 있어야 진짜 자율적이다.
10.5 설계의 문제
그렇다면 어떻게 설계해야 하는가.
인간-AI 시스템의 설계에서 핵심은 인간의 개입 지점을 의도적으로 유지하는 것이다.
첫째, 마찰의 의도적 삽입.
모든 것이 너무 매끄러우면 인간은 개입하지 않는다. 적절한 마찰이 필요하다. 중요한 결정 앞에서 AI가 "이것은 중요한 결정입니다. 직접 확인하시겠습니까?"라고 묻는 것. 승인 버튼만 누르면 되는 구조가 아니라, 최소한의 사고를 요구하는 구조.
둘째, 설명 가능성.
AI가 왜 그런 판단을 내렸는지를 설명해야 한다. "이렇게 하는 것이 좋겠습니다"만으로는 부족하다. "이런 이유로, 이런 근거에 기반해, 이렇게 판단했습니다"가 있어야 인간이 검토할 수 있다.
셋째, 인간의 역량 유지.
AI에게 맡기더라도, 인간이 직접 하는 시간을 의도적으로 확보해야 한다. 파일럿이 정기적으로 수동 조종 훈련을 하는 것처럼. 판단 근육을 쓰지 않으면 약해지기 때문이다.
이것은 개인의 노력만으로는 부족하다. 시스템 설계 차원에서 고려되어야 한다. AI를 만드는 사람들이 인간의 자율성을 보호하는 설계를 할 의무가 있다. 그리고 사회가 그것을 요구해야 한다.
잠시 멈추고 생각해보자
당신이 AI 에이전트를 설계한다면, 인간의 개입 지점을 어디에 둘 것인가? 모든 결정마다? 아니면 특정 유형의 결정에서만? 그 기준은 무엇인가?
10.6 인간의 핵심은 무엇인가
이 장의 질문을 다시 던지자. 기억, 판단, 행동을 모두 AI에게 맡긴다면, 인간에게 남는 것은 무엇인가.
나는 이렇게 답한다. 의미를 부여하는 능력.
기억 자체가 아니라, 그 기억에 의미를 부여하는 것. "이 경험은 나에게 이런 의미였다." 판단 자체가 아니라, 그 판단의 방향을 정하는 것. "나는 이런 가치를 우선한다." 행동 자체가 아니라, 그 행동의 목적을 정하는 것. "나는 이것을 위해 산다."
의미는 AI가 만들 수 없다. 의미는 경험과 가치와 의지에서 나온다. 7장에서 본 지혜와도 통한다. 지혜가 "아는 것을 어떻게 쓸 것인가"의 문제였다면, 의미는 "왜 쓸 것인가"의 문제다.
AI가 더 많은 것을 대신해줄수록, 인간은 "왜"라는 질문에 더 분명히 답해야 한다. 역설적이지만, AI의 발전이 인간에게 실존적 질문을 강제한다.
다음 장에서는 이 모든 것을 관통하는 윤리의 문제를 본다. AI가 대리인이 된 시대에, 책임은 어디에 남는가.
핵심 정리
기억의 외주화는 편의를 주지만, 기억과 정체성의 관계를 약화시킬 수 있다. 사실의 저장과 경험의 기억은 다른 것이다.
판단의 외주화는 자동화 편향을 만든다. 인간이 판단을 하지 않으면 판단 능력이 약해지고, AI가 실패할 때 교정할 수 없게 된다.
행동의 외주화는 책임과 관계의 문제를 만든다. AI가 대신 행동할 때 그 행동의 책임 소재가 모호해진다.
세 가지가 동시에 외주화되면, 인간은 형식적 서명권자로 전락할 수 있다. 이것을 방지하려면 의도적 마찰, 설명 가능성, 인간 역량 유지가 시스템 설계에 포함되어야 한다.
인간에게 궁극적으로 남는 것은 의미를 부여하는 능력이다. "왜"라는 질문에 답하는 것. AI가 더 많이 대신할수록, 인간은 이 질문에 더 분명히 답해야 한다.
반드시 답해봐야 할 질문 5가지
질문 1. 기억, 판단, 행동 중 당신이 가장 먼저 AI에게 맡기고 싶은 것은 무엇인가? 가장 마지막까지 지키고 싶은 것은? 그 이유는?
질문 2. 자동화 편향에 빠진 경험이 있는가? 네비게이션의 안내를 의심 없이 따르다가 이상한 곳에 간 경험은? 그때 무엇을 느꼈는가?
질문 3. AI가 당신 대신 보낸 메시지를 상대방이 구분하지 못한다면, 그것은 문제가 되는가? 왜 되는가, 또는 왜 안 되는가?
질문 4. "의도적 마찰"을 당신의 AI 사용에 적용한다면, 구체적으로 어떤 형태가 될 것인가?
질문 5. "의미를 부여하는 능력"이 인간의 마지막 고유 영역이라는 주장에 동의하는가? 동의하지 않는다면, 인간의 핵심은 무엇이라 생각하는가?
더 깊이 탐구하기
니콜라스 카, 「생각하지 않는 사람들」 (원제: The Shallows, 2010). 인터넷이 인간의 인지 능력을 어떻게 변화시키는가. AI 시대로의 확장을 생각하게 한다.
리사 펠드먼 배럿, 「감정은 어떻게 만들어지는가」 (2017). 기억과 감정과 경험의 구성적 성격. AI의 기억과 인간의 기억의 근본적 차이.
「2001: A Space Odyssey」 (1968, 큐브릭 감독). HAL 9000이 인간의 행동을 대신 결정하려 할 때 벌어지는 일. 행동 외주화의 극단적 시나리오.
앤디 클라크, 「Natural-Born Cyborgs」 (2003). 인간은 이미 기술과 결합된 존재라는 주장. 외주화의 역사적 관점.
빅토르 프랭클, 「죽음의 수용소에서」 (1946). 의미를 찾는 것이 인간의 근본적 동기라는 주장. 모든 것을 빼앗겨도 의미는 남는다.
다음 장에서는 피할 수 없는 질문으로 간다. AI가 대리인이 되어 행동할 때, 그 행동의 결과에 대한 책임은 누구에게 있는가. 대리인의 윤리. 에이전트 시대의 가장 어려운 질문이다.