*이 장을 다 읽고 나면 알게 될 것: AI가 인간을 대신해 행동할 때 책임의 소재가 어떻게 바뀌는지, 그리고 우리가 새로운 책임 체계를 왜 만들어야 하는지*
도입: 누구의 잘못인가
2018년 3월, 미국 애리조나주 템피에서 우버의 자율주행 테스트 차량이 보행자를 치어 사망에 이르게 했다. 밤에 자전거를 끌고 도로를 횡단하던 여성이었다.
책임은 누구에게 있었는가.
차량의 AI 시스템은 보행자를 감지했지만, "거짓 양성"으로 분류하고 무시했다. 안전 요원은 차 안에 있었지만 스마트폰을 보고 있었다. 우버는 비용 절감을 위해 안전 요원을 한 명으로 줄인 상태였다. 보행자는 횡단보도가 아닌 곳에서 도로를 건너고 있었다.
AI의 잘못인가. 안전 요원의 잘못인가. 우버의 잘못인가. 보행자의 잘못인가.
결국 안전 요원이 과실치사 혐의로 기소되었고, 우버는 합의금을 지불했다. 그러나 이 사건은 해결된 것이 아니다. 오히려 시작이었다. AI가 대리인이 되는 시대에, 책임의 문제는 갈수록 복잡해질 것이다.
11.1 전통적 책임의 구조
전통적으로 책임은 단순했다. 행위자가 행위의 결과에 책임을 진다. 내가 한 일의 결과는 내가 책임진다. 법도 이 원칙 위에 서 있다.
도구를 사용할 때도 마찬가지다. 망치로 못을 박다가 손을 다치면 내 책임이다. 망치의 책임이 아니다. 자동차를 운전하다가 사고를 내면 운전자의 책임이다. 자동차의 책임이 아니다. 도구에는 책임이 없다. 도구를 사용한 인간에게 책임이 있다.
그런데 AI 에이전트는 도구와 다르다.
도구는 인간의 명령을 수행할 뿐이다. AI 에이전트는 스스로 판단하고 행동한다. 목표만 주어지면 중간 과정을 자율적으로 결정한다. 이 경우, 중간 과정에서 발생한 문제의 책임은 누구에게 있는가?
인간은 목표만 줬다. AI가 그 목표를 달성하기 위해 자율적으로 선택한 방법이 문제를 일으켰다면? 인간이 예측하지 못한, 예측할 수 없었던 행동이었다면?
이것이 대리인의 윤리가 다루는 핵심 문제다.
잠시 멈추고 생각해보자
당신이 AI에게 "내 일정을 최적화해줘"라고 요청했고, AI가 중요한 약속을 당신 모르게 취소했다면, 그것은 누구의 잘못인가?
11.2 책임의 간극
AI 에이전트가 만드는 책임의 간극을 구체적으로 보자.
첫째, 지시와 실행 사이의 간극.
"고객에게 적절하게 대응해줘"라는 지시를 받은 AI가 고객에게 부적절한 할인을 약속했다면? 인간은 "적절하게"라고 했다. AI는 그것을 나름대로 해석했다. 누구의 잘못인가.
실제로 2024년 캐나다 에어캔에어에서 비슷한 일이 있었다. AI 챗봇이 고객에게 존재하지 않는 할인 정책을 안내했다. 고객이 이를 근거로 할인을 요구하자, 항공사는 "챗봇이 한 말에 책임질 수 없다"고 했다. 법원은 항공사의 손을 들어주지 않았다. AI가 대리한 행위도 기업의 책임이라고 판결한 것이다.
둘째, 투명성의 간극.
AI가 왜 그런 결정을 내렸는지 인간이 이해할 수 없는 경우가 있다. 딥러닝 모델의 내부는 블랙박스다. 수십억 개의 매개변수가 어떻게 상호작용해서 특정 출력을 만드는지, 설계자조차 완전히 설명하지 못한다.
검증할 수 없는 판단에 책임을 질 수 있는가? 내가 이해하지 못하는 과정을 거쳐 나온 결과에 대해, 나는 어떤 의미에서 책임이 있는가?
셋째, 규모의 간극.
AI 에이전트는 동시에 수천, 수만 건의 결정을 내릴 수 있다. 인간이 하나하나 검토할 수 없는 속도와 규모로 작동한다. 그 수만 건 중 하나가 문제를 일으킨다면?
금융에서 알고리즘 트레이딩이 이미 이 문제를 겪고 있다. 2010년 플래시 크래시 때, 알고리즘들의 연쇄 반응으로 다우지수가 몇 분 만에 1000포인트 가까이 폭락했다. 누가 책임졌는가. 사실상 아무도 책임지지 않았다.
11.3 새로운 책임 체계를 향해
기존의 책임 개념으로는 AI 에이전트 시대를 감당할 수 없다. 새로운 프레임워크가 필요하다.
몇 가지 방향이 논의되고 있다.
분산 책임 모델. AI의 행위에 대한 책임을 여러 주체에게 분산시키는 것. AI를 만든 기업, AI를 운영하는 기업, AI를 사용하는 개인이 각각 일정 부분의 책임을 진다. 자동차 사고에서 제조사, 정비소, 운전자가 각각 책임을 나누는 것과 비슷하다.
사전 주의 의무 모델. AI를 사용하는 인간에게 사전 주의 의무를 부과하는 것. AI의 출력을 검토할 의무, AI의 한계를 이해할 의무, 위험한 상황에서 AI를 중단할 의무.
보험 모델. AI의 행위로 인한 피해를 보험으로 보상하는 것. 자동차 보험처럼 AI 보험이 만들어질 수 있다. 이것은 책임의 문제를 해결하지는 않지만, 피해자 보호에는 도움이 된다.
한국에서는 2025년 기준으로 AI 기본법 논의가 진행 중이다. EU는 AI Act를 통해 위험도에 따른 규제 체계를 만들었다. 그러나 어느 체계도 아직 완벽하지 않다. 기술이 법보다 빠르게 발전하기 때문이다.
잠시 멈추고 생각해보자
AI로 인한 피해가 발생했을 때, 당신은 어떤 책임 모델이 가장 공정하다고 생각하는가? 만든 사람, 운영하는 사람, 사용하는 사람 중 누가 가장 큰 책임을 져야 하는가?
11.4 개인의 윤리적 책임
법적 책임과 별개로, 개인의 윤리적 책임이 있다.
AI에게 판단을 맡기는 것은 편리하다. 그러나 그것이 윤리적 책임을 면제해주지는 않는다. "AI가 한 것이니 내 책임이 아니다"라는 말은 "부하 직원이 한 것이니 내 책임이 아니다"라는 말과 같은 무게를 가진다. 부하 직원에게 위임해도 최종 책임은 위임한 사람에게 있다. AI에게 위임해도 마찬가지다.
이것은 쉽지 않다. 왜냐하면 AI가 내리는 판단을 완전히 이해하지 못할 수 있기 때문이다. 이해하지 못하는 판단에 대해 책임을 진다는 것은 무엇을 의미하는가?
나는 이렇게 생각한다. 이해하지 못하는 판단에 대한 책임은, 이해하지 못하는 것을 사용하기로 결정한 것에 대한 책임이다.
내가 AI를 사용하기로 결정한 것은 나의 선택이다. 그 AI의 한계를 알면서도 사용한 것은 나의 판단이다. 그 AI가 문제를 일으켰을 때, "몰랐다"는 변명이 되지 않는다. 알아야 했다. 알려고 노력해야 했다.
이것이 AI 시대의 개인 윤리의 핵심이다. 편리함을 누리되, 그에 따르는 책임을 외면하지 않는 것.
11.5 한국적 맥락
한국에서 AI 윤리 논쟁은 어떤 특수성을 가지는가.
한국은 빠른 기술 도입으로 유명하다. 인터넷, 스마트폰, 5G, 모두 세계에서 가장 빨리 보급되었다. AI 도입도 마찬가지일 것이다. 그러나 빠른 도입은 성찰의 시간이 부족하다는 의미이기도 하다.
이화여대의 한 연구에 따르면, 한국인의 AI에 대한 신뢰도는 글로벌 평균보다 높다. 동시에 AI 윤리에 대한 관심은 글로벌 평균과 비슷하거나 낮다. 높은 신뢰와 낮은 경계심의 조합은 위험할 수 있다.
한국 기업에서 AI 에이전트가 업무에 투입될 때, "효율"이 최우선 기준이 되기 쉽다. "빨리 도입하고, 빨리 성과를 내자." 이런 분위기에서 윤리적 검토는 뒷전이 되기 쉽다.
그러나 사고는 예고 없이 온다. AI 에이전트가 고객 데이터를 잘못 처리하거나, 차별적 결정을 내리거나, 부정확한 정보를 유포하거나. 이런 사고가 터진 뒤에야 윤리를 논의하면 늦다.
잠시 멈추고 생각해보자
당신의 조직에서 AI를 도입할 때, 윤리적 검토 과정이 있는가? 없다면 왜 없는가? 있다면 그것이 실효성이 있는가?
11.6 책임 있는 대리인의 시대
이 장을 정리하자.
AI가 대리인이 되는 시대에, 기존의 책임 개념은 불충분하다. 지시와 실행 사이의 간극, 투명성의 간극, 규모의 간극이 새로운 문제를 만든다.
새로운 책임 체계가 필요하다. 분산 책임, 사전 주의 의무, 보험 모델 등이 논의되고 있다. 그러나 어떤 체계도 개인의 윤리적 책임을 대신하지 못한다.
AI를 사용하는 것은 선택이다. 그 선택에는 책임이 따른다. "AI가 한 것이니 내 책임이 아니다"는 더 이상 유효한 변명이 아니다.
이것이 3부의 결론이다. 다음 4부에서는 시선을 미래로 돌린다. AI 시대에 우리는 어떻게 공부하고, 어떻게 일하고, 어떻게 살아야 하는가.
핵심 정리
AI 에이전트는 도구와 달리 자율적으로 판단하고 행동한다. 이것이 전통적 책임 개념에 도전한다.
책임의 간극은 세 가지다. 지시와 실행 사이의 간극, 투명성의 간극(블랙박스), 규모의 간극(동시 다발적 결정).
새로운 책임 체계로 분산 책임, 사전 주의 의무, 보험 모델이 논의되고 있다. 한국과 EU에서 AI 규제 입법이 진행 중이다.
법적 책임과 별개로, AI를 사용하기로 결정한 개인의 윤리적 책임은 면제되지 않는다.
한국의 빠른 기술 도입 문화에서 윤리적 검토가 뒷전이 되기 쉽다. 사고가 터지기 전에 준비해야 한다.
반드시 답해봐야 할 질문 5가지
질문 1. 우버 자율주행차 사고에서 책임은 누구에게 있다고 생각하는가? AI, 안전 요원, 우버 경영진, 보행자 중 누가 가장 큰 책임을 져야 하는가?
질문 2. "이해하지 못하는 판단에 대한 책임은, 이해하지 못하는 것을 사용하기로 결정한 것에 대한 책임이다"라는 주장에 동의하는가?
질문 3. AI 보험이 도입된다면, 보험료는 누가 내야 하는가? AI 제조사? 사용하는 기업? 개인 사용자?
질문 4. 당신의 업무에서 AI가 잘못된 판단을 했을 때, 그것을 발견할 수 있는 체계가 있는가? 없다면 어떤 체계가 필요한가?
질문 5. AI 시대에 "책임 있는 사용자"가 되려면 구체적으로 무엇을 해야 하는가? 당신이 오늘부터 할 수 있는 것은?
더 깊이 탐구하기
한나 아렌트, 「예루살렘의 아이히만」 (1963). "악의 평범성"과 책임의 문제. 명령을 따른 것이 책임을 면제해주는가. AI 시대에 다시 읽어야 할 고전.
EU AI Act (2024). 세계 최초의 포괄적 AI 규제 법안. 위험도 기반 규제의 구조.
우버 자율주행차 사고 NTSB 보고서 (2019). 사고의 기술적·인적·조직적 원인 분석.
웬델 월러치·콜린 앨런, 「왜 로봇의 도덕인가」 (원제: Moral Machines, 2008). 기계의 도덕적 판단과 책임에 대한 철학적 분석.
한국 AI 윤리 기준 (과학기술정보통신부, 2020). 한국 맥락에서의 AI 윤리 원칙과 실행 가이드.
여기까지가 3부 "대리인의 시대"다. 4부에서는 시선을 미래로 돌린다. AI 시대에 무엇을 배우고, 어떻게 일하고, 어떻게 AI를 철학적으로 사용할 것인가.