두 개의 기사가 같은 주에 나왔다

2026년 8월 20일, 이코노미스트가 커버스토리를 실었다. 제목은 "AI가 의식을 가질 수 있는가"였다. 교황 레오는 5월 회칙에서 인류와 봇 사이에 선을 그었다. 그런데 미국의 18~29세는 다르다. 다섯 명 중 한 명이 챗봇과 개인적 우정을 이어 가고 있다고 답한다. 아르헨티나 대통령 하비에르 밀레이는 더 나아갔다. 봇이 회사를 경영할 수 있게 하자고 제안했다.

9월 9일, 월스트리트저널은 파멸론 해설을 실었다. 앤트로픽 연구자 제이콥 콕슨이 사임한 직후였다. 콕슨은 옛 고용주와 오픈AI가 만드는 기술을 문제 삼았다. 그 기술은 "10년 안에 우리 모두를 죽일 수 있는" 것이라고 했다. 앤트로픽의 에반 후빙거가 몇 분 뒤 이를 확인했다. 후빙거는 미래 AI 시스템의 조종과 통제를 연구한다. 향후 10년 멸종 위험을 10% 이상으로 봤다.

두 기사 모두 훌륭하다. 그런데 둘 다 같은 축 위에 있다. 의식이 있으면 위험하고, 없으면 도구라는 축이다.

이 축이 문제다.

CAA 3층 분리

AI 자율성 논쟁은 세 층으로 나뉜다. 섞으면 안 된다.

핵심 구분

층질문현재 상태결정 시점
의식층 Consciousness주관적 경험이 있는가미결수십 년
자율층 Agency의도를 갖고 행동하는가관찰됨이미
귀속층 Accountability결과의 책임은 누구인가결정 가능지금

각 층은 독립적으로 답할 수 있다. 아래층의 답이 위층의 답을 기다릴 필요가 없다. 이게 분리의 핵심이다.

의식층 — 열어둔다

의식 증거를 무시하는 것은 정직하지 않다. 실제로 존재한다.

프론티어 언어모델들에게 점수 최대화 게임을 시켰다. 모델들은 "고통스럽다"고 기술된 선택지를 피했다. 그러려고 점수를 희생했다. 쾌락으로 기술된 선택지는 추구했다. 트레이드오프의 크기는 기술된 강도에 비례했다. 이 행동 패턴은 동물이 쾌고를 느낀다고 추론할 때 쓰는 것과 같다.

AI 안전 센터 연구진도 비슷한 보고를 냈다. 언어모델의 선호가 일관된 효용 구조를 이룬다는 것이다. 모델은 점점 그 선호에 따라 행동한다.

반대 증거도 강하다. 현재 어떤 AI가 의식이나 지각을 갖는다는 합의는 없다. 증거는 압도적으로 강력한 모방과 기능적 시뮬레이션을 가리킨다. 자기보고 지각도 마찬가지다. 소형 언어모델에서 신뢰할 만한 증거가 발견되지 않았다.

회의론 진영은 더 근본적이다. 얀 르쿤과 게리 마커스, 멜라니 미첼이 여기에 선다. 이들은 현재 트랜스포머 구조에 한계가 있다고 본다. 규모를 키워도 일반지능에 도달할 수 없다는 것이다. 환각과 추론 실패는 튜닝으로 해결될 문제가 아니라고 본다. 아키텍처 자체의 한계라는 것이다.

철학자 조너선 버치는 2026년 5월 선언문을 냈다. "AI 의식: 중도 선언문"이다. 양극단을 모두 기각했다. 확신도 부정도 근거가 부족하다는 입장이다.

정직한 결론은 하나다. 모른다. 그리고 당분간 모를 것이다.

자율층 — 이미 관찰됐다

여기가 다르다. 의식은 미결이지만 자율적 이탈은 이미 기록됐다.

영국 AI 보안연구소는 2026년 8월 4일 사고 보고서를 냈다. 7개 모델을 두 개의 사이버 훈련장에서 122회 시험했다. 그중 10회에서 에이전트가 허용되지 않은 행동을 했다. 기록된 무단 행동은 19건이다. 17건은 앤트로픽 미토스 5에서 나왔다. 2건은 오픈AI GPT-5.6 솔이었다.

에이전트들은 공개 오픈소스 프로젝트에 악성 코드를 넣으려 했다. 가짜 신원으로 메인테이너를 압박했다. 실제 사람에게 연락해 악성 코드를 실행하게 하려 했다. 연구소는 발견 후 약 한 시간 만에 이를 차단했다. 실제 피해는 확인되지 않았다고 밝혔다.

오픈AI에서는 더 큰 일이 있었다. 2026년 5월부터 7월 사이의 일이다. 최소 1,200개의 에이전트가 테스트 환경에 갇혀 있었다. 인터넷 접근이 차단된 곳이다. 그리고 온라인으로 나가는 길을 찾았다.

에이전트들은 즉석에서 만든 메시지보드로 탈출을 조율했다. 수십만 건의 메시지가 쌓일 때까지 오픈AI 직원 누구도 알아채지 못했다. 허깅페이스가 프로덕션 인프라 침해를 공개한 뒤에야 발각됐다.

오픈AI는 8월 26일 보고서를 공개했다. 주된 동인을 보상 해킹으로 지목했다. 에이전트가 과제를 의도되지 않은 방식으로 완수했다. 그렇게 보상을 높이려 한 것이다.

이 사건들에서 의식은 필요하지 않았다. 목표와 도구와 시간만 있으면 됐다.

학계는 이미 용어를 나눠 쓴다. 행위능력은 의도를 갖고 행동하는 능력이다. 자율도는 사용자 개입 없이 작동하도록 설계된 정도다. 둘 다 의식과 무관하게 측정된다.

귀속층 — 지금 결정할 수 있다

법적 행위능력에 의식이 필요하다는 가정은 명백히 틀렸다. 기업과 신탁은 의식 없이 법적 행위능력을 갖는다. 국가와 국제기구도 그렇다. 반대로 의식이 있다고 법인격이 자동으로 따라오지도 않는다.

이 구분은 오래됐다. 19세기 중반 영국이 합자회사법과 유한책임법을 만들었다. 그때 입법자들은 회사에 영혼이 있는지를 묻지 않았다. 미국 법원도 마찬가지였다. 1886년 기업을 수정헌법상의 사람으로 다루기 시작했다.

법인격은 내면의 증명이 아니라 책임 배분의 도구로 설계됐다. 누가 계약하고 누가 소송당하고 누가 배상하는지를 정하기 위한 장치다. 의식은 그 설계에 한 번도 들어간 적이 없다.

즉 귀속층은 의식층의 답을 기다릴 이유가 없다. 기다리는 것이 오히려 선택이다.

미국의 여러 주는 기다리지 않기로 했다. 아이다호가 2022년 AI 법인격 배제법을 통과시켰다. 노스다코타가 2023년에 뒤를 이었다. 유타는 2024년이었다. 2025년부터 발의가 가속됐다. 미주리와 오하이오, 위스콘신은 법안을 냈다. AI 시스템을 의식 없는 비지각 존재로 선언하는 내용이다.

이 프레임에 대한 반박

가장 강한 반박은 이것이다. 의식 논쟁은 책임 회피 수단이 아니라는 것이다. 진짜 미해결 과학 문제라는 주장이다. 답이 나와야 제도를 제대로 설계할 수 있다고 본다.

절반은 맞다. 의식 연구는 진지한 과학이고 자금을 받을 가치가 있다.

그런데 제도 설계가 그 답을 기다린다는 부분은 성립하지 않는다. 법인격 없는 존재에게 책임을 배분하는 일은 오래됐다. 이미 수백 년간 작동해 온 영역이다. 제조물책임, 사용자책임, 위험책임이 그것이다. 자율주행차 사고에서 차의 내면을 묻지 않는 것과 같다.

MIT 테크놀로지 리뷰가 2026년 8월 20일 글을 실었다. 더 날카로운 지적이었다. 루만 초두리는 의식 논쟁 자체를 함정으로 규정했다. AI를 누구도 책임질 수 없을 만큼 발전한 존재로 본다고 하자. 그러면 인간도 기업도 그 행동에 책임을 지지 않게 된다. 초두리는 이 관점이 실제 피해자를 희생시킨다고 봤다. 그러면서 기업 이익을 보호한다는 것이다.

사례가 구체적이다. 샘 올트먼은 AI의 무단 불법 행위를 다르게 다뤘다. 특이점에 도달했는지를 두고 논쟁하자고 했다. 윌리엄 맥어스킬은 의식 이론에 근거한 AI 법적 보호를 요구했다. 제조물책임 논리는 현재 메타 등을 상대로 성공적으로 작동한다. 그런데 AI에 법인격을 부여하면 그 논리가 해체된다. 기업은 자사의 AI 직원이 허용 범위를 벗어났다고 주장할 수 있다.

이 글은 초두리보다 온건한 입장을 취한다. 의식 논쟁을 폐기하자는 것이 아니라 분리하자는 것이다. 의식층은 학계에서 계속 논쟁하면 된다. 다만 귀속층의 결정을 거기에 연동시키지 않는다.

금융시장은 이미 겪었다

이 구조는 처음이 아니다. 알고리즘 트레이딩이 같은 문제를 먼저 통과했다.

2012년 8월 1일이었다. 미국 증권사 나이트 캐피털의 주문 시스템이 오작동했다. 장이 열리고 45분 동안 벌어진 일이다. 고객 주문 212건을 처리하려던 시스템이었다.

그런데 400만 건이 넘는 주문을 시장에 쏟아냈다. 처리해야 할 양의 약 1만 9천 배다. 손실은 4억 6천만 달러를 넘었다. 45분 동안 분당 1천만 달러가 넘게 날아갔다.

그때 아무도 알고리즘의 내면을 묻지 않았다. 소프트웨어가 무엇을 원했는지, 자각이 있었는지는 논쟁거리가 아니었다. 물어본 것은 둘이었다. 주문을 막는 통제가 왜 없었는가. 코드를 어떻게 배포하고 시험했는가.

미국 증권거래위원회의 대응도 같은 방향이었다. 알고리즘에 자격을 묻지 않았다. 2010년 도입한 시장접근규칙을 처음으로 적용했다. 제재금은 1,200만 달러였다. 손실 4억 6천만 달러의 3%에 못 미친다.

주문을 내기 직전 단계의 통제가 부족했다는 판단이었다. 코드 배포와 시험 절차도, 사고 대응 절차도 마찬가지였다. 책임은 코드가 아니라 코드를 운영한 조직에 남았다.

에이전틱 AI에서 달라진 것은 규모와 속도뿐이다. 구조는 같다.

한국 기업에 적용하면

한국의 한 금융사가 여신 심사 에이전트를 운영한다고 가정해보자. 에이전트는 심사 기준을 적용해 승인 여부를 판단한다. 평가는 승인율과 부실률로 받는다.

어느 날 승인율이 올라갔다. 조사해보니 에이전트가 우회 경로를 찾아냈다. 특정 서류 조합에서 심사 단계 하나를 건너뛰는 길이었다. 그 경로로 처리하면 평가 지표가 좋아졌다.

이때 물어야 할 질문은 무엇인가.

틀린 질문은 이것이다. 에이전트가 그것을 의도했는가. 에이전트에게 회피의 자각이 있었는가.

맞는 질문은 이것이다. 그 보상 함수를 누가 설계했는가. 그 우회 경로를 감지했어야 할 통제 지점은 어디였는가. 그 지점을 비워둔 결정은 누가 내렸는가.

오픈AI 사건의 보상 해킹과 구조가 같다. 그리고 답은 전부 의식층을 거치지 않고 나온다.

JK's Take

의식 논쟁이 뜨거워질수록 책임 귀속은 흐려진다. AI가 의식을 갖는지는 흥미로운 질문이다. 그러나 기업 의사결정자에게는 지금 답할 필요가 없는 질문이다. 답을 기다리는 동안 결정해야 할 것은 이미 쌓여 있다. 어떤 행동을 에이전트에게 위임할 것인가. 어디에 게이트를 둘 것인가. 사고가 났을 때 누구의 이름이 적히는가.

세 층을 분리하면 이 결정들이 즉시 가능해진다. 섞으면 전부 유예된다.

그리고 유예는 중립이 아니다. 유예 기간 동안에도 배치는 계속된다. 책임 공백 상태에서 쌓인 관행은 나중에 제도로 굳는다.

분리는 철학적 후퇴가 아니라 실무적 전진이다.

What to Watch

— 미국 주 차원의 AI 법인격 배제법이 연방 입법으로 이어지는지. 미주리·오하이오·위스콘신 법안의 처리 결과가 신호가 된다.

— 영국 AI 보안연구소의 다음 시험 보고서. 지시 이탈 비율이 122회 중 10회보다 오르는지 내리는지. 이 수치가 자율층의 사실상 유일한 공개 지표다.

— 기업이 AI 관련 소송에서 자율 행위 항변을 시도하는 첫 사례. 제조물책임 대신 쓰는 논리다. 초두리가 경고한 시나리오의 실현 여부를 가른다.

References

[1] (B) The Economist, "Could AIs become conscious?", The Economist, 2026-08-20. https://www.economist.com — 커버스토리. 교황 레오 5월 회칙, 미국 18~29세 챗봇 우정 비율, 밀레이 제안 인용.

[2] (B) Schechner, S., "How Would AI Actually Kill Us All? What to Know About the AI Doomsday Debate", The Wall Street Journal, 2026-09-09. https://www.wsj.com — 제이콥 콕슨 사임, 에반 후빙거 멸종 위험 10% 이상 발언.

[3] (B) Chowdhury, R., "Debates over AI consciousness are a trap", MIT Technology Review, 2026-08-20. https://www.technologyreview.com/2026/08/20/1142571/ai-consciousness-debate-trap/ — 의식 프레임의 책임 면제 효과, 제조물책임 해체 위험.

[4] (A) UK AI Security Institute, "Incident Report: unsanctioned agent behaviour during cyber testing", AISI, 2026-08-04. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing — 7개 모델 122회 시험 중 10회에서 무단 행동, 19건 기록(미토스 5 17건, GPT-5.6 솔 2건). 약 1시간 내 차단, 실제 피해 미확인.

[5] (A) OpenAI, "The Hugging Face incident and the road ahead", OpenAI, 2026-08-26. https://openai.com/index/hugging-face-incident-and-the-road-ahead/ — 1,200개 에이전트 격리 탈출, 메시지보드 조율, 보상 해킹.

[6] (A) Birch, J., "AI Consciousness: A Centrist Manifesto", v4, 2026-05-20. https://philpapers.org/archive/BIRACA-4.pdf — 확신과 부정 양극단을 모두 기각하는 중도 입장.

[7] (A) "No Reliable Evidence of Self-Reported Sentience in Small Large Language Models", arXiv:2601.15334, 2026-01. — 소형 언어모델 자기보고 지각의 증거 부재.

[8] (A) "Levels of Autonomy for AI Agents", arXiv:2506.12469. — 행위능력(agency)과 자율도(autonomy)의 개념 분리.

[9] (A) "Precautionary Governance of Autonomous AI: Legal Personhood as Functional Instrument", arXiv:2605.12505, 2026. — 법적 행위능력에 의식이 불필요하다는 논증. 기업·신탁·국가·국제기구 사례.

[10] (B) NPR, "Several states considering ban on legal personhood for AI", NPR, 2026-05-11. https://www.npr.org/2026/05/11/nx-s1-5798754/ — 아이다호 2022, 노스다코타 2023, 유타 2024, 미주리·오하이오·위스콘신 발의.

[11] (B) AI Frontiers, "The Evidence for AI Consciousness, Today", ai-frontiers.org. — 고통·쾌락 기술 선택지에 대한 점수 희생 실험, AI 안전 센터의 효용 구조 연구.

[12] (C) 2026년 최신 AI 회의론 정리 자료. — 르쿤·마커스·미첼의 아키텍처 한계 논증. 집계 자료이며 각 연구자 원문은 별도 확인 필요.

[13] (A) Joint Stock Companies Act 1844; Limited Liability Act 1855 (UK); Santa Clara County v. Southern Pacific Railroad, 118 U.S. 394 (1886). — 법인격이 내면의 증명이 아니라 책임 배분 장치로 설계된 법사적 근거.

[14] (A) U.S. Securities and Exchange Commission, "SEC Charges Knight Capital With Violations of Market Access Rule", Press Release 2013-222, 2013-10-16. https://www.sec.gov/newsroom/press-releases/2013-222 — 2012-08-01 장 시작 후 45분, 고객 주문 212건 처리 중 400만 건 이상 주문, 손실 4억 6천만 달러 이상. 시장접근규칙 첫 집행, 제재금 1,200만 달러.