1,411명이 차별적 AI를 그대로 따랐다

사람은 이미 법 안에 있다

한국 AI 기본법은 2026년 1월 22일 시행됐다. 법은 일부 AI를 고영향 AI로 묶는다. 생명·안전·기본권에 중대한 영향을 주는 AI다. 채용과 대출 심사가 그 예다. 이런 AI를 제공하는 사업자는 안전성과 신뢰성을 위한 조치를 해야 한다.

법 제34조가 꼽은 조치는 다섯 가지다. 위험관리, 결과 설명, 이용자 보호, 문서 보관, 그리고 사람의 관리·감독이다. 감독하는 사람의 성명과 연락처도 공개해야 한다. 위반하면 3천만 원 이하 과태료가 부과된다. 다만 최소 1년 이상 계도기간이 운영된다.

유럽연합 AI법 14조는 같은 방향을 더 자세히 적었다. 감독자는 시스템의 한계를 이해해야 한다. 출력에 과하게 기대는 경향, 곧 자동화 편향을 알아차려야 한다. 출력을 무시하거나 뒤집을 수 있어야 한다. 정지 버튼으로 시스템을 멈출 수도 있어야 한다.

다만 유럽은 속도를 늦췄다. 2026년 디지털 옴니버스 합의가 적용 시점을 미뤘다. 채용·신용평가 같은 독립형 고위험 AI가 그 대상이다. 의무 적용은 2027년 12월로 넘어갔다. 제품에 들어간 AI는 2028년 8월이다.

조문은 준비됐고 시행은 유예 중이다. 그 사이 기업이 만드는 관행이 제도의 실제 모습이 된다.

사람은 생각보다 감독을 못한다

유럽연합 공동연구센터는 이 전제를 실험했다. 이탈리아와 독일의 인사·금융 전문가 1,411명이 참여했다. 이들에게 채용과 대출 결정을 맡겼다. 일부에게는 차별을 줄이도록 만든 AI의 권고를 줬다. 일부에게는 그렇지 않은 AI의 권고를 줬다.

결과는 불편했다. 사람들은 공정한 권고를 더 따르지 않았다. 차별적인 권고도 똑같이 따랐다. 사람의 감독은 차별을 막지 못했다.

네덜란드 공공부문 실험도 비슷하다. 사르 알론바르캇과 마달리나 부수이옥이 이를 연구했다. 공무원들은 알고리즘의 예측을 골라서 따랐다. 예측이 기존 고정관념과 맞을 때 더 쉽게 받아들였다. 사람이 AI를 교정한 게 아니다. 사람의 편향과 AI의 편향이 서로를 확인해 준 셈이다.

벤 그린은 2022년 이 문제를 제도 차원에서 정리했다. 정부 알고리즘에 인간 감독을 요구하는 정책 41개를 분석했다. 두 가지 결함이 나왔다. 첫째, 사람은 정책이 기대하는 감독 기능을 수행하지 못한다. 둘째, 인간 감독 조항이 오히려 정당화 장치가 된다. 결함 있는 알고리즘의 도입을 뒷받침한다. 감독 조항이 안전장치가 아니라 안심 장치가 된다는 지적이다.

이 실패는 오래됐다

호주 정부는 복지 수급자에게 자동으로 부채를 매겼다. 2015년부터 2019년까지였다. 국세청 소득 자료를 평균 내어 과다 지급액을 계산했다. 로보데트라 불린 이 제도에서 사람의 검토는 조금씩 줄었다. 결국 사람의 확인 없이 부채 고지서가 나갔다. 부채가 없다는 증명은 수급자의 몫이 됐다.

2023년 7월 왕립조사위원회는 결론을 냈다. 캐서린 홈스 위원장은 로보데트를 "조잡하고 잔인한 장치"라고 불렀다. 공정하지도 합법적이지도 않았다는 것이다. 행정심판은 소득 평균 방식이 위법하다고 결정했다. 2017년 3월에 이미 나온 결정이다. 체계적인 검토가 없어서 그 결정이 묻혔다.

사람이 처음부터 없었던 게 아니다. 있던 사람이 조직의 압력 속에서 사라졌다. 감독은 한 번 설치하면 저절로 유지되는 장치가 아니다.

서명하면 규제에서 빠진다

한국 AI 기본법에는 역설이 하나 있다. 이성엽 고려대 교수가 이 지점을 짚었다. 2026년 2월 법률신문 기고다.

고영향 AI 요건에 해당해도 빠져나갈 길이 있다. 최종 의사결정에 사람이 개입하면 통제할 수 있다고 본다. 그러면 고영향 AI 대상에서 제외된다. AI 기업이 절차를 그렇게 짤 수 있다. 최종 결정을 사람이 하도록 하면 규제 대상이 사라진다는 지적이다.

앞의 실험과 겹쳐 보면 문제가 선명해진다. 차별적 권고를 그대로 따르는 사람이 결재선 끝에서 서명한다. 그 서명 덕분에 시스템은 고영향 AI 의무에서 벗어난다. 감독자를 두는 행위가 감독의 부담을 없애는 방향으로 작동할 수 있다.

이 해석이 굳으면 기업 앞에 두 갈래 길이 생긴다. 조건을 갖춰 실제로 감독하는 길이 하나다. 서명자 한 명을 두고 의무에서 빠지는 길이 또 하나다. 비용만 보면 뒤쪽이 싸다.

개입 가능성 4조건

그렇다면 사람을 두는 것이 무의미한가. 그렇지 않다. 사람이 개입할 수 있는 조건을 갖췄는지가 문제다. 네 가지 조건이 동시에 필요하다.

---

개입 가능성 4조건

---

시간이 첫째다. 2012년 나이트 캐피털의 주문 시스템이 폭주했다. 장이 열리고 45분 동안 400만 건 넘는 주문을 냈다. 초당 1,480건이 넘는 속도다.

손실은 4억 6천만 달러를 넘었다. 1분에 약 1천만 달러를 잃은 셈이다. 사람이 이상을 알아챘을 때는 이미 끝나 있었다. 에이전트는 이보다 빠르다.

정보가 둘째다. 감독자가 결론만 보고 근거를 못 보면 판단이 아니라 승인만 할 수 있다. 오픈AI는 2026년 9월 아스트라의 시스템 카드를 공개했다. 아스트라(GPT-6 Astra)의 추론 과정은 감시가 더 어려워졌다. 이전 모델보다 감시 가능성이 떨어졌다는 것이다.

지표는 추론 표현을 통제하라는 지시를 따른 비율이다. GPT-5.6 솔은 16.1%, 아스트라는 60.9%였다. 모델이 무엇을 드러낼지 스스로 조절하는 능력이 커졌다는 뜻이다. 유럽 AI법 14조도 같은 이유에서 나왔다. 출력을 해석할 도구와 이상 징후를 감지할 수단을 요구한다.

권한이 셋째다. 유럽 AI법 14조가 정지 버튼을 명시한 이유다. 멈출 수 없는 감독자는 관찰자일 뿐이다.

유인이 넷째다. 뒤집을 때만 사유서를 요구하는 조직을 생각해보자. 그대로 승인하면 아무 일도 없고, 뒤집으면 설명할 일이 생긴다. 사람은 승인 쪽으로 기운다. 최종 서명이 규제 면제로 이어지는 구조도 있다. 그러면 조직도 형식적 서명을 원하게 된다.

조건이 맞으면 작동한다

반대 증거도 있다. 사람과 AI가 함께 일해 결과가 좋아진 사례다.

MASAI는 유방암 검진에 AI를 쓴 임상시험이다. AI 지원 판독과 기존 이중 판독을 무작위로 비교했다.

여성 10만 5,934명이 참여했다. AI를 쓴 쪽의 민감도는 80.5%로 기존 방식의 73.8%보다 높았다. 특이도는 두 쪽 모두 98.5%였다. 간격암은 검진과 검진 사이에 발견되는 암이다. 1,000명당 1.76건에서 1.55건으로 줄었다. 판독 업무량은 44% 줄었다. 그래도 판독에는 최소 한 명의 영상의학 전문의가 참여했다.

이 사례는 4조건 틀과 충돌하지 않는다. 오히려 확인해 준다. 검진 판독은 결과를 통보하기 전에 판단할 시간이 있다. 전문의는 점수가 아니라 영상을 직접 본다. 판정을 내리는 권한도 전문의에게 있다. 네 조건이 갖춰진 곳에서 사람과 AI의 결합은 작동했다.

한국 기업에 적용하면

한국의 한 대기업이 서류 전형에 AI를 쓴다고 가정해보자. AI가 지원자 순위를 매기고, 인사팀 담당자가 최종 합격 버튼을 누른다. 채용은 법이 꼽은 고영향 영역이다. 그런데 최종 결정은 사람이 한다. 그래서 회사는 고영향 AI가 아니라고 판단할 수 있다.

네 조건으로 점검해보자. 담당자가 하루에 수천 건을 처리해야 한다면 시간 조건이 무너진다. 화면에 점수만 보이고 근거가 없다면 정보 조건이 무너진다. 순위를 바꾸려면 별도 결재가 필요하다면 권한 조건이 흔들린다. 담당자 평가가 처리 속도로 매겨진다면 유인 조건이 무너진다.

이 회사에는 감독자가 있다. 이름도 공개할 수 있다. 그러나 감독은 없다.

조직이 할 일은 감독자 지명이 아니다. 네 조건이 충족됐다는 증거를 도입 전에 남기는 것이다.

증거는 구체적이어야 한다. 시간 조건은 처리량 대비 검토에 쓸 수 있는 시간으로 적는다. 정보 조건은 감독자 화면에 표시되는 근거 항목으로 적는다. 권한 조건은 번복과 정지에 필요한 절차와 걸리는 시간으로 적는다. 유인 조건은 번복한 감독자가 어떻게 평가받는지로 적는다.

운영 중에는 번복률을 기록한다. 번복이 한 건도 없다면 AI가 완벽하다는 뜻이 아닐 수 있다. 감독이 서명으로 바뀌었다는 신호일 수 있다.

벤 그린의 제안도 같은 방향이다. 개인 감독에서 기관 감독으로 옮기자는 것이다. 두 가지를 도입 전에 제시하게 하자는 것이다. 알고리즘을 쓰는 게 적절하다는 정당화가 하나다. 제안한 인간 감독이 실제로 작동한다는 근거가 또 하나다. 그리고 그것을 공개 검토에 부친다.

JK's Take

사람을 결재선에 넣을수록 AI의 책임이 옅어질 수 있다. 감독자 이름은 감독이 아니다.

인간 감독을 요구하는 법은 옳다. 문제는 그 요구가 사람의 존재만으로 충족된다고 여기는 해석이다. 1,411명의 실험이 보여주듯 사람은 권고를 따르는 쪽으로 기운다. 조건 없이 앉힌 감독자는 오류를 막지 못한다. 오류의 책임만 나눠 갖는다.

제도화의 대상은 사람이 아니라 조건이어야 한다. 멈출 시간, 볼 수 있는 근거, 뒤집을 권한, 뒤집어도 손해가 없는 구조. 이 네 가지를 설계하고 증명하는 것이 감독이다.

에이전트 시대의 감독은 결재 문화의 연장이 아니라 설계의 영역이다.

What to Watch

— 계도기간이 끝난 뒤가 관건이다. 정부가 "최종 의사결정에 사람이 개입하는 경우"를 어떻게 해석하는지. 서명만으로 고영향 AI에서 빠질 수 있는지가 제도의 실효성을 가른다.

— 유럽의 독립형 고위험 AI 의무가 어떻게 되는지. 2027년 12월에 실제로 적용되는지, 다시 미뤄지는지.

— 외부 기관의 감독 접근권. 파이낸셜타임스가 2026년 9월 이를 보도했다. 앤트로픽이 영국 AI 보안연구소에 시험 접근을 주지 않았다. 미토스 5.1의 출시 전 시험이었다. 이유는 확인되지 않았다. 기관 감독도 권한 조건이 없으면 작동하지 않는다.

References

[1] (A) 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제34조(고영향 인공지능과 관련한 사업자의 책무). — 위험관리방안, 결과 설명 방안, 이용자 보호 방안, 사람의 관리·감독, 문서 작성·보관.

[2] (B) 법무법인 세종, "AI 기본법 시행과 그 시사점", 2026-02-11. https://www.shinkim.com/kor/media/newsletter/3114 — 고영향 AI 예시(채용·대출심사), 감독자 성명·연락처 공개, 과태료 3천만 원 이하, 계도기간 최소 1년.

[3] (B) 법무법인 대륜, "과태료 계도기간 운영 등 상세조항 담은 AI 기본법 시행령", 뉴스레터. https://www.daeryunlaw.com/newsletter/news/246 — 2026-01-22 시행, 최소 1년 계도기간.

[4] (A) Regulation (EU) 2024/1689 (AI Act), Article 14 Human oversight. https://artificialintelligenceact.eu/article/14/ — 한계 이해, 자동화 편향 인식, 출력 무시·번복, 정지 버튼. 자동화 편향(automation bias)은 자동화된 출력에 과도하게 의존하는 경향이다.

[5] (B) Gibson Dunn, "EU AI Act Omnibus Agreement — Postponed High-Risk Deadlines and Other Key Changes", 2026. https://www.gibsondunn.com/eu-ai-act-omnibus-agreement-postponed-high-risk-deadlines-and-other-key-changes/ — 부속서 III 고위험 AI 2027-12-02, 부속서 I 2028-08-02로 연기.

[6] (A) European Commission Joint Research Centre, 인간 감독과 AI 지원 의사결정의 차별에 관한 연구, JRC139127, 2025. https://publications.jrc.ec.europa.eu/repository/handle/JRC139127 — 이탈리아·독일 인사·금융 전문가 1,411명 대상 실험.

[7] (A) Alon-Barkat, S. & Busuioc, M., "Human–AI Interactions in Public Sector Decision Making: 'Automation Bias' and 'Selective Adherence' to Algorithmic Advice", Journal of Public Administration Research and Theory 33(1), 2023. https://doi.org/10.1093/jopart/muac007 — 선택적 순응(selective adherence)은 기존 믿음과 맞는 알고리즘 권고만 골라 따르는 경향이다.

[8] (A) Green, B., "The flaws of policies requiring human oversight of government algorithms", Computer Law & Security Review, 2022. https://www.sciencedirect.com/science/article/pii/S0267364922000292 — 정책 41개 분석, 개인 감독에서 기관 감독으로의 전환 제안.

[9] (B) IAPP, "Privacy insights from the Australian Royal Commission's Robodebt investigation". https://iapp.org/news/a/privacy-insights-from-australian-royal-commissions-robodebt-investigation — 2015~2019 소득 평균 방식 자동 부채 산정, 사람 검토의 점진적 소거.

[10] (B) Law Society Journal, "Crude, cruel and unlawful: Robodebt Royal Commission findings", 2023. https://lsj.com.au/articles/crude-cruel-and-unlawful-robodebt-royal-commission-findings/ — 캐서린 홈스 위원장 발언, 2017-03-08 행정심판의 위법 결정.

[11] (B) 이성엽, "AI기본법 시행에 따른 쟁점과 과제", 법률신문, 2026-02-04. https://www.lawtimes.co.kr/news/articleView.html?idxno=215368 — 최종 의사결정에 사람이 개입하면 고영향 AI에서 제외되는 구조와 규제 회피 가능성.

[12] (A) U.S. Securities and Exchange Commission, "SEC Charges Knight Capital With Violations of Market Access Rule", Press Release 2013-222, 2013-10-16. https://www.sec.gov/newsroom/press-releases/2013-222 — 45분, 400만 건 이상 주문, 손실 4억 6천만 달러 이상.

[13] (B) Techwire Asia, "OpenAI says GPT-6 Astra is harder to monitor than GPT-5.6 Sol", 2026-09. https://techwireasia.com/2026/09/openai-gpt-6-astra-monitoring/ — 시스템 카드 인용. 추론 표현 통제 지시 준수율 60.9% 대 16.1%. 원문: OpenAI, "GPT-6 Astra System Card", https://deploymentsafety.openai.com/gpt-6-astra

[14] (A) The Lancet, "Interval cancer, sensitivity, and specificity comparing AI-supported mammography screening with standard double reading without AI in the MASAI study", 2026. https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(25)02464-X/abstract — 10만 5,934명, 민감도 80.5% 대 73.8%, 특이도 98.5%, 간격암 1,000명당 1.55 대 1.76. 간격암(interval cancer)은 정기 검진 사이에 발견되는 암이다.

[15] (A) The Lancet Oncology, "Artificial intelligence-supported screen reading versus standard double reading in the MASAI trial: a clinical safety analysis", 2023. https://pubmed.ncbi.nlm.nih.gov/37541274/ — 판독 업무량 44% 감소.

[16] (B) ITPro, "Anthropic reportedly withholds access to Mythos 5.1 from UK safety testing body", 2026-09-09. https://www.itpro.com/technology/artificial-intelligence/anthropic-reportedly-withholds-access-to-mythos-5-1-from-uk-safety-testing-body — 파이낸셜타임스 보도 인용. 이유 미확인.