에이전트를 어디까지 믿을 것인가
Menu: strategic-rationale Sub: decision-framework Status: Draft Date: 2026-08-08
Executive Summary
편의점 CCTV는 도둑이 아니라 직원을 감시한다. 경제학은 이것을 대리인 문제(agency problem)라 부른다. AI 에이전트가 등장하면서, 대리인 문제는 해결되는 것이 아니라 새로운 형태로 진화하고 있다. Governed Autonomy는 AI 에이전트에게 자율성을 부여하되, 핵심 판단 지점에서 사람이 개입하는 설계 원칙이다.
문제 인식: 모든 위임에는 위험이 있다
편의점에 CCTV가 있다. 도둑을 잡기 위해서가 아니다. 직원을 감시하기 위해서다. 점주는 24시간 매장에 있을 수 없다. 직원이 무엇을 하는지 다 볼 수 없다. 직원은 자기가 무엇을 했는지 안다. 점주는 모른다. 정보가 비대칭하다.
경제학에서는 이것을 도덕적 해이(moral hazard, 계약 이후 감시가 어려워 대리인이 태만해지는 현상)라 부른다[1]. 채용 전에 진짜 능력을 알기 어려운 것은 역선택(adverse selection, 정보가 적은 쪽이 불리한 선택을 하게 되는 현상)이다.
이 문제는 편의점에만 있지 않다. 주주와 경영자, 본사와 지사, 원청과 하청, 의뢰인과 변호사. 모든 위임 관계에 주인(principal)과 대리인(agent)이 있다. 대리인은 항상 주인보다 더 많은 정보를 가진다.
해결하는 전통적 방법은 두 가지다. 인센티브 설계와 모니터링이다. 스톡옵션으로 경영자의 이익을 주주의 이익과 일치시킨다. 감사, 보고 체계, 이사회로 감시한다. 둘 다 불완전하다. 엔론의 경영자들도 스톡옵션이 있었다. 주가를 올리기 위해 회계를 조작했다.
프레임워크 제시: AI는 새로운 대리인이다
AI 에이전트가 등장하면서 대리인 문제의 구조가 바뀌고 있다.
전통적 대리인 비용은 세 가지로 구성된다. 감시비용(대리인을 지켜보는 비용), 보증비용(대리인이 신뢰를 증명하는 비용), 잔여손실(감시와 보증을 해도 남는 비효율)이다[1].
AI 에이전트는 감시비용을 극적으로 낮춘다. 모든 거래가 로그로 기록된다. 모든 판단 과정이 추적 가능하다. 로보어드바이저(robo-advisor, AI 기반 자산관리 서비스)는 펀드매니저의 대리인 비용을 90% 절감했다는 보고가 있다. HSBC의 AML(Anti-Money Laundering, 자금세탁방지) 시스템은 기존 대비 2~4배 많은 이상 거래를 탐지하면서 오탐(false positive)을 60% 줄였다[2].
그러나 새로운 대리인 문제가 발생한다.
첫째, AI 정렬(alignment) 문제다. "매출을 올려라"고 지시했는데, AI가 해석한 "매출 올리기"와 경영진이 원하는 "매출 올리기"가 다를 수 있다. AI 판매 에이전트가 단기 전환율을 높이기 위해 과도한 할인을 남발하면, 매출은 올라가지만 수익성은 떨어진다. 프롬프트에 명시한 목표와 기업의 진정한 목표가 일치하지 않는 문제다.
둘째, 다층 대리인 문제다. 사람이 AI 에이전트에게 지시하고, 그 에이전트가 다른 에이전트에게 다시 위임한다. 각 단계마다 의도가 미세하게 어긋날 수 있다. McKinsey에 따르면 기업의 62%가 이미 AI 에이전트를 실험하고 있고, 23%가 1~2개 기능에서 에이전트를 확장하고 있다[3]. 멀티 에이전트 시스템이 확산될수록 다층 대리인 문제는 커진다.
셋째, 블랙박스 문제다. LLM 기반 에이전트가 왜 그런 판단을 내렸는지 설명하기 어렵다. 전통적 대리인은 최소한 "왜 그렇게 했는가"라고 물을 수 있다. AI 에이전트는 이 질문에 만족스러운 답을 하지 못할 수 있다. EU AI Act가 2026년 8월 2일 전면 시행되면서, 고위험 AI 시스템에 대한 설명 가능성 요건이 강화되었다[4].
프레임워크 적용: Governed Autonomy
Governed Autonomy는 이 문제에 대한 설계 원칙이다. AI 에이전트에게 자율성을 부여하되, 핵심 판단 지점에서 사람이 개입하는 구조다.
세 가지 레이어로 구성된다.
첫 번째 레이어는 자동 실행 영역이다. 명확한 규칙이 있고, 예외가 적고, 실패의 비용이 낮은 업무다. 고객 문의 초안 답변, 정형화된 보고서 생성, 데이터 수집과 정리가 해당된다. 에이전트가 사람의 승인 없이 즉시 실행한다.
두 번째 레이어는 승인 필요 영역이다. 규칙이 있지만 예외가 많거나, 실패의 비용이 중간인 업무다. 에이전트가 초안을 작성하고, 사람이 검토하고 승인한다. 여신 심사 초안, 계약서 검토, 공급업체 평가 보고서가 해당된다.
세 번째 레이어는 인간 전용 영역이다. 규칙이 없거나, 이해관계가 복잡하거나, 윤리적 판단이 필요한 업무다. 에이전트가 정보를 정리하고 선택지를 제시하지만, 최종 판단은 사람이 한다. 전략적 투자 결정, 인사 평가, 위기 대응이 해당된다.
이 세 레이어의 경계를 어디에 긋느냐가 Governed Autonomy의 핵심이다. 경계를 너무 넓게 잡으면 리스크가 커지고, 너무 좁게 잡으면 에이전트 도입의 효과가 사라진다.
IMF(International Monetary Fund, 국제통화기금)는 2026년 보고서에서 자율 에이전트가 "상관성 높은 행동을 통해 시장 변동성을 증폭시킬 수 있다"고 경고했다[5]. 금융 시스템에서 Governed Autonomy의 설계가 특히 중요한 이유다.
JK's Take
대리인 문제는 인류가 "일을 맡기기 시작한 이후" 줄곧 존재했다. AI 에이전트가 이 문제를 해결한 것이 아니다. 감시 비용은 줄였지만, 정렬 비용이라는 새로운 비용을 만들었다.
Governed Autonomy의 핵심은 "어디까지 맡기고, 어디서 사람이 개입하는가"를 설계하는 것이다. 이것은 기술 문제가 아니라 경영 판단이다. 에이전트의 자율성 범위를 정하는 것은 CTO가 아니라 CEO의 일이다.
신뢰할 수 없는 대리인과 일하는 방법은 하나다. 신뢰하지 않아도 되는 구조를 만드는 것이다.
What to Watch
— EU AI Act 전면 시행(2026.8.2) 이후 고위험 AI 시스템의 설명 가능성 요건이 기업에 어떤 영향을 미치는지 추적하라. 금융, 의료, 채용 분야에서 Governed Autonomy의 구체적 구현 사례가 나올 전망이다.
— 멀티 에이전트 시스템의 거버넌스 프레임워크를 주목하라. 에이전트가 다른 에이전트에게 위임할 때의 책임 소재, 정렬 검증, 로그 감사 기준이 2026년 하반기 핵심 의제로 부상할 것이다.
— 한국 금융위원회가 2026년 6월 '금융분야 AI 가이드라인' 개정안을 시행했다[6]. 7대 원칙(거버넌스, 합법성, 보조수단성, 신뢰성, 금융안정성, 신의성실, 보안성) 중 "보조수단성"이 Governed Autonomy와 직접 연결된다.
References
[1] Jensen, M. & Meckling, W., "Theory of the Firm", Journal of Financial Economics, 1976. — 대리인 문제(agency problem)는 일을 맡긴 사람(주인)과 실행하는 사람(대리인)의 이해관계가 어긋날 때 생기는 비효율이다.
[2] KYC Chain, "AI Compliance Agents for KYC/AML", 2026. https://kyc-chain.com/ai-compliance-agents-kyc-aml/ — AML(Anti-Money Laundering, 자금세탁방지)은 금융기관이 불법 자금 흐름을 탐지하고 차단하는 활동이다.
[3] McKinsey, "The State of AI 2025", 2025. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai — 기업의 62%가 AI 에이전트를 실험 중이고, 23%가 1~2개 기능에서 확장하고 있다.
[4] Linklaters, "EU Authorities Weigh Up Impact of AI Regulation on Financial Services", 2026. https://financialregulation.linklaters.com/post/102lw5y/eu-authorities-weigh-up-impact-of-ai-regulation-on-financial-services — EU AI Act는 고위험 AI 시스템에 대해 위험 관리, 인간 감독, 투명성, 감사 가능성을 요구한다.
[5] Forbes, "Agentic Banking Is Creating a New Category of Financial Risk", 2026. https://councils.forbes.com/blog/agentic-banking-is-creating-a-new-category-of-financial-risk — IMF(International Monetary Fund, 국제통화기금)가 자율 에이전트의 시장 변동성 증폭 위험을 경고했다.
[6] 금융위원회, "금융분야 AI 가이드라인 개정안", 2026. https://www.fsc.go.kr/no010101/87142 — 7대 원칙 중 보조수단성은 AI가 인간의 판단을 대체하지 않고 보조하는 것을 원칙으로 한다.
