도입은 79%, 운영은 31%

1. 이 격차는 처음이 아니다

2010년대 클라우드 전환이 같은 모양이었다. 도입 자체는 빠르게 확산됐다. 그러나 핵심 업무 시스템을 실제로 클라우드로 옮기는 작업은 훨씬 느렸다. 도입을 선언한 기업과 운영을 완성한 기업 사이에서 역량 차이가 벌어졌다. 그 격차는 수년간 좁혀지지 않았다.

Agentic AI가 같은 패턴을 반복하고 있다. PwC가 2025년 5월 고위 임원 300명을 조사했다. 79%가 AI 에이전트를 이미 도입하고 있다고 답했다^[2]. 도입 기업의 66%는 측정 가능한 생산성 향상을 보고했다^[2].

그러나 에이전트를 실제 운영 환경에 올린 기업은 31%다^[4]. 최소 한 개 이상을 올린 기준이다. 전사 차원에서 확장 운영하는 곳은 10곳 중 2곳이다^[3]. 업무 기능 단위로 좁히면 어느 기능에서도 10%를 넘지 못한다^[3]. 도입의 쉬움이 운영의 어려움을 가리고 있다.

클라우드와 다른 점이 하나 있다. Agentic AI는 복잡도가 훨씬 높다. 클라우드는 인프라를 옮기는 것이었다. Agentic AI는 여러 에이전트가 자율로 판단하고 협업한다. 그 시스템을 설계하고 운영하는 일이다. 격차가 더 오래, 더 크게 벌어질 수 있다.

2. 운영이 막히는 세 가지 이유

79%가 시작했지만 31%만 운영에 이른 이유는 구조적이다.

첫째, 멀티에이전트 오케스트레이션의 복잡도다. 전통 AI는 단일 모델을 배포하면 되었다. Agentic AI는 여러 에이전트가 역할을 나누어 협업한다. 에이전트 간 통신과 상태 관리가 필요하다. 실패 복구와 루프 방지도 동시에 필요하다. 파일럿은 2~3개로 시작한다. 운영에서는 수십 개가 동시에 움직인다.

둘째, 비용 구조가 불투명하다. 파일럿에서는 토큰 비용이 무시할 수준이다. 운영 규모로 커지면 달라진다. API 호출 비용과 인프라 비용, 오케스트레이션 오버헤드가 겹친다. 예산을 넘기는 사례가 잦다. 비용 예측 모델 없이 시작한 파일럿이 운영에서 멈추는 주된 이유다.

셋째, 리스크 통제 체계가 없다. 에이전트가 자율로 판단하고 행동한다. 예측 못 한 결과가 나올 수 있다는 뜻이다. 금융의 여신 판단과 의료의 진단 보조, 제조의 공정 제어가 그렇다. 실수의 비용이 크다.

이런 영역에는 Governed Autonomy 체계가 필수다. 에이전트의 행동 범위를 설계하는 일이다. 이 체계 없이 배포한 에이전트는 첫 사고 뒤에 멈춘다.

Gartner는 2027년 말까지 프로젝트의 40% 이상이 취소될 것으로 본다^[1]. 이유는 셋이다. 비용 초과와 불분명한 사업 가치, 부적절한 리스크 통제다.

3. 한국 기업의 현실

국내 중견 제조기업 A사의 사례를 가정해보자. 공정 이상 탐지와 품질 검사 자동화를 위해 에이전트 시스템 파일럿을 시작했다. 4주 만에 데모가 완성되었다. 6개월 후, 파일럿은 여전히 파일럿이다.

문제는 기술이 아니었다. 첫째, 운영 환경의 데이터 품질이 파일럿과 달랐다. 훈련 데이터와 실제 생산 데이터의 분포 차이가 컸다.

둘째, 에이전트가 이상 판정을 내려도 현장 작업자가 믿지 않았다. Human in the loop 설계가 없었다. 셋째, 에이전트가 잘못 판단했을 때 누가 책임지는지 내부 합의가 없었다.

이것이 한국 기업의 전형적인 패턴이다. 기술 역량은 충분하다. 운영 체계가 없다. 파일럿과 운영을 가르는 것은 네 가지다. AgentOps 프레임워크와 모니터링 루프, 인간 개입 설계, 책임 구조다. AgentOps는 에이전트 운영 체계를 뜻한다.

산업별로 보면 은행과 보험이 47%로 가장 높다^[4]. 오래전부터 워크플로 자동화와 데이터 기반 의사결정에 투자한 결과다. 반면 헬스케어는 18%, 공공은 14%다. 같은 규제 산업인데 금융과 세 배 가까이 벌어진다. 규제의 강도가 아니라 자동화 자산의 축적량이 차이를 만들었다.

4. 격차를 좁히는 세 가지 역량

운영에 성공한 기업은 평균 171%의 ROI를 보고한다^[5]. 미국 기업은 192%다. 전통적 자동화의 약 3배다^[5]. 성공 기업의 공통점은 세 가지다.

멀티에이전트 오케스트레이션 설계 역량이 첫째다. 에이전트를 만드는 것은 쉽다. 여러 에이전트가 안정적으로 협업하는 설계는 다른 문제다. 오케스트레이션 프레임워크의 실전 경험이 핵심 역량이다. LangGraph와 CrewAI, AutoGen 같은 것들이다.

AgentOps 체계가 둘째다. 모델 성능이 아니라 시스템 전체를 본다. 관찰하고 평가하고 개선하는 운영 루프다. 에이전트가 무엇을 판단하고 실행하는지 로그를 남긴다. 이상 행동을 탐지하고 성능 저하를 일찍 발견한다.

Governed Autonomy가 셋째다. 에이전트에게 자율성을 주되 행동 범위를 설계한다. 사람 없이 처리할 결정과 반드시 확인받을 결정을 가른다. 그 구분이 핵심이다.

다른 조사도 같은 방향을 가리킨다. Deloitte가 3,235명을 조사했다. 24개국 6개 산업의 경영진과 IT 책임자다^[6].

여러 에이전트를 부서 너머로 오케스트레이션하는 기업은 15%였다^[6]. 자율 에이전트의 거버넌스가 성숙하다고 답한 기업은 21%다^[6]. AI 실험의 40% 이상을 운영으로 옮긴 기업은 25%다^[6]. 도입과 운영의 간격은 한 조사의 착시가 아니다.

막는 것이 무엇인지도 같은 조사에 있다. 데이터가 흩어져 있다는 응답이 72%다. 에이전트를 신뢰하고 통제할 수 없다는 응답이 70%다. 통합 비용이 너무 크다는 응답이 67%였다^[6]. 모델 성능은 목록에 없다.

JK's Take

도입을 빨리 한 기업이 이기는 게임이 아니다. 운영까지 도달한 기업이 독식한다.

79%가 도입했다는 숫자는 게임이 이미 시작되었다는 신호다. 31%가 운영한다는 숫자는 아직 자리가 남았다는 신호다. 20%가 전사 확장에 들어섰다는 숫자는 선두 그룹이 생겼다는 신호다.

주목할 지점은 따로 있다. 매출 10억 달러 이상 기업의 확장 운영 비율이 40%다. 직전 조사의 27%에서 뛰었다^[3]. 전체 평균 20%의 두 배다. 격차가 좁혀지는 게 아니라 벌어지고 있다.

클라우드 전환기에도 "이미 늦었다"고 말하는 사람들이 있었다. 그러나 진짜 경쟁은 운영 역량에서 갈렸다.

Gartner가 예측한 40% 취소는 경고가 아니라 기회다. 그 자리를 운영 역량이 있는 기업이 가져간다.

What to Watch

— Gartner의 40% 취소 예측이 2027년 말에 현실이 되는지 추적하라. 취소 사유의 패턴이 후발 주자에게 가장 값진 교훈이다.

— 산업별 운영 배치율 격차를 주목하라. 은행·보험 47%, 헬스케어 18%, 공공 14%다. 이 수치가 2027년에 어떻게 변하는지가 규제 산업의 수용 속도를 말해 준다.

— 오케스트레이션 프레임워크의 성숙도를 확인하라. LangGraph와 CrewAI, AutoGen이 운영 안정성을 확보해야 한다. 그 시점이 Agentic AI 확산의 전환점이다.

References

[1] Gartner, "Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027", Gartner Newsroom, 2025-06-25. https://www.gartner.com/en/newsroom/press-releases/2025-06-25-gartner-predicts-over-40-percent-of-agentic-ai-projects-will-be-canceled-by-end-of-2027 — 3,400개 이상 조직 설문 기반. 비용 초과, 불분명한 사업 가치, 부적절한 리스크 통제가 취소 사유다. Gartner는 2026년 Agentic AI 지출을 2,019억 달러(전년 대비 +141%)로 전망한다. Agentic AI는 복수의 에이전트가 자율적으로 판단하고 도구를 사용하여 복잡한 업무를 수행하는 AI 시스템이다.

[2] PwC, "PwC's AI Agent Survey", PwC US, 2025-05. https://www.pwc.com/us/en/tech-effect/ai-analytics/ai-agent-survey.html — 고위 임원 300명 조사. 79%가 자사에 AI 에이전트 도입 중이라고 응답. 도입 기업의 66%가 생산성 향상, 57%가 비용 절감, 55%가 의사결정 속도 개선을 보고. 88%가 향후 12개월 내 AI 예산 증액 계획.

[3] McKinsey & Company, "The State of AI: Global Survey 2026", McKinsey QuantumBlack, 2026. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai — 약 20%(10곳 중 2곳)만 전사 차원에서 AI 에이전트를 확장 운영. 개별 업무 기능 단위로는 어느 기능에서도 10%를 넘지 못함. 매출 10억 달러 이상 기업은 40%가 확장 운영(직전 조사 27%). 참고로 챗봇은 47%가 전사 확장 단계다.

[4] S&P Global Market Intelligence, "Enterprise Race to Build AI Agent-Ready Infrastructure", S&P Global, 2026. https://www.prnewswire.com/news-releases/sp-global-report-charts-enterprise-race-to-build-ai-agent-ready-infrastructure-302605586.html — 기업의 31%가 최소 1개 AI 에이전트를 운영 환경에 배치. 산업별로 은행·보험 47%, 헬스케어 18%, 공공 14%.

[5] Futurum Research, "AI Agent ROI Benchmark 2026", Futurum Research, 2026. — 에이전트를 운영 배치한 기업의 평균 ROI 171%, 미국 기업 192%로 전통적 자동화의 약 3배. 이 수치는 PwC 조사가 아니라 Futurum Research 집계다.

[6] Deloitte, "The State of AI in the Enterprise — 2026", Deloitte US, 2026. https://www.deloitte.com/us/en/about/press-room/state-of-ai-report-2026.html — 24개국 6개 산업 경영진·IT 책임자 3,235명 조사. 오케스트레이션된 다중 에이전트를 확장 단계까지 끌고 간 기업 15%, 자율 에이전트 거버넌스 모델이 성숙한 기업 21%, AI 실험의 40% 이상을 운영으로 옮긴 기업 25%. 장애 요인은 데이터 미비 72%, 신뢰·거버넌스 부족 70%, 통합 비용 67% 순이다.

— 2026-09-24 업데이트: Deloitte의 2026년 기업 AI 조사(24개국 3,235명)를 4장에 더했다^[6]. 오케스트레이션 확장 15%, 거버넌스 성숙 21%, 실험의 40% 이상을 운영으로 옮긴 기업 25%로, 본문의 도입 79%·운영 31% 진단과 같은 방향이다. 장애 요인 1~3위가 데이터·신뢰·통합이고 모델 성능은 들어 있지 않다는 점도 덧붙였다. 운영 배치율을 52~53%로 보는 다른 조사도 확인했으나 원 보고서를 찾지 못해 반영하지 않았다.