실행 배경: 기술은 작동하는데 조직이 멈춘다

한 유통 기업이 고객 응대 에이전트를 도입했다. 파일럿에서 응대 시간이 60% 줄었다. 고객 만족도가 올라갔다. 전사 확산을 시작한 지 3개월 후, 현장에서 불만이 터졌다.

고객 응대 팀장이 말했다. "에이전트가 답변을 잘 하는 건 알겠는데, 우리 팀원들은 뭘 하라는 겁니까?" 팀원의 절반은 자기 일을 AI가 뺏는다고 느꼈다. 나머지 절반도 불만이었다. 나머지 절반은 에스컬레이션만 처리하는 것은 재미없다고 했다.

영업팀에서는 다른 문제가 생겼다. 에이전트가 고객에게 자동 답변을 보내면서 영업사원의 직접 소통이 줄었다. 고객 관계가 약해졌다. 재구매율이 떨어지기 시작했다.

IT팀의 불만도 있었다. 에이전트가 만드는 데이터를 누가 관리하는가. 잘못된 답변을 보내면 누가 책임지는가. 기존 업무 분장에 "에이전트 관리"라는 항목은 없었다.

기술은 작동하고 있었다. 조직이 따라가지 못하고 있었다.

이런 갈등은 새롭지 않다. ERP 도입 실패를 다룬 연구들은 한결같다. 핵심 실패 요인으로 "업무 프로세스 재설계 부족"을 꼽는다[7]. ERP는 전사적 자원관리다. 기술은 완성돼도 조직이 따라가지 못하면 프로젝트는 목표에 닿지 못한다. 리엔지니어링 없는 자동화는 실패한다. 그때도 지금도 유효한 교훈이다.

이런 사례는 보편적이다. BCG의 2024년 조사를 보자. 기업의 74%가 AI의 가치를 키우는 데 어려움을 겪는다[1]. PoC를 넘어 운영으로 간 기업은 26%뿐이다. PoC는 개념 검증(Proof of Concept)이다.

McKinsey의 2025년 조사도 같다. AI를 한 개 이상 기능에 쓰는 기업은 88%다. 그런데 전사 성과를 측정할 수 있게 만든 기업은 39%뿐이다[2].

국내 중견 유통기업 A사의 사례를 생각해보자. 콜센터 AI 에이전트로 응대 시간을 절반으로 줄였다. 그러나 손대지 않은 것이 셋 있다. 상담원 평가 기준, 인센티브 체계, 에스컬레이션 프로세스다.

6개월 뒤 상담원 이탈률이 오히려 늘었다. 에이전트가 쉬운 문의를 가져갔다. 남은 업무는 난이도 높은 컴플레인뿐이었다. 평가 체계가 그걸 반영하지 못해 현장의 불만이 커졌다. 기술 도입과 조직 재설계는 같은 속도로 가야 한다.

실행 과정: 세 가지 구조적 변화

에이전트가 작동하려면 조직에서 세 가지가 바뀌어야 한다.

첫째, 보고 체계가 바뀌어야 한다. 피라미드 구조에서 정보는 아래에서 위로 올라간다. 실무자가 데이터를 정리하고, 중간 관리자가 요약하고, 임원이 판단한다. 에이전트는 이 과정을 건너뛴다. 에이전트가 이미 데이터를 분석하고 요약했다. 그러면 중간 관리자의 역할은 무엇인가.

답은 "보고 체계를 줄이는 것"이 아니다. "중간 관리자의 역할을 재정의하는 것"이다. 데이터를 요약하는 역할은 끝났다. 에이전트의 판단을 검증하고 예외를 처리하는 역할로 옮겨야 한다. 이것이 Human in the Loop의 조직적 구현이다. 사람이 최종 판단에 참여한다는 뜻이다.

둘째, 직무가 바뀌어야 한다. 에이전트를 도입하고도 직무 기술서가 그대로인 기업이 대부분이다. 전에는 "고객 문의에 답변한다"였다. 이제는 "에이전트의 답변을 검토하고 예외 케이스를 판단한다"로 바뀌어야 한다.

McKinsey에 따르면 지식 노동의 60~70%가 자동화 가능하다[3]. 그러나 나머지 30~40%가 가치의 80%를 만든다. 사라지는 업무와 남는 업무를 가른다. 그리고 남는 업무 중심으로 직무를 다시 짠다. 이 작업 없이 에이전트만 도입하면, 직원은 "내 일을 빼앗기는 것"으로 인식한다.

셋째, 부서 간 경계가 바뀌어야 한다. 에이전트는 부서를 구분하지 않는다. 고객 응대 에이전트가 주문 이력을 조회하려면 영업 데이터가 필요하다. 재고를 확인하려면 물류 데이터가 필요하다. 환불을 처리하려면 회계 시스템과 연결되어야 한다.

기존 조직에서 이 데이터는 각 부서의 소유다. 부서 간 데이터 공유에는 승인, 보안 검토, 형식 변환이 필요하다. 에이전트가 실시간으로 작동하려면 이 칸막이가 낮아져야 한다.

기술로는 API로 풀 수 있다. 그러나 조직에서는 데이터 거버넌스를 다시 짜야 한다. API는 프로그램 간 연결 통로다. 부서장이 데이터 소유권을 내려놓지 않으면 어떻게 되는가. 아무리 정교한 에이전트도 정보에 닿지 못한 채 멈춘다.

결과와 교훈

에이전트 도입에 성공한 기업들의 공통점은 세 가지다.

첫째, 기술 도입 전에 조직 설계를 먼저 했다. 에이전트가 어떤 업무를 맡고, 사람이 어떤 판단을 하는지를 미리 정의했다. BCG는 이것을 "Reshape" 단계라고 부른다[4]. 기존 도구를 들이는 "Deploy"는 생산성을 10~15% 올린다. 워크플로우를 다시 짜는 "Reshape"은 30~50%다.

이 차이는 시간이 지날수록 벌어진다. 재설계를 먼저 한 기업은 학습 비용이 줄어든다. 두 번째, 세 번째 에이전트에서 그렇다. 그렇지 않은 기업은 매번 같은 조직적 마찰을 반복한다.

둘째, 직원을 위협이 아니라 역할 전환으로 설득했다. "당신의 일을 AI가 대신한다"가 아니다. "단순 반복 업무에서 벗어나 판단과 예외 처리에 집중한다"는 메시지다. Goldman Sachs는 엔지니어 12,000명에게 AI 에이전트를 붙였다. 이때 대체가 아니라 증강이라는 말을 썼다[5]. 이 차이는 크다.

위협으로 느낀 조직에서는 오류를 숨기고 우회하는 문화가 생긴다. 증강으로 받아들인 조직에서는 오류를 보고하고 함께 고치는 문화가 생긴다.

셋째, 에이전트 관리자라는 새로운 역할을 만들었다. 에이전트의 성능을 모니터링하고, 잘못된 판단을 수정하고, 학습 데이터를 갱신하는 사람이다. 이 역할이 없으면 에이전트는 시간이 지날수록 성능이 떨어진다. 데이터가 바뀌고 고객의 질문 패턴이 바뀐다. 정책도 바뀐다. 그런데 에이전트만 처음 그대로 멈춰 있다.

JK's Take

AI 에이전트 프로젝트에서 가장 어려운 일은 코드를 짜는 것이 아니다. 조직을 바꾸는 것이다. 기술 벤더는 이 사실을 잘 말하지 않는다. 조직 재설계는 그들의 매출과 무관하기 때문이다.

기술 도입에 3개월이 걸린다면 조직 재설계에는 6개월이 걸린다. 직무 재정의와 보고 체계 조정이 둘이다. 부서 간 데이터 거버넌스 재설계, 직원 교육이 나머지다. 이 작업을 건너뛰면 전사 확산에서 반드시 벽에 부딪힌다.

기업이 물어야 할 질문은 "어떤 에이전트를 도입할 것인가"가 아니다. "에이전트가 작동하려면 우리 조직에서 무엇이 바뀌어야 하는가"다. 이 질문에 먼저 답하지 못한 조직은 같은 벽에 부딪힌다. 아무리 좋은 에이전트를 사와도 그렇다.

What to Watch

— BCG의 "Deploy-Reshape-Invent"에서 Reshape 사례를 추적하라. 재설계를 먼저 한 기업과 그렇지 않은 기업의 성과 차이를 보라. 2026년 하반기부터 데이터로 드러난다.

— 에이전트 관리자라는 직무가 퍼지고 있다. 이 역할이 얼마나 표준화되는지가 기업의 에이전트 성숙도를 보여준다.

— 신한은행이 21종의 AI 에이전트를 공개했다. KB국민은행은 3년간 250개 도입 계획을 냈다[6]. 이들의 조직 재설계 방식을 주목하라.

References

[1] BCG, "AI Adoption in 2024: 74% of Companies Struggle", 2024. https://www.bcg.com/press/24october2024-ai-adoption-in-2024-74-of-companies-struggle-to-achieve-and-scale-value — PoC(Proof of Concept, 개념 검증)는 기술이 실제로 작동하는지 확인하는 소규모 실험이다.

[2] McKinsey, "The State of AI 2025", 2025. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai — 전사적 AI 성과를 만든 기업은 전체의 39%에 불과하다.

[3] McKinsey, "The Economic Potential of Generative AI", 2024. https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/the-economic-potential-of-generative-ai-the-next-productivity-frontier — 자동화 가능한 업무의 60~70%는 직업 단위가 아니라 업무 단위(task-level) 분석 결과다.

[4] BCG, "Closing the AI Impact Gap", 2025. https://www.bcg.com/publications/2025/closing-the-ai-impact-gap — Deploy(기존 도구 도입, 10~15%), Reshape(워크플로우 재설계, 30~50%), Invent(AI 기반 신규 매출)의 3단계다.

[5] AI Agent Corps, "AI Agents in Banking: JPMorgan, Goldman, BofA", 2026. https://agentcorps.co/blog/ai-agents-banking-jpmorgan-goldman-bofa-autonomous-finance-2026 — Goldman Sachs는 12,000명의 엔지니어에게 AI 에이전트를 배정했다.

[6] 뉴시스, "신한은행 AX Agent Summit 2026", 2026. https://www.newsis.com/view/NISX20260721_0003717438 — KB국민은행은 3년간 39개 영역에 250개 AI 에이전트 도입을 계획하고 있다.

[7] "Critical Failure Factors in ERP Implementation: A Systematic Literature Review", ResearchGate, 2023. https://www.researchgate.net/publication/370394801_Critical_Failure_Factors_in_ERP_Implementation_A_Systematic_Literature_Review — 업무 프로세스 재설계(BPR) 부족을 ERP 프로젝트의 핵심 실패 요인 중 하나로 꼽은 체계적 문헌 검토.