*이 장을 다 읽고 나면 알게 될 것: AI Agent가 왜 기존 피라미드 조직을 무너뜨리는지, "중간"의 역할이 어떻게 바뀌는지, 그리고 Agentic Enterprise의 조직 모델이 무엇인지*
도입: 39층짜리 피라미드
2024년 여름, 한 글로벌 금융그룹의 조직도를 처음 봤을 때 나는 숫자를 세었다. CEO부터 신입 사원까지 39개 직급이 있었다. 39층짜리 피라미드다.
그 회사의 정보 흐름은 이랬다. 현장에서 올라온 데이터가 팀장에게 간다. 팀장이 요약해서 부서장에게 올린다. 부서장이 다시 요약해서 본부장에게 올린다. 본부장이 또 요약해서 임원 회의 자료를 만든다. CEO가 보는 것은 네 번 요약된 정보다.
내려올 때도 마찬가지다. CEO의 결정이 본부장을 거쳐 부서장을 거쳐 팀장을 거쳐 실무자에게 닿는다. 전달될 때마다 해석이 추가된다. 원래 의도는 흐려진다. 시간이 걸린다.
이 구조는 이유가 있었다. 정보 처리 능력에 한계가 있었기 때문이다. 사람의 인지 용량은 유한하다. 한 사람이 볼 수 있는 보고서의 양, 관리할 수 있는 부하의 수, 처리할 수 있는 의사결정의 속도. 모두 한계가 있다. 그 한계를 피라미드로 해결했다. 층을 나누고, 각 층에서 정보를 걸러내고, 올라갈수록 압축된 정보만 전달하는 것이다.
그런데 AI Agent가 이 전제를 바꾼다.
18.1 피라미드는 왜 만들어졌는가
피라미드 조직의 이론적 근거는 1937년으로 거슬러 올라간다. 로널드 코스가 "기업의 본질"이라는 논문을 썼다. 핵심 질문은 간단했다. 시장이 효율적이라면 왜 기업이 존재하는가. 코스의 답은 거래 비용이었다. 시장에서 매번 계약하고 협상하고 감시하는 비용이 크다. 기업은 그 비용을 내부화한다. 사람을 고용하면 매번 계약하지 않아도 된다.
피라미드는 그 내부화의 관리 구조다. 한 사람이 관리할 수 있는 부하가 5~10명이라면(이것을 관리 폭, span of control이라 한다), 1,000명의 조직은 최소 3~4층이 필요하다. 10,000명이면 5~6층. 100,000명이면 7~8층.
층이 많아지면 뭐가 좋은가. 전문화다. 각 층이 자기 역할에 집중한다. 현장 관리자는 실행에, 중간 관리자는 조정에, 고위 경영진은 전략에 집중한다.
뭐가 나쁜가. 속도다. 정보가 올라가고 결정이 내려오는 데 시간이 걸린다. 그 사이에 시장은 이미 바뀌었다.
20세기에는 속도보다 규모가 중요했다. 대량 생산, 대량 유통의 시대였다. 피라미드가 맞았다. 21세기에 들어서면서 속도가 중요해졌다. 그래서 조직이 납작해지기 시작했다. 그러나 완전히 납작해지지는 못했다. 정보 처리의 한계가 여전했기 때문이다.
AI Agent가 그 한계를 푼다.
18.2 중간이 사라진다 — 정보 압축의 자동화
피라미드에서 중간 관리자의 핵심 역할은 세 가지였다.
첫째, 정보 압축. 아래에서 올라오는 보고서를 읽고 요약하고 핵심만 올린다. 이것을 AI Agent가 한다. 수백 페이지의 주간 보고서를 읽고, 핵심 이슈 다섯 가지를 뽑고, 이전 주 대비 변화를 표시하고, 의사결정이 필요한 항목을 구분한다. 사람보다 빠르고 빠뜨리는 것이 적다.
둘째, 하향 전달. 위에서 내려온 전략을 팀에 맞게 번역한다. "글로벌 시장 확대"라는 전략을 "한국 팀은 이번 분기에 일본 시장 진출 준비"로 구체화한다. 이것도 AI Agent가 한다. 전략 문서를 읽고, 팀의 맥락(인력, 예산, 진행 중인 프로젝트)을 고려해서, 팀 수준의 액션 플랜 초안을 만든다.
셋째, 갈등 조정. 팀 간, 부서 간 이해관계 충돌을 조율한다. 이것은 AI가 아직 못한다. 사람 사이의 감정, 정치, 맥락을 이해해야 한다. 여기에 아직 사람이 필요하다.
세 역할 중 두 가지가 자동화된다. 그러면 중간 관리자가 사라지는가.
사라지지 않는다. 역할이 바뀐다.
정보 압축과 전달을 AI가 해주면, 중간 관리자는 그 시간에 무엇을 하는가. 갈등 조정, 인재 육성, 전략적 판단. 원래 해야 했지만 보고서 쓰느라 못 했던 일을 비로소 할 수 있게 된다.
맥킨지의 2024년 조사에 따르면, 중간 관리자가 업무 시간의 약 35퍼센트를 정보 수집과 보고에 쓴다. AI Agent가 이 35퍼센트를 돌려주면, 관리자는 사람을 키우고 방향을 잡는 일에 집중할 수 있다.
문제는 전환 과정이다. "보고서 쓰는 관리자"에서 "사람을 키우는 관리자"로 바뀌려면 완전히 다른 역량이 필요하다. 이 전환을 준비하지 않으면 조직이 혼란에 빠진다.
잠시 멈추고 생각해보자
당신의 조직에서 중간 관리자의 일과를 떠올려보라. 하루 중 정보 수집, 보고서 작성, 전달에 쓰는 시간이 얼마나 되는가? 그 시간이 돌아온다면, 그 관리자는 무엇을 할 수 있겠는가?
18.3 Agentic Enterprise의 조직 모델
그러면 AI Agent 시대의 조직은 어떤 모양인가.
피라미드가 아니다. 그렇다고 완전히 평평한 수평 조직도 아니다. 허브 앤 스포크(Hub & Spoke) 모델에 가깝다.
중심에 AI Agent 플랫폼이 있다. 이 플랫폼이 데이터를 수집하고, 분석하고, 요약하고, 보고서를 만들고, 의사결정 옵션을 제시한다. 각 팀은 이 플랫폼에 연결된 스포크다. 팀과 플랫폼 사이에 층위가 줄어든다.
구체적으로 어떻게 바뀌는가.
관리 폭이 넓어진다. AI가 정보 처리를 도와주면 한 사람이 관리할 수 있는 범위가 커진다. 기존에 5~10명이 한계였다면, AI Agent가 보조하면 15~25명도 가능하다. 관리 폭이 넓어지면 층이 줄어든다. 39층이 10층이 될 수 있다.
의사결정이 분산된다. 현장 담당자가 AI Agent의 분석 결과를 바로 보고, 자기 범위 안에서 즉시 결정한다. 위로 올려서 승인받을 필요가 줄어든다. 아마존의 "Two-Pizza Team"이 이 모델의 선구자다. 작은 팀에 권한을 주고, 각 팀이 자율적으로 움직인다. AI Agent가 이 모델을 더 쉽게 만든다.
전문가 네트워크가 부상한다. 고정된 부서 대신, 프로젝트별로 전문가가 모이고 흩어진다. AI Agent가 "이 프로젝트에 필요한 역량은 A, B, C이고, 사내에서 이 역량을 가진 사람은 누구누구다"를 알려준다. 인사 데이터, 프로젝트 이력, 역량 평가를 AI가 분석해서 팀을 추천한다.
18.4 세 가지 전환 — 무엇이 바뀌는가
조직이 Agentic Enterprise로 전환될 때 세 가지가 동시에 바뀐다.
첫째, 업무 구조의 전환. 반복적 인지 노동이 AI Agent로 이동한다. 보고서 작성, 데이터 분석, 이메일 분류, 일정 조정, 계약서 검토. 이것들이 사람의 일에서 Agent의 일로 바뀐다. 사람은 판단, 관계, 창의에 집중한다.
둘째, 권한 구조의 전환. "승인"의 의미가 바뀐다. 과거에는 윗사람의 승인이 정보 비대칭에 기반했다. 윗사람이 더 많은 정보를 가지고 있으니까 판단을 위임받았다. AI Agent가 모든 사람에게 같은 정보를 제공하면, 승인의 근거가 "정보 우위"에서 "책임 소재"로 바뀐다. 실무자도 같은 정보를 보고 판단할 수 있다. 승인은 판단의 검증이 아니라 책임의 분배가 된다.
셋째, 평가 구조의 전환. "얼마나 많이 했는가"에서 "얼마나 좋은 판단을 했는가"로 바뀐다. 보고서를 많이 쓰는 것이 성과가 아니다. AI가 만든 보고서를 얼마나 잘 해석하고, 그 위에서 얼마나 좋은 결정을 내렸는가가 성과다.
이 세 전환이 동시에 일어나면 충격이 크다. 그래서 대부분의 조직이 점진적으로 진행한다. 한 팀에서 시작하고, 성과를 보고, 확대한다. 빅뱅은 위험하다.
잠시 멈추고 생각해보자
당신의 조직에서 "승인"의 실질적 기능은 무엇인가? 정보 검증인가, 정치적 보호인가, 책임 분산인가? AI Agent가 정보를 민주화하면, 승인 과정 중 무엇이 남고 무엇이 사라지겠는가?
18.5 저항의 세 가지 유형
조직 변화에는 저항이 따른다. AI Agent 도입의 저항은 세 유형으로 나뉜다.
정체성 저항. "나의 가치는 정보를 가지고 있는 것이다." 수십 년간 쌓아온 업무 지식과 인맥이 자신의 가치라고 믿는 사람이 있다. AI Agent가 그 정보를 민주화하면, 이 사람은 존재 이유를 위협받는다고 느낀다. 이 저항이 가장 깊고 다루기 어렵다.
역량 저항. "AI를 어떻게 쓰는지 모르겠다." 새로운 도구를 배워야 한다. 프롬프트를 잘 써야 한다. Agent가 만든 결과를 평가할 줄 알아야 한다. 이 역량이 없는 사람은 불안하다. 이 저항은 교육으로 해결 가능하다.
권력 저항. "내 승인 없이 일이 진행되면 내 자리가 없어진다." 정보 통제가 권력의 원천이었던 관리자에게, 정보의 민주화는 권력의 상실이다. 이 저항은 새로운 역할 정의와 인센티브 재설계로 대응해야 한다.
나는 컨설팅 경력 30년 중에 여러 차례 대규모 조직 변화 프로젝트에 참여했다. 바젤 III 도입, ERP 전환, 디지털 전환. 매번 기술은 달랐지만 저항의 패턴은 같았다. 사람은 변화 자체를 두려워하는 것이 아니다. 변화 후에 자기가 어디에 서는지 모르는 것을 두려워한다. AI Agent 도입도 마찬가지다.
해법은 기술에 있지 않다. "너의 새로운 역할은 이것이다"를 먼저 보여주는 것이다. 그것이 변화관리(Change Management)의 핵심이고, 26장에서 다시 다룰 주제다.
18.6 한국 기업에게 특히 어려운 이유
한국 기업의 조직 문화에는 피라미드를 강화하는 요소가 있다.
연공서열. 나이와 직급이 정보 접근 권한과 연결된다. "부장이 보는 보고서를 대리가 보면 안 된다"는 불문율이 있는 조직이 아직 많다. AI Agent가 모든 사람에게 같은 대시보드를 보여주면, 이 불문율이 깨진다.
보고 문화. 한국 기업은 "보고를 잘하는 것"이 성과 평가에 크게 반영된다. 보고서의 양과 형식이 중요하다. AI Agent가 보고서를 자동 생성하면, 보고서 작성 능력의 가치가 떨어진다. 이것은 기존 평가 체계와 충돌한다.
빠른 의사결정 vs 합의 문화. AI Agent가 빠른 의사결정을 가능하게 해도, 한국 기업의 합의 문화("모든 관련 부서의 동의를 받아야 한다")가 속도를 늦출 수 있다. 기술이 빨라져도 조직 문화가 따라가지 않으면 효과가 반감된다.
그러나 한국 기업에게 유리한 요소도 있다. 빠른 실행력. 톱다운 결정이 내려지면 실행이 빠르다. CEO가 "AI Agent를 도입하라"고 하면 전사적으로 움직인다. 미국 기업보다 이 속도가 빠른 경우가 많다. 삼성, SK, 현대가 새로운 기술을 도입할 때 보여준 속도가 그것이다.
관건은 톱다운 결정의 품질이다. CEO가 AI Agent를 이해하고 결정해야 한다. 이해 없이 "남들 다 하니까 우리도"라고 하면, 구조 변화 없는 도구 도입이 된다. 피라미드 위에 AI를 얹는 것이지, 피라미드를 재설계하는 것이 아니다. 겉은 바뀌지만 본질은 안 바뀐다.
잠시 멈추고 생각해보자
당신의 회사에서 AI Agent를 도입한다면, 조직도가 바뀔 것인가? 아니면 기존 조직도 위에 도구 하나가 추가될 뿐인가? 이 둘의 차이는 무엇이 결정하는가?
핵심 정리
피라미드 조직은 인간의 정보 처리 한계에서 비롯되었다. AI Agent가 그 한계를 완화하면서 피라미드의 전제가 흔들린다.
중간 관리자의 세 역할(정보 압축, 하향 전달, 갈등 조정) 중 두 가지가 AI로 자동화된다. 중간 관리자가 사라지는 것이 아니라, 역할이 바뀐다.
Agentic Enterprise의 조직 모델은 허브 앤 스포크에 가깝다. 관리 폭이 넓어지고, 의사결정이 분산되고, 전문가 네트워크가 부상한다.
세 가지 전환(업무·권한·평가)이 동시에 일어난다. 저항은 정체성, 역량, 권력의 세 유형으로 나타난다.
한국 기업은 연공서열과 보고 문화가 장벽이지만, 빠른 실행력이 무기다. 관건은 톱다운 결정의 품질이다.
반드시 답해봐야 할 질문 5가지
질문 1. 당신의 조직에서 정보가 CEO에게 도달하기까지 몇 층을 거치는가? AI Agent가 그 층을 줄인다면 몇 층이 남겠는가?
질문 2. 중간 관리자의 역할이 "정보 압축"에서 "인재 육성"으로 바뀐다면, 현재 관리자 중 몇 퍼센트가 그 전환을 성공적으로 해낼 수 있겠는가?
질문 3. 조직의 승인 프로세스를 분석해보라. 승인 중 실질적으로 "정보 검증"인 것과 "형식적 절차"인 것의 비율은 어떻게 되는가?
질문 4. AI Agent가 모든 직원에게 같은 데이터 대시보드를 보여준다면, 당신의 조직에서 어떤 반응이 나올 것인가? 환영인가, 저항인가?
질문 5. 한국 기업의 빠른 실행력이 AI Agent 도입에서 진짜 무기가 되려면, 무엇이 전제되어야 하는가?
더 깊이 탐구하기
로널드 코스, "기업의 본질(The Nature of the Firm)" (1937). 기업 조직의 존재 이유에 대한 원전. 피라미드 구조의 이론적 토대.
에릭 브린욜프슨·앤드루 맥아피, *제2의 기계 시대(The Second Machine Age)* (W.W. Norton, 2014). 기술이 조직과 노동을 어떻게 바꾸는지에 대한 종합적 분석.
맥킨지, "The State of Organizations" (최신판). 글로벌 조직 구조 변화 동향과 AI의 영향.
에이미 에드먼슨, *두려움 없는 조직(The Fearless Organization)* (Wiley, 2018). 심리적 안전감과 조직 변화. 저항을 다루는 데 필수적인 프레임워크.
스탠리 매크리스탈, *팀 오브 팀즈(Team of Teams)* (Portfolio, 2015). 군 조직에서 위계를 네트워크로 전환한 사례. Agentic Enterprise 모델의 영감.
다음 장에서는 이 조직 변화를 실현하기 위한 기술적 프레임워크로 들어간다. JK's Composite AI Framework. LLM 하나로는 안 되는 이유, 아홉 개 영역이 왜 필요한지, 그리고 그 전체 구조가 어떻게 작동하는지를 다룬다.