14. Pilot 지옥을 탈출하는 법 — 3계층 ROI
이 챕터를 다 읽고 나면 알게 될 것: Pilot에서 운영으로 넘어가지 못하는 구조적 이유. 그리고 3계층 ROI 모델로 CFO를 설득하는 방법.
"Pilot은 성공했습니다. 확대는 검토 중입니다." 이 문장이 반복되면 Pilot purgatory다. 전통적 ROI로 AI를 평가하면 항상 부적격이 나온다. 3계층 ROI가 CFO의 질문에 답한다.
"확대는 검토 중입니다"
이 문장을 들어본 적이 있을 것이다.
분기 보고에서 AI 프로젝트 담당자가 말한다. "Pilot은 성공적으로 완료되었습니다. 정확도 92%를 달성했습니다. 확대 적용은 현재 검토 중입니다."
다음 분기에도 같은 말을 한다. "추가 데이터를 수집 중입니다. 확대 시점을 조율하고 있습니다."
그 다음 분기. "예산 조정이 필요합니다. 내년에 확대를 계획하고 있습니다."
내년이 되면 새로운 Pilot이 시작된다. 이전 Pilot은 조용히 사라진다.
이것이 Pilot purgatory다. 88%의 AI Pilot이 프로덕션에 도달하지 못하는 이유 중 하나다[1].
Pilot과 운영은 다른 세계다
Pilot이 성공하는 이유는 단순하다. 통제된 환경이기 때문이다.
데이터가 깨끗하다. Pilot용으로 선별되고 정리된 데이터를 쓴다. 운영 환경의 데이터는 지저분하다. 누락, 중복, 오류가 있다.
전담팀이 집중한다. 2~3명이 이 프로젝트에만 매달린다. 운영으로 넘어가면 전담팀이 해체된다. 현업이 떠맡는다. 현업은 다른 일도 해야 한다.
예외가 없다. Pilot의 테스트 케이스는 "정상적인" 경우만 포함한다. 운영 환경에서는 예외가 전체의 20~30%를 차지한다. 예외 처리가 안 되면 시스템이 멈춘다.
규모가 작다. 100건으로 테스트하면 작동한다. 10,000건을 처리하면 성능이 떨어진다. 응답 시간이 느려진다. 비용이 폭증한다.
CFO의 질문
Pilot에서 운영으로 넘어가려면 예산이 필요하다. 예산을 달라고 하면 CFO가 묻는다.
"ROI가 뭐냐?"
이 질문에 답하지 못하면 프로젝트는 죽는다. 그런데 전통적 ROI 공식으로는 AI 투자를 정당화할 수 없다.
전통적 ROI = (수익 - 비용) / 비용 × 100%
문제가 있다. AI의 비용은 즉시 발생한다. GPU 임대료, 개발 인력, 데이터 인프라. 그런데 수익은 지연된다. 6개월~1년 뒤에야 효과가 나타난다. 초기 ROI를 계산하면 마이너스다. CFO는 "투자 부적격"이라고 판단한다.
이것은 AI의 문제가 아니다. ROI 공식의 문제다. 같은 공식으로 전기를 평가했다면, 1900년의 공장은 전기를 도입하지 않았을 것이다.
3계층 ROI 모델
| Layer | 이름 | 측정 대상 | 예시 | 설득 대상 | 측정 난이도 |
|---|---|---|---|---|---|
| L1 | 비용 절감 | 직접 비용 감소 | 인건비 1.2억 원 절감 | CFO | 쉬움 |
| L2 | 프로세스 혁신 | 이전 불가능한 역량 | 실시간 리스크 모니터링 | COO | 중간 |
| L3 | 전략적 역량 | 구조적 경쟁 우위 | 3년간 축적한 데이터 해자 | CEO | 어려움 |
Figure 5. 3계층 ROI 모델 — JK 오리지널. L1으로 문을 열고, L2로 확장하고, L3로 비전을 제시한다
전통 ROI를 대체하는 3계층 ROI 모델이 있다.
Layer 1: 비용 절감 (Cost Reduction)
가장 직접적이다. 측정이 쉽다. "인건비 절감", "처리 시간 단축", "오류율 감소."
예를 들면 이렇다. 견적서 비교 업무에 5명이 연간 2억 원의 인건비를 쓴다. AI 도입 후 2명으로 줄었다. 연간 1.2억 원 절감. AI 운영 비용이 3,000만 원이면, Layer 1 ROI는 9,000만 원이다.
CFO가 가장 좋아하는 층이다. 숫자가 명확하다. 그러나 이 층만으로는 AI의 가치를 과소평가한다.
Layer 2: 프로세스 혁신 (Process Innovation)
비용을 줄이는 것이 아니라, 이전에 불가능했던 것을 가능하게 하는 것이다.
예를 들면 이렇다. 이전에는 월 1회 리스크 보고서를 만들었다. AI 도입 후 실시간 리스크 모니터링이 가능해졌다. 월 1회가 24시간 365일이 되었다. 이것은 "비용 절감"이 아니다. "새로운 역량"이다. 이 역량 덕분에 리스크 사건에 3일 먼저 대응했다면, 그 대응이 막은 손실이 Layer 2의 가치다.
측정이 어렵다. 그러나 가치는 Layer 1보다 크다.
Layer 3: 전략적 역량 (Strategic Capability)
AI가 기업의 경쟁 우위를 바꾸는 것이다.
예를 들면 이렇다. AI 기반 공급망 최적화를 3년간 운영하면, 그 데이터와 알고리즘이 축적된다. 경쟁사가 같은 역량을 갖추려면 3년이 걸린다. 이것이 구조적 경쟁 우위다. Vol.4 Ch.2의 "3년의 해자"와 같은 논리다.
측정이 가장 어렵다. 그러나 가치는 가장 크다. CEO에게는 Layer 3로 비전을 말해야 한다.
설득의 전략
3계층을 다른 청중에게 다르게 말한다.
CFO에게는 Layer 1으로 문을 연다. "연간 9,000만 원 절감됩니다." 숫자가 있으면 예산 심의를 통과한다.
COO에게는 Layer 2로 확장한다. "실시간 리스크 모니터링이 가능해집니다. 3일 먼저 대응할 수 있습니다." 운영의 질적 전환이다.
CEO에게는 Layer 3로 비전을 제시한다. "3년 뒤, 이 역량이 경쟁사가 따라올 수 없는 해자가 됩니다." 전략적 판단이다.
세 층을 동시에 제시하면 각자 자기에게 맞는 층을 받아들인다. 한 층만 제시하면 다른 두 사람을 설득하지 못한다.
PoC → Pilot → Production
3계층 ROI로 예산을 확보했다면, 실행 로드맵이 필요하다.
4단계다.
PoC(2~4주). 기술적 가능성을 확인한다. "이 데이터로 이 업무를 AI가 처리할 수 있는가?" Yes/No를 답한다. 100건의 테스트 데이터로 충분하다.
Pilot(1~3개월). 제한된 범위에서 실제 업무에 적용한다. 한 부서, 한 프로세스. 1,000건의 실제 데이터를 처리한다. 정확도, 처리 시간, 사용자 반응을 측정한다.
Production(3~6개월). 운영 환경에 배포한다. 예외 처리, 모니터링, 장애 대응 체계를 구축한다. 10,000건 이상을 처리한다.
Scale(6개월~). 다른 부서, 다른 프로세스로 확장한다.
PoC와 Pilot 사이에 "Death Valley"가 있다. 기술적으로 가능하다는 것을 확인했지만, 실제 업무에 적용하려면 데이터 정리, 시스템 연동, 현업 교육이 필요하다. 이 구간에서 프로젝트가 멈추는 경우가 가장 많다.
Death Valley를 넘으려면, PoC 단계에서부터 현업을 참여시켜야 한다. 기술팀만으로 PoC를 완료하고 현업에 "넘기는" 방식은 실패한다.
Pilot 지옥을 탈출하는 도구를 갖췄다. 3계층 ROI로 예산을 확보하고, PoC→Pilot→Production 로드맵으로 실행한다. 이제 마지막이다. 앞으로 5년, 2026년에서 2030년까지의 지도를 그린다.
References
[1] Institute for Project Management, 'Why 88% of Enterprise AI Pilots Never Reach Production', 2026. https://www.institutepm.com/knowledge-hub/why-enterprise-ai-pilots-fail — Pilot→Production 전환 실패율 데이터
[2] (JK 오리지널 프레임워크) — 3계층 ROI 모델. 수십 건의 AI 프로젝트 투자 설득 경험에서 도출