17%가 배포했고, 66.5%는 잴 자가 없다

성숙도와 역량은 다른 축이다

Microsoft는 Agentic AI 도입 성숙도 모델을 공개했다. 이 모델은 조직을 다섯 단계로 나눈다. Initial, Repeatable, Efficient 순으로 올라간다. 평가 축은 다섯 가지다^[3]. AI 전략과 경험, 비즈니스 전략을 본다. 거버넌스와 보안, 기술과 데이터, 조직 준비도도 본다.

잘 만든 모델이다. 다만 무엇을 재는지 분명히 볼 필요가 있다. 이 모델은 조직이 AI를 얼마나 체계적으로 쓰는가를 잰다. 직접 만들 수 있는가는 묻지 않는다.

컨설팅사의 진단도 비슷하다. 2026년 1분기에 여섯 곳이 각각 agentic AI 보고서를 냈다^[4]. Accenture와 BCG, Bain이 그 안에 있다. Deloitte와 IBM, McKinsey도 있다. 전략 정합성, 데이터 준비도, 거버넌스를 본다.

규제 산업에서는 강점이 뚜렷하다. 그러나 검증 항목에 없는 것이 있다. 이 조직이 에이전트를 직접 설계하고 운영할 수 있는가다. 각 사는 자체 AI 플랫폼도 함께 판다. 중립성을 판단할 때 그 점도 고려해야 한다.

국내에서는 그렙이 기업 AI 역량 진단 리포트를 냈다. 중견·대기업 임원과 부장급 200명을 대상으로 한 조사다^[2]. 응답자의 68%가 현장 의사결정권자였다. 이 진단은 개인의 AI 역량을 잰다. 채용과 교육에 쓰기 위한 것이다. 조직이 시스템을 만들 수 있는가와는 다른 대상이다.

정리하면 이렇다. 쓰는 성숙도를 재는 도구는 여럿 있다. 만드는 역량을 재는 도구는 비어 있다.

왜 지금 이 구분이 중요한가

경계선이 움직이고 있기 때문이다.

McKinsey의 2026년 조사를 보자. 응답 기업의 32%가 소프트웨어 구매를 취소했다고 답했다. 이유는 에이전틱 코딩 도구로 직접 만들 수 있어서였다^[5]. 사는 것과 만드는 것 사이의 경계가 실제로 이동했다는 뜻이다.

한국 대기업의 움직임은 두 방향으로 동시에 간다. 언어모델은 바깥에서 가져온다. 현대차그룹은 H Chat Pro를 운영한다. 보호된 환경에서 외부 모델 셋을 쓴다. ChatGPT와 Gemini, Claude다.

월 활성 사용자가 3만 명을 넘었다. 현대차와 기아 임직원의 약 80%에 해당한다^[6]. 삼성전자는 자체 모델 가우스와 코드 에이전트를 함께 운영한다.

그런데 에이전트는 사정이 다르다. 업무 프로세스, 내부 데이터, 도메인 지식이 조직 안에 있다. 바깥에서 만들어 줄 수 없다. 모델은 사 오고 에이전트는 만들어야 하는 구조가 된다.

제도도 방향을 잡았다. AI기본법 시행령 개정이 2026년 7월 21일 시행됐다. 개정으로 AI 제품·서비스 확인 제도가 신설됐다. 확인서를 받은 제품은 8월부터 공공조달에서 우대를 받는다.

다수공급자계약 참여 요건과 절차가 완화된다. 총액계약 적격심사에서 기술점수 1.5점의 신인도 가점을 받는다. 소프트웨어 단가계약에서 요구되던 납품실적 3건도 면제된다^[7]. 역량의 증명이 조달 경쟁력으로 이어지는 구조가 열렸다.

어느 회의실의 장면

가정해 보자. 국내 중견 제조기업이 에이전트 도입을 결정했다. 경영진 보고 자료에는 도입 성숙도 진단 결과가 실려 있다. 5단계 중 3단계, 업계 평균 이상이다.

숫자만 보면 준비가 된 조직이다. 사내 챗봇 사용률이 높고, 데이터 거버넌스 문서도 갖춰져 있다.

여섯 달 뒤 상황은 다르게 전개된다. 품질 검사 에이전트를 만들려 했더니 검사 기준이 문서로 존재하지 않았다. 20년 경력 검사원의 머릿속에 있었다. 에이전트가 만든 판정이 맞는지 확인할 방법도 없었다. 정확도 검증을 담당할 조직이 지정되지 않았기 때문이다. 에이전트가 재고 시스템에 잘못된 값을 썼다. 그 뒤에야 권한 범위를 정하지 않았다는 사실이 드러났다.

진단은 틀리지 않았다. 다른 것을 쟀을 뿐이다. 이 회사는 AI를 쓰는 데 익숙했다. 그러나 에이전트를 만드는 역량은 측정된 적이 없었다.

이런 전개는 특별하지 않다. 지식그래프를 도입한 대기업은 65%에 이른다. 그러나 파일럿 단계를 넘긴 곳은 15% 미만이다. 좌초 지점은 세 곳으로 좁혀진다. 온톨로지 설계, 개체 식별 정확도, 질의 성능이다^[8]. 도입은 성숙도의 문제지만 통과는 역량의 문제다.

BUILDS — 구축 역량의 여섯 축

여섯 개 축으로 나눈다. 각 축을 1점에서 5점으로 채점한다. 총점이 아니라 최저점을 본다. 하나라도 2점 이하면 그 조직은 아직 만들 단계가 아니다.

B — Boundary (경계)

무엇을 위임하고 무엇을 사 올 것인가.

에이전트에게 맡길 업무를 식별하고 범위를 정할 수 있는가를 본다. 여기서 대부분의 조직이 낮은 점수를 받는다. 기업의 84%가 AI 역량에 맞춰 직무를 다시 설계하지 않았다. Microsoft의 2026년 조사도 비슷하다. 에이전트를 중심으로 업무 흐름을 재설계한 사용자는 19%에 그쳤다^[9].

경계를 못 그으면 다음 축은 볼 필요가 없다. 무엇을 만들지 모르는 상태에서 만드는 능력은 의미가 없다.

U — Understanding (맥락)

에이전트에게 조직의 맥락을 공급할 수 있는가.

조직 안의 네 가지를 에이전트가 읽을 수 있는 형태로 바꾸는 역량이다. 문서와 데이터, 규정과 암묵지다. 온톨로지 설계, 지식그래프 구축, 검색 증강 파이프라인이 여기 들어간다. 앞서 본 15% 미만이라는 숫자가 이 축의 난이도를 보여준다.

이 축의 점수는 문서량이 아니라 구조로 결정된다. 파일이 아무리 많아도 관계가 정의되지 않으면 0점이다.

I — Infrastructure (구조)

에이전트를 실행할 구조를 설계할 수 있는가.

오케스트레이션과 메모리 설계가 여기 들어간다. 도구 연결과 프로토콜 선택도 함께 본다. 2026년에는 표준이 어느 정도 정리됐다. 도구와 데이터 연결은 모델 컨텍스트 프로토콜(MCP)이 맡는다. 조직 경계를 넘는 에이전트 간 통신은 A2A가 맡는다. A2A는 4월에 1.0이 나왔고 150개 이상의 조직이 지원한다^[10].

표준이 정리됐다는 것은 변명이 줄었다는 뜻이다. 직접 프로토콜을 만들 필요가 없어졌다. 그래도 못 만든다면 설계 역량의 문제다.

L — Loop (검증)

만든 것이 제대로 도는지 확인할 수 있는가.

에이전트 평가는 출력을 채점하는 방식이었다. 이제 실행을 검증하는 방식으로 넘어갔다. 실제 벤치마크가 그렇게 작동한다. tau-bench는 작업 후 데이터베이스 상태를 확인한다. 소프트웨어 공학 벤치마크(SWE-Bench)는 테스트를 실행한다. tau2-bench의 pass^k는 반복 시도를 본다. 여러 번 시도해도 일관되게 성공하는지를 잰다^[11].

관측 가능성도 이 축에 들어간다. 기록할 것은 다섯 가지다. 도구 선택과 인자, 메모리 읽기와 쓰기다. 상태 전이와 분기도 남긴다. 그래야 실행을 재구성할 수 있다. 로그가 없으면 개선도 없다.

D — Delivery (운영)

운영 비용과 실패를 감당할 수 있는가.

에이전트 시스템 도입 비용은 2026년 평균 27만 6천 달러다. 전년 대비 23% 낮아졌다. 그러나 중간 복잡도의 고객 운영 에이전트는 다르다. 3년 기준 총소유비용이 36만 8천 유로에 이른다^[12]. 구독료는 일부일 뿐이고 데이터 정비와 레거시 연동이 나머지를 차지한다.

이 축을 재지 않으면 비용 초과를 그대로 맞는다. Gartner가 말한 취소 사유의 첫 번째다.

S — Safeguard (통제)

에이전트의 행동을 통제할 수 있는가.

통제는 여섯 계층으로 본다. 첫째는 신원이고 둘째는 최소 권한이다. 셋째는 실행 시점 통제, 넷째는 행동 감시다. 다섯째는 감사 기록이고 여섯째는 공급망 보안이다.

현실은 준비가 얕다. 조사에 응한 조직의 88%가 보안 사고를 겪었거나 의심했다. 에이전트와 관련된 사고다. 그런데 공식 책임자를 지정한 조직은 7.2%에 그친다. 에이전트의 행동에 책임지는 사람이다. 사람의 검토 절차를 넣지 않은 곳이 41~44%다. 긴급 정지 장치나 망 분리가 없는 곳은 55~63%다^[13].

거버넌스 프레임워크는 이미 있다. 미국 표준기술연구소(NIST)의 AI 위험관리 프레임워크가 그 하나다. 관리와 지도, 측정과 운영의 네 기능으로 구성된다. 이 프레임워크는 자기선언 방식이다. 외부 인증은 받을 수 없다.

ISO/IEC 42001은 인증을 받을 수 있는 국제 표준이다. 국제표준화기구(ISO)와 국제전기기술위원회(IEC)가 만들었다. 실무에서는 NIST로 분류 체계를 먼저 세운다. 그 위에 ISO 인증을 얹는 순서가 작업을 수월하게 만든다^[14].

채점과 활용

채점은 세 주체가 함께 한다. 현업, IT, 데이터 담당이 각각 매긴다. 한쪽만 매기면 편향된다. 구축 역량은 특히 그렇다. IT는 자기 역량을 높게 보는 경향이 있다. 현업은 자기 업무의 난이도를 높게 본다.

BUILDS는 과제를 고르는 도구가 아니다. 과제 선정은 RAPIDS가 맡는다. RAPIDS는 과제 우선순위를 가리는 별도 진단이다. 두 진단의 대상이 다르다.

BUILDS는 조직을 잰다. 이 회사가 만들 수 있는가를 묻는다. RAPIDS는 과제를 잰다. 무엇을 먼저 만들 것인가를 묻는다.

순서는 BUILDS가 먼저다. 만들 수 없는 조직이 과제 목록을 아무리 잘 정렬해도 결과는 같다. 앞서 본 회의실 장면이 그 경우다. 과제는 옳았지만 조직이 준비되지 않았다.

BUILDS에서 최저점을 본다. 2점 이하인 축이 나왔다면 그 축을 먼저 올린다. 3점 이상이 고르게 나왔다면 RAPIDS로 넘어가 과제를 고른다.

JK's Take

구축 역량을 재면 점수가 떨어진다. 낮은 점수를 주는 진단은 팔기 어렵다.

그러나 순서를 바꿀 수는 없다. 만들 수 없는 조직이 만들기로 결정하면 비용은 착수 이후에 발생한다. Gartner가 예측한 40%의 취소가 그 비용이다. 진단은 그 비용을 착수 전으로 당겨오는 장치다.

여섯 축 중 하나만 고르라면 통제다. 나머지 다섯 축이 부족하면 프로젝트가 늦어진다. 통제가 부족하면 사고가 난다. 늦는 것과 사고는 다른 종류의 문제다. 책임자를 지정한 조직은 7.2%다. 나머지 92.8%는 사고가 나면 누가 답할지 정하지 않은 채로 에이전트를 돌리고 있다.

이 진단을 파는 쪽이 곧바로 구축 계약을 제안하면 점수는 의심받는다. 진단과 구축은 분리해서 판단하는 것이 맞다.

What to Watch

— AI 제품·서비스 확인 제도의 실제 운용을 지켜볼 필요가 있다. 2026년 8월부터 조달 우대가 시작됐다^[7]. 확인서 취득이 어느 정도 문턱인지는 향후 6개월 안에 드러난다. 조달 시장에서 실질적 차이를 만드는지도 그때 보인다. 차이가 크면 역량 증명의 표준이 공공에서 먼저 자리 잡는다.

— 에이전트 평가 도구의 표준화 여부를 볼 것이다. 현재는 tau-bench 계열이 사실상의 기준이다. 실행 기반 검증이라 그렇다. 그러나 산업별 벤치마크는 없다^[11]. 금융과 제조가 자체 검증 체계를 만들 수도 있다. 그러면 검증 축의 채점 기준도 산업별로 갈라진다.

— 사는 것과 만드는 것의 경계가 어디에서 멈추는지 주시할 필요가 있다. 32%가 에이전틱 코딩 때문에 소프트웨어 구매를 취소했다^[5]. 이 조사는 한 시점의 수치다. 이 비율이 계속 오르면 구축 역량은 선택이 아니라 생존 조건이 된다. 반대로 꺾이면 만드는 비용이 사는 비용을 넘었다는 신호다.

References

[1] Gartner, "2026 CIO and Technology Executive Survey / Hype Cycle for Agentic AI 2026", 2026. https://www.gartner.com/en/articles/hype-cycle-for-agentic-ai — AI 에이전트를 배포한 조직은 17%, 2년 내 도입 의향은 60% 이상으로 Gartner가 기록한 신기술 중 가장 가파른 채택 의향 곡선이다. agentic AI 프로젝트의 40%가 2027년까지 비용 초과, 불명확한 ROI, 거버넌스 실패로 취소될 것으로 전망한다.

[2] 그렙, "2026 대한민국 기업의 AI 역량 진단", 2026. https://www.betanews.net/article/view/beta202606170003 — 중견·대기업 임원 및 부장급 200명 대상, 2026년 4월 17~28일 조사. 응답자의 68%가 임원·부장급. AI 역량 측정 기준이 없는 기업 66.5%. AI 역량이 성과에 영향을 준다는 인식은 3.76점인 반면 조직의 역량 수준을 파악하고 있다는 응답은 2.63점. 12개월 내 AI 교육 도입 계획 84.2%, 그중 79.0%가 측정 기준 부재(46.0%) 또는 솔루션 부재(33.0%)를 어려움으로 꼽았다.

[3] Microsoft, "Introduction to the Agentic AI adoption maturity model", 2026. https://learn.microsoft.com/en-us/agents/adoption-maturity-model/ — Initial, Repeatable, Efficient 등 5단계와 AI 전략·경험, 비즈니스 전략, 거버넌스·보안, 기술과 데이터, 조직 준비도의 5개 역량 축으로 구성된다.

[4] Consulting Huber, "Big Consulting AI Frameworks, Compared (2026)", 2026. https://consulting-huber.com/ai-consulting-frameworks-compared.html — 2026년 1분기에 Accenture, BCG, Bain, Deloitte, IBM, McKinsey가 각각 agentic AI 보고서를 발표했다. 거버넌스, 데이터 준비도, ROI 측정이 구매자 관점의 핵심 영역이며 데이터 준비도 평가가 없는 제안은 실격에 가깝다.

[5] McKinsey, "The State of AI: Global Survey 2026", 2026. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai — AI가 EBIT(세전영업이익)에 기여한다는 응답은 37%로 전년과 동일하다. 응답자의 32%가 에이전틱 코딩 도구로 내부 구축이 가능해 소프트웨어 구매를 취소했다고 답했다. 62%가 에이전트를 실험 중이고 23%가 확장 단계다.

[6] 조선비즈, "자체 개발 챗봇으로는 한계 — AI 에이전트 전환에 빗장 푸는 제조사들", 2026. https://v.daum.net/v/qLJBSUgRkz — 현대차그룹의 H Chat Pro는 보호된 환경에서 ChatGPT, Gemini, Claude를 활용하며 월 활성 사용자 3만 명 이상, 현대차·기아 임직원의 약 80%가 사용한다. 삼성전자는 자체 모델 가우스와 코드 에이전트를 함께 운영한다.

[7] 한국데이터경제신문, "AI기본법 시행령 7월 시행, 공공조달 AI 확인 제도 핵심 정리", 2026. https://www.dataeconomy.co.kr/news/articleView.html?idxno=41346 — 2026년 7월 21일 시행. AI 제품·서비스 확인 제도 신설로 확인서 취득 제품은 2026년 8월부터 다수공급자계약(MAS) 참여 요건·절차 완화, 총액계약 적격심사 기술점수 1.5점 신인도 가점, 소프트웨어 단가계약 시 납품실적 3건 면제를 받는다.

[8] Improvado, "Enterprise Knowledge Graph: Architecture & Use Cases 2026", 2026. https://improvado.io/blog/enterprise-knowledge-graph — 대기업의 65%가 지식그래프를 도입했으나 파일럿 단계를 넘긴 기업은 15% 미만이다. 좌초 지점은 온톨로지 설계, 개체 식별(entity resolution) 정확도, 질의 성능 세 가지다. 기업 지식그래프 시장은 2026년 34억 7천만 달러 규모다.

[9] PwC, "Agentic AI workforce redesign", 2026. https://www.pwc.com/us/en/tech-effect/ai-analytics/agentic-ai-workforce-redesign.html — 기업의 84%가 AI 역량에 맞춰 직무를 재설계하지 않았다. Microsoft 2026 Work Trend Index 기준 에이전트 중심으로 업무 흐름을 재설계한 사용자는 19%다.

[10] Linux Foundation, "A2A Protocol Surpasses 150 Organizations", 2026. https://www.linuxfoundation.org/press/a2a-protocol-surpasses-150-organizations-lands-in-major-cloud-platforms-and-sees-enterprise-production-use-in-first-year — A2A(Agent-to-Agent) 프로토콜은 2026년 4월 1.0이 공개됐고 150개 이상 조직이 지원하며 AWS, Microsoft, Google 클라우드에 통합됐다. MCP(Model Context Protocol)는 도구·데이터 연결을, A2A는 조직 경계를 넘는 에이전트 간 통신을 담당한다.

[11] Morph, "AI Agent Evaluation (2026): Metrics, Frameworks, and Production Failures", 2026. https://www.morphllm.com/ai-agent-evaluation — 실행 기반 검증이 표준이다. tau-bench는 작업 후 데이터베이스 상태를, SWE-Bench는 테스트 실행 결과를 확인하며, tau2-bench의 pass^k는 반복 시도에서의 일관된 성공률을 측정한다. 계획 평가와 추론 평가가 2026년의 핵심 항목이다.

[12] Crispidea, "Agentic AI in Enterprise: Pricing the Agent Economy in 2026", 2026. https://www.crispidea.com/agentic-ai-in-enterprise-pricing-2026/ — 기업 AI 에이전트 시스템의 평균 도입 비용은 2026년 27만 6천 달러로 전년 대비 23% 하락했다. 중간 복잡도의 고객 운영 에이전트는 3년 기준 총소유비용(TCO)이 약 36만 8천 유로다. 구독료는 총비용의 일부이며 데이터 정비와 레거시 연동이 상당 부분을 차지한다.

[13] Gravitee, "State of AI Agent Security Report 2026", 2026. https://www.gravitee.io/state-of-ai-agent-security — 조직의 88%가 에이전트 관련 보안 사고를 겪었거나 의심했다. 에이전트 행동에 공식 책임자를 지정한 조직은 7.2%에 그친다. 사람의 검토 절차(human-in-the-loop)를 도입하지 않은 조직이 41~44%, 긴급 정지 장치나 망 분리가 없는 조직이 55~63%다. 통제는 신원, 최소 권한, 실행 시점 통제, 행동 감시, 감사 기록, 공급망 보안의 6계층으로 구성된다.

[14] TrustCloud, "ISO 42001 & NIST AI RMF: Mastering responsible AI governance in 2026", 2026. https://www.trustcloud.ai/ai/iso-42001-nist-ai-rmf-practical-steps-for-responsible-ai-governance/ — NIST AI 위험관리 프레임워크(AI RMF)는 관리(Govern), 지도(Map), 측정(Measure), 운영(Manage)의 4기능으로 구성되며 자기선언 방식으로 외부 인증이 불가하다. ISO/IEC 42001은 인증 가능한 국제 표준이다. NIST로 분류 체계를 먼저 세운 뒤 ISO 42001 인증을 얹는 순서가 인증 작업을 수월하게 만든다.