Scoring Rubric · 6 Axes × 5 Levels

채점 기준을 전부 공개한다

블랙박스 성숙도 진단이 점수를 부풀리는 이유는 기준과 증빙을 보여주지 않기 때문이다. BUILDS는 30개 관찰 기준과 축별 증빙 요구를 그대로 공개한다.

채점 규칙

1각 축을 1~5점으로 매긴다.
2총점을 쓰지 않는다. 최저점으로 판정한다.
3증빙이 없으면 최대 2점이다. 구두 주장은 점수가 되지 않는다.
4현업·IT·데이터 세 주체가 각각 매긴다. 불일치하면 낮은 쪽을 택한다.
5최저점이 2점 이하인 축이 있으면 구축 착수를 보류한다.

세 번째 규칙이 이 루브릭의 핵심이다. 자기 신고식 성숙도 진단이 점수를 부풀리는 이유가 증빙을 요구하지 않아서다. 축마다 무엇을 제출해야 하는지 아래에 명시했다.

네 번째 규칙은 편향 때문이다. IT는 자기 역량을 높게, 현업은 자기 업무의 난이도를 높게 본다.

6축 × 5단계

각 칸은 의견이 아니라 관찰 가능한 상태다. 표는 가로로 스크롤된다.

B경계Boundary

무엇을 위임하고 무엇을 사 올 것인가

점수	관찰되는 상태	업계 위치
1점	후보 목록이 없다. 있어도 "AI로 뭘 해보자"의 나열이다.	착수 이전 단계다. 무엇을 만들지부터 정해야 한다.
2점	부서별 아이디어 목록은 있다. 업무 단위로 분해되지 않았고 담당자가 불분명하다.	아이디어 수준이다. 업무 분해가 다음 과제다.
3점	대상 업무를 단계로 분해했다. 단계마다 사람과 에이전트의 담당이 문서로 구분돼 있다.	분해까지 왔다. 조직에 반영되지 않으면 현업이 움직이지 않는다.
4점	그 경계가 실제 프로세스와 직무기술서에 반영됐다.	상위 16%다. 기업의 84%가 AI에 맞춰 직무를 재설계하지 않았다.
5점	내재화와 구매의 경계를 주기적으로 재판정하는 기준과 주기가 있다.	경계를 계속 재판정하는 단계다. 32%가 실제로 구매 취소를 결정했다.

3점 이상 증빙

업무 단계 분해도 · 개정된 직무기술서 · Build/Buy 판정 회의록

U맥락Understanding

조직의 지식을 에이전트에 공급할 수 있는가

점수	관찰되는 상태	업계 위치
1점	문서가 개인 PC와 메일에 흩어져 있다. 무엇이 최신인지 모른다.	문서가 흩어져 있다. 에이전트에 줄 맥락이 없다.
2점	문서 저장소는 있다. 검색은 파일명과 키워드 수준이다.	저장소는 있으나 검색이 파일명 수준이다.
3점	핵심 도메인의 용어와 관계가 정의됐다. 검색 증강 파이프라인이 시범 가동 중이다.	대기업 65%가 여기까지 온다. 다음 단계에서 대부분 멈춘다.
4점	온톨로지 또는 지식그래프가 운영 시스템에 연결돼 있고 개체 식별 정확도를 측정한다.	상위 15% 안쪽이다. 파일럿을 넘긴 조직이 15% 미만이다.
5점	지식이 바뀌면 자동으로 갱신되는 파이프라인이 있고, 질의 성능을 기준값으로 관리한다.	지식이 살아 움직이는 단계다. 가장 도달하기 어려운 축이다.

3점 이상 증빙

온톨로지 문서 · 개체 식별 정확도 측정치 · 질의 지연 로그

I구조Infrastructure

에이전트를 실행할 구조를 설계할 수 있는가

점수	관찰되는 상태	업계 위치
1점	팀마다 각자 API를 직접 호출한다. 공통 기반이 없다.	공통 기반이 없다. 팀마다 다시 만들고 있다.
2점	게이트웨이나 프롬프트 관리가 일부 있으나 팀마다 방식이 다르다.	부분적으로 있으나 팀마다 방식이 다르다.
3점	에이전트 런타임, 도구 연결, 메모리 설계가 표준화됐다. MCP 같은 표준 프로토콜을 쓴다.	표준화 단계다. 에이전트를 실제 배포한 17%의 실체에 가깝다.
4점	복수 에이전트의 오케스트레이션이 운영 중이다. A2A를 검토하거나 적용했다.	오케스트레이션 운영 단계다. A2A 표준이 정리돼 변명이 줄었다.
5점	모델과 도구를 교체해도 서비스가 유지되는 추상화가 있다. 복수 공급자를 운영한다.	공급자를 갈아끼울 수 있는 단계다.

3점 이상 증빙

아키텍처 다이어그램 · 게이트웨이 설정 · 프로토콜 채택 결정 문서

L검증Loop

만든 것이 제대로 도는지 확인할 수 있는가

점수	관찰되는 상태	업계 위치
1점	사람이 눈으로 보고 괜찮다고 판단한다. 기록이 남지 않는다.	눈으로 보고 판단한다. 기록이 없으면 개선도 없다.
2점	샘플 출력을 수동으로 채점한다. 기준은 담당자의 판단이다.	수동 채점 단계다. 기준이 담당자마다 다르다.
3점	정답셋이 있고 자동 채점이 돈다. 다만 채점 대상은 출력 텍스트다.	자동 채점까지 왔다. 다만 채점 대상이 출력 텍스트다.
4점	실행 결과를 검증한다. 작업 후 시스템 상태를 확인하거나 테스트를 돌린다.	실행을 검증하는 단계다. 출력 채점과는 다른 일이다.
5점	반복 성공률을 관리한다. 회귀 검증이 배포 절차에 붙어 있다.	반복 성공률까지 관리한다. 운영 신뢰의 조건이다.

3점 이상 증빙

평가셋 · 채점 코드 · 실행 추적(trace) 샘플 · 회귀 검증 리포트

D운영Delivery

운영 비용과 실패를 감당할 수 있는가

점수	관찰되는 상태	업계 위치
1점	파일럿만 있고 운영 이관 계획이 없다.	파일럿에서 멈출 위험이 크다.
2점	운영에 넘겼으나 비용과 지연을 추적하지 않는다.	운영 중이나 비용이 보이지 않는다. 취소 사유 1위가 비용 초과다.
3점	토큰·API·인프라 비용이 과제별로 집계된다. 장애 대응 절차가 있다.	비용이 보인다. 다음은 3년 총비용이다.
4점	3년 총소유비용을 산정해 예산에 반영했다. 성능과 가용성 기준이 합의돼 있다.	중간 복잡도 에이전트의 3년 총소유비용은 36.8만 유로 수준이다.
5점	비용 대비 효과가 재무 지표로 보고된다.	AI가 EBIT에 기여한다고 답한 기업이 37%, 그중 고성과는 6%다.

3점 이상 증빙

비용 대시보드 · 총소유비용 산정서 · 성능·가용성 기준 문서 · 재무 보고 자료

S통제Safeguard

행동을 통제하고 책임 소재를 정할 수 있는가

점수	관찰되는 상태	업계 위치
1점	권한이 개인 계정에 붙어 있다. 무엇을 했는지 추적할 수 없다.	추적이 안 된다. 사고가 나면 경위를 재구성할 수 없다.
2점	로그는 남지만 사후 확인용이다. 실행을 멈출 수단이 없다.	로그는 있으나 멈출 수단이 없다.
3점	에이전트에 별도 신원과 최소 권한이 부여됐다. 감사 로그가 보존되고 사람의 검토 절차가 정의돼 있다.	검토 절차까지 왔다. 41~44%는 이 절차조차 없다.
4점	긴급 정지 장치와 망 분리가 있다. 행동 이상을 실시간으로 감시한다.	상위 40% 안쪽이다. 55~63%가 긴급 정지나 망 분리를 갖추지 못했다.
5점	에이전트 행동에 공식 책임자가 지정돼 있고, NIST AI RMF 또는 ISO/IEC 42001에 매핑돼 있다.	상위 7%다. 책임자를 지정한 조직은 7.2%뿐이다.

3점 이상 증빙

권한 매트릭스 · 감사 로그 · 긴급 정지 절차서 · 책임자 지정 문서

결과 해석

최저점	판정	다음 행동
1	착수 불가	최저점 축의 선행 과제부터 해결해야 한다. 에이전트 이전의 문제다.
2	파일럿 가능, 운영 이관 불가	최저점 축을 3점으로 올리는 것이 첫 과제다. 지금 운영에 넘기면 그 축에서 멈춘다.
3	첫 구축 가능	과제 선정 단계로 넘어갈 수 있다. RAPIDS로 무엇을 먼저 만들지 정한다.
4 이상	확장 가능	복수 과제를 병행하고 조직 확산을 논의할 수 있는 단계다.

축별 개선 순서

S 통제→B 경계→U 맥락→L 검증→I 구조→D 운영

통제가 먼저다. 다른 축이 부족하면 프로젝트가 늦어지지만, 통제가 부족하면 사고가 난다. 늦는 것과 사고는 다른 종류의 문제다. 맥락은 가장 오래 걸리므로 우선순위는 세 번째지만 착수는 병행하는 것이 맞다.

미팅 즉석 6문항

한 번의 대화에서 답을 얻을 수 있는 질문만 골랐다. 답이 나오지 않는 축이 그 조직의 최저점일 가능성이 높다.

B경계에이전트에 맡길 업무의 단계 분해도를 보여줄 수 있는가?
U맥락핵심 도메인의 용어와 관계를 정의한 문서가 있는가?
I구조여러 팀이 공통으로 쓰는 에이전트 실행 기반이 있는가?
L검증마지막 배포에서 무엇이 좋아졌는지 숫자로 말할 수 있는가?
D운영지난달 에이전트 운영에 얼마를 썼는지 아는가?
S통제에이전트가 사고를 내면 누가 답하는가?

마지막 질문에서 대부분 침묵이 온다. 에이전트 행동에 공식 책임자를 지정한 조직은 7.2%다. 그 침묵이 진단의 필요를 스스로 증명한다.

주의: 즉석 진단은 대화를 여는 장치다. 증빙을 보지 않았으므로 이 단계의 최대 점수는 2점이며, 여기서 나온 점수를 확정 점수로 제시하지 않는다.

자가진단 해보기 →여섯 축이 나온 배경 →