← 자가진단
Scoring Rubric · 6 Axes × 5 Levels
채점 기준을 전부 공개한다
블랙박스 성숙도 진단이 점수를 부풀리는 이유는 기준과 증빙을 보여주지 않기 때문이다. BUILDS는 30개 관찰 기준과 축별 증빙 요구를 그대로 공개한다.
채점 규칙
- 1각 축을 1~5점으로 매긴다.
- 2총점을 쓰지 않는다. 최저점으로 판정한다.
- 3증빙이 없으면 최대 2점이다. 구두 주장은 점수가 되지 않는다.
- 4현업·IT·데이터 세 주체가 각각 매긴다. 불일치하면 낮은 쪽을 택한다.
- 5최저점이 2점 이하인 축이 있으면 구축 착수를 보류한다.
세 번째 규칙이 이 루브릭의 핵심이다. 자기 신고식 성숙도 진단이 점수를 부풀리는 이유가 증빙을 요구하지 않아서다. 축마다 무엇을 제출해야 하는지 아래에 명시했다.
6축 × 5단계
B경계
| 점수 | 관찰되는 상태 | 업계 위치 |
|---|---|---|
| 후보 목록이 없다. 있어도 "AI로 뭘 해보자"의 나열이다. | 착수 이전 단계다. 무엇을 만들지부터 정해야 한다. | |
| 부서별 아이디어 목록은 있다. 업무 단위로 분해되지 않았고 담당자가 불분명하다. | 아이디어 수준이다. 업무 분해가 다음 과제다. | |
| 대상 업무를 단계로 분해했다. 단계마다 사람과 에이전트의 담당이 문서로 구분돼 있다. | 분해까지 왔다. 조직에 반영되지 않으면 현업이 움직이지 않는다. | |
| 그 경계가 실제 프로세스와 직무기술서에 반영됐다. | 상위 16%다. 기업의 84%가 AI에 맞춰 직무를 재설계하지 않았다. | |
| 내재화와 구매의 경계를 주기적으로 재판정하는 기준과 주기가 있다. | 경계를 계속 재판정하는 단계다. 32%가 실제로 구매 취소를 결정했다. |
업무 단계 분해도 · 개정된 직무기술서 · Build/Buy 판정 회의록
U맥락
| 점수 | 관찰되는 상태 | 업계 위치 |
|---|---|---|
| 문서가 개인 PC와 메일에 흩어져 있다. 무엇이 최신인지 모른다. | 문서가 흩어져 있다. 에이전트에 줄 맥락이 없다. | |
| 문서 저장소는 있다. 검색은 파일명과 키워드 수준이다. | 저장소는 있으나 검색이 파일명 수준이다. | |
| 핵심 도메인의 용어와 관계가 정의됐다. 검색 증강 파이프라인이 시범 가동 중이다. | 대기업 65%가 여기까지 온다. 다음 단계에서 대부분 멈춘다. | |
| 온톨로지 또는 지식그래프가 운영 시스템에 연결돼 있고 개체 식별 정확도를 측정한다. | 상위 15% 안쪽이다. 파일럿을 넘긴 조직이 15% 미만이다. | |
| 지식이 바뀌면 자동으로 갱신되는 파이프라인이 있고, 질의 성능을 기준값으로 관리한다. | 지식이 살아 움직이는 단계다. 가장 도달하기 어려운 축이다. |
온톨로지 문서 · 개체 식별 정확도 측정치 · 질의 지연 로그
I구조
| 점수 | 관찰되는 상태 | 업계 위치 |
|---|---|---|
| 팀마다 각자 API를 직접 호출한다. 공통 기반이 없다. | 공통 기반이 없다. 팀마다 다시 만들고 있다. | |
| 게이트웨이나 프롬프트 관리가 일부 있으나 팀마다 방식이 다르다. | 부분적으로 있으나 팀마다 방식이 다르다. | |
| 에이전트 런타임, 도구 연결, 메모리 설계가 표준화됐다. MCP 같은 표준 프로토콜을 쓴다. | 표준화 단계다. 에이전트를 실제 배포한 17%의 실체에 가깝다. | |
| 복수 에이전트의 오케스트레이션이 운영 중이다. A2A를 검토하거나 적용했다. | 오케스트레이션 운영 단계다. A2A 표준이 정리돼 변명이 줄었다. | |
| 모델과 도구를 교체해도 서비스가 유지되는 추상화가 있다. 복수 공급자를 운영한다. | 공급자를 갈아끼울 수 있는 단계다. |
아키텍처 다이어그램 · 게이트웨이 설정 · 프로토콜 채택 결정 문서
L검증
| 점수 | 관찰되는 상태 | 업계 위치 |
|---|---|---|
| 사람이 눈으로 보고 괜찮다고 판단한다. 기록이 남지 않는다. | 눈으로 보고 판단한다. 기록이 없으면 개선도 없다. | |
| 샘플 출력을 수동으로 채점한다. 기준은 담당자의 판단이다. | 수동 채점 단계다. 기준이 담당자마다 다르다. | |
| 정답셋이 있고 자동 채점이 돈다. 다만 채점 대상은 출력 텍스트다. | 자동 채점까지 왔다. 다만 채점 대상이 출력 텍스트다. | |
| 실행 결과를 검증한다. 작업 후 시스템 상태를 확인하거나 테스트를 돌린다. | 실행을 검증하는 단계다. 출력 채점과는 다른 일이다. | |
| 반복 성공률을 관리한다. 회귀 검증이 배포 절차에 붙어 있다. | 반복 성공률까지 관리한다. 운영 신뢰의 조건이다. |
평가셋 · 채점 코드 · 실행 추적(trace) 샘플 · 회귀 검증 리포트
D운영
| 점수 | 관찰되는 상태 | 업계 위치 |
|---|---|---|
| 파일럿만 있고 운영 이관 계획이 없다. | 파일럿에서 멈출 위험이 크다. | |
| 운영에 넘겼으나 비용과 지연을 추적하지 않는다. | 운영 중이나 비용이 보이지 않는다. 취소 사유 1위가 비용 초과다. | |
| 토큰·API·인프라 비용이 과제별로 집계된다. 장애 대응 절차가 있다. | 비용이 보인다. 다음은 3년 총비용이다. | |
| 3년 총소유비용을 산정해 예산에 반영했다. 성능과 가용성 기준이 합의돼 있다. | 중간 복잡도 에이전트의 3년 총소유비용은 36.8만 유로 수준이다. | |
| 비용 대비 효과가 재무 지표로 보고된다. | AI가 EBIT에 기여한다고 답한 기업이 37%, 그중 고성과는 6%다. |
비용 대시보드 · 총소유비용 산정서 · 성능·가용성 기준 문서 · 재무 보고 자료
S통제
| 점수 | 관찰되는 상태 | 업계 위치 |
|---|---|---|
| 권한이 개인 계정에 붙어 있다. 무엇을 했는지 추적할 수 없다. | 추적이 안 된다. 사고가 나면 경위를 재구성할 수 없다. | |
| 로그는 남지만 사후 확인용이다. 실행을 멈출 수단이 없다. | 로그는 있으나 멈출 수단이 없다. | |
| 에이전트에 별도 신원과 최소 권한이 부여됐다. 감사 로그가 보존되고 사람의 검토 절차가 정의돼 있다. | 검토 절차까지 왔다. 41~44%는 이 절차조차 없다. | |
| 긴급 정지 장치와 망 분리가 있다. 행동 이상을 실시간으로 감시한다. | 상위 40% 안쪽이다. 55~63%가 긴급 정지나 망 분리를 갖추지 못했다. | |
| 에이전트 행동에 공식 책임자가 지정돼 있고, NIST AI RMF 또는 ISO/IEC 42001에 매핑돼 있다. | 상위 7%다. 책임자를 지정한 조직은 7.2%뿐이다. |
권한 매트릭스 · 감사 로그 · 긴급 정지 절차서 · 책임자 지정 문서
결과 해석
| 최저점 | 판정 | 다음 행동 |
|---|---|---|
| 1 | 착수 불가 | 최저점 축의 선행 과제부터 해결해야 한다. 에이전트 이전의 문제다. |
| 2 | 파일럿 가능, 운영 이관 불가 | 최저점 축을 3점으로 올리는 것이 첫 과제다. 지금 운영에 넘기면 그 축에서 멈춘다. |
| 3 | 첫 구축 가능 | 과제 선정 단계로 넘어갈 수 있다. RAPIDS로 무엇을 먼저 만들지 정한다. |
| 4 이상 | 확장 가능 | 복수 과제를 병행하고 조직 확산을 논의할 수 있는 단계다. |
S 통제B 경계U 맥락L 검증I 구조D 운영
미팅 즉석 6문항
- B경계에이전트에 맡길 업무의 단계 분해도를 보여줄 수 있는가?
- U맥락핵심 도메인의 용어와 관계를 정의한 문서가 있는가?
- I구조여러 팀이 공통으로 쓰는 에이전트 실행 기반이 있는가?
- L검증마지막 배포에서 무엇이 좋아졌는지 숫자로 말할 수 있는가?
- D운영지난달 에이전트 운영에 얼마를 썼는지 아는가?
- S통제에이전트가 사고를 내면 누가 답하는가?