LLM 하나로는 부족하다

설계 배경: LLM 단독 배치의 문제

LLM의 성능은 놀랍다. LLM은 대규모 언어 모델(Large Language Model)이다. 그러나 기업 환경에서 LLM만으로 시스템을 짜면 문제가 생긴다.

첫째, 환각(hallucination)이다. LLM은 사실과 다른 내용을 그럴듯하게 만들어낸다. 개방형 질문에서 환각 발생률은 40~80%에 달한다^[1]. 법률 리서치에서 GPT-4의 환각률은 58%였다. 2026년 프론티어 모델의 환각률은 4.6~6.1%다. 줄고 있지만 0이 아니다^[1]. 여신 심사 보고서에 환각이 섞이면, 잘못된 대출 결정으로 이어진다.

둘째, 결정론적 처리가 불가능하다. 같은 질문에 같은 답을 보장하지 못한다. 규제 산업에서는 "왜 이런 결정을 내렸는가"를 설명해야 한다. LLM의 확률적 출력은 그 감사 요건을 충족하지 못한다.

셋째, 비용이 빠르게 늘어난다. 기업의 LLM API 지출은 2024년 말 35억 달러였다. 2025년 중반에는 84억 달러다^[2]. 6개월 만에 2배 이상이다. 프로덕션 LLM 앱의 토큰 예산 중 40~60%가 낭비된다는 분석도 있다.

2026년 5월 발표된 한 논문은 이 문제를 정면으로 다뤘다. "LLM을 기업의 런타임으로 쓰지 마라"는 제목이다^[3]. 기업 업무는 결정론적이어야 한다. 구조화되고 반복 가능해야 한다. 감사도 가능해야 한다.

LLM은 이 네 가지 요건에 모두 약하다. LLM은 인터페이스로만 쓰자는 주장이다. 지식과 연산은 전용 엔진으로 분리한다.

Composite AI란 무엇인가

Composite AI는 서로 다른 AI 기법을 결합한다. 단일 기법의 한계를 넘는 접근법이다. Gartner는 이렇게 정의했다^[4]. "학습 효율을 높이고 지식 표현의 폭을 넓혀, 더 넓은 범위의 비즈니스 문제를 해결하는 플랫폼"이다.

핵심은 LLM을 버리는 게 아니다. LLM이 잘하는 일만 맡기는 것이다. 나머지는 각 분야의 전문 엔진이 처리한다.

구성 요소: 6가지 엔진

Composite AI의 주요 구성 요소는 여섯 가지다.

첫째, 지식그래프(Knowledge Graph)다. LLM의 환각을 잡는 가장 검증된 방법이다. 사실 관계를 점과 선으로 구조화해 둔다. 그러면 LLM이 답변을 생성할 때 이 구조를 참조한다. LinkedIn은 지식그래프와 LLM을 GraphRAG로 결합했다. GraphRAG는 지식그래프로 검색을 돕는 기법이다.

티켓 해결 시간이 40시간에서 15시간으로 줄었다^[5]. 지식그래프 구축의 ROI는 300~320%로 보고된다. ROI는 투자 수익률(Return on Investment)이다.

둘째, 규칙 엔진(Rules Engine)이다. "대출 한도는 연소득의 3배를 넘을 수 없다"는 규칙은 LLM이 해석할 필요가 없다. 규칙 엔진이 결정론적으로 처리하면 된다. 결과가 항상 같고, 감사가 가능하다. 뉴로심볼릭 AI 분야에서 이런 접근이 주목받고 있다^[6]. 신경망과 기호논리를 결합한 AI다.

대표적 패턴이 Text-to-SQL이다. SQL은 데이터베이스에 질문을 던지는 언어다. LLM이 사용자의 자연어 질문을 해석한다. 결정론적 SQL 엔진이 정확한 쿼리를 실행한다. LLM의 유연성과 SQL의 정확성을 결합한 구조다.

Amazon의 Vulcan 로봇도 같은 원리다. 딥러닝이 물체를 인식한다. 심볼릭 플래너가 물리적 제약을 계산해 로봇 팔을 움직인다^[6].

셋째, 수리 최적화 엔진(Optimization Solver)이다. "10개 공장에서 50개 매장으로 물류를 보낼 때 비용을 최소화하라"는 문제는 LLM이 풀 수 없다. 수학적 최적화 알고리즘이 필요하다. IBM 연구팀이 2025년 AAAI 학회에서 프레임워크를 발표했다^[7]. AAAI는 미국 인공지능학회다. LLM과 OR 최적화를 통합하는 구조다. OR는 경영과학(Operations Research)이다.

OptiMUS라는 LLM 기반 최적화 에이전트도 있다. MILP 문제에서 80% 이상의 정답률을 보였다. MILP는 혼합 정수 선형 계획법이다. 기본 LLM 프롬프팅만으로는 절반 수준이었다^[7].

넷째, 컴퓨터 비전(Computer Vision)이다. 공장의 불량품 검사와 문서의 OCR 처리는 LLM이 맡지 않는다. 전문 비전 모델이 담당한다. OCR는 광학 문자 인식(Optical Character Recognition)이다. McKinsey 조사에서 제조사의 76%가 AI 비주얼 검사를 계획했다. 18개월 안이다^[8]. 최첨단 시스템은 0.1mm 표면 결함을 99.8% 정확도로 탐지한다.

2025년에는 하이브리드 비전-언어 모델이 등장했다^[10]. 비전 모델과 언어 모델을 결합한 것이다. 불량 탐지는 비전 모델이 한다. 원인을 자연어로 설명하는 것은 언어 모델이 한다.

다섯째, 프로세스 마이닝(Process Mining)이다. 기업의 실제 업무 흐름을 데이터로 분석하는 기술이다. 어디서 병목이 생기는지, 어떤 단계가 불필요한지를 발견한다. LLM은 프로세스를 분석하지 못한다. 프로세스 마이닝 엔진이 분석한다. LLM이 결과를 자연어로 설명한다. 이 역할 분담이 효과적이다.

여섯째, 시뮬레이션 엔진(Simulation Engine)이다. "이 공급업체가 납품을 못 하면 어떤 일이 벌어지는가." 이걸 예측하려면 시뮬레이션이 필요하다. LLM은 시나리오를 서술할 수 있다. 그러나 정량적 시뮬레이션은 전용 엔진의 영역이다.

설계 판단과 트레이드오프

Composite AI 설계에서 가장 중요한 판단이 있다. "무엇을 LLM에 맡기고 무엇을 전용 엔진에 맡기는가"다.

판단 기준은 세 가지다.

첫째, 결정론성이다. 같은 입력에 항상 같은 출력이 나와야 하는가. 그렇다면 규칙 엔진이나 최적화 엔진이 적합하다. LLM은 적합하지 않다.

둘째, 감사 가능성이다. 왜 이런 결정을 내렸는지 설명할 수 있어야 하는가. 규제 산업(금융, 의료, 공공)에서는 필수다. 지식그래프와 규칙 엔진은 결정 과정을 추적할 수 있다. LLM은 "왜"를 설명하기 어렵다.

셋째, 비용이다. 모든 처리를 LLM API로 보내면 비용이 기하급수적으로 늘어난다. 프론티어 모델에 14~26%의 쿼리만 보낸다. 나머지는 소형 모델이나 전용 엔진으로 보낸다. 이렇게 하면 프론티어 성능의 95%를 유지한다. 비용은 75~85% 줄어든다^[2].

JK's Take

LLM은 범용 도구다. 범용 도구가 전문 도구를 이기는 영역은 제한적이다. 망치로 나사를 박을 수는 있다. 그러나 드라이버가 더 낫다.

기업 AI의 본질은 여러 전문 도구를 하나의 시스템으로 엮는 것이다. LLM은 그 시스템의 인터페이스다. 사용자의 자연어를 이해하고 결과를 자연어로 전달한다. 판단은 지식그래프가 한다. 계산은 최적화 엔진, 검사는 비전 모델이 한다. 규칙 적용은 규칙 엔진이다.

이것이 Composite AI의 설계 철학이다. LLM 하나로 모든 것을 해결하려는 유혹을 이겨야 한다. 잘하는 것만 맡기는 설계가 결국 더 강하다.

What to Watch

— Gartner가 2024년 공급망 기술 1위로 Composite AI를 꼽았다. 2025~2026년에 다른 산업으로 퍼지는지 주목하라.

— 뉴로심볼릭 AI 스타트업 AUI가 펀딩을 받았다^[6]. 밸류에이션 7.5억 달러다. LLM과 심볼릭 추론의 결합이 상용화 단계에 진입하고 있다.

— LLM 비용 최적화의 핵심은 모델 라우팅이다. 어떤 쿼리를 프론티어 모델에 보낼 것인가. 어떤 것을 소형 모델에 보낼 것인가. 이 갈림이 비용과 품질을 함께 정한다.

References

[1] SQ Magazine, "LLM Hallucination Statistics 2026", 2026. https://sqmagazine.co.uk/llm-hallucination-statistics/ — 환각(hallucination)은 LLM이 사실과 다른 내용을 그럴듯하게 생성하는 현상이다.

[2] RWS / TrueFoundry, "Scaling Enterprise AI: LLM Cost Optimization", 2025. https://www.truefoundry.com/blog/llm-cost-optimization — 모델 라우팅(model routing)은 쿼리의 복잡도에 따라 적합한 모델로 분배하는 기법이다.

[3] arXiv:2605.09365, "Position: Avoid Overstretching LLMs for every Enterprise Task", 2026. https://arxiv.org/html/2605.09365 — 기업 업무의 결정론적, 구조화, 반복적, 감사 가능 요건에 LLM 단독 배치가 부적합하다는 학술 논문이다.

[4] Gartner, "Composite AI Definition", 2024. https://www.gartner.com/en/information-technology/glossary/composite-ai — Composite AI는 서로 다른 AI 기법을 결합하여 단일 기법의 한계를 넘는 접근법이다.

[5] Medium / Atlan, "From LLMs to Knowledge Graphs: Production-Ready Graph Systems", 2025. https://atlan.com/know/combining-knowledge-graphs-llms/ — GraphRAG는 지식그래프와 RAG(Retrieval-Augmented Generation, 검색 증강 생성)를 결합한 기법이다.

[6] VentureBeat, "Neuro-symbolic AI startup AUI at $750M valuation", 2025. https://venturebeat.com/ai/the-beginning-of-the-end-of-the-transformer-era-neuro-symbolic-ai-startup — 뉴로심볼릭 AI(Neuro-Symbolic AI)는 신경망의 학습 능력과 기호논리의 추론 능력을 결합하는 접근법이다.

[7] IBM Research, "Enhancing Decision Making through LLM and Operations Research Optimization", AAAI 2025. https://research.ibm.com/publications/enhancing-decision-making-through-the-integration-of-large-language-models-and-operations-research-optimization-bridge-talk — OR(Operations Research, 경영과학)은 수학적 모델로 최적의 의사결정을 찾는 학문이다.

[8] VoxelFiftyOne / UnitX Labs, "Visual AI in Manufacturing: 2025 Landscape", 2025. https://voxel51.com/blog/visual-ai-in-manufacturing-2025-landscape — Siemens는 2025년 Inspekto를 인수하여 20~30장 이미지로 학습 가능한 비전 AI를 산업 자동화에 통합했다.

[9] AI Agent Corps, "AI Agents in Banking: JPMorgan, Goldman, BofA", 2026. https://agentcorps.co/blog/ai-agents-banking-jpmorgan-goldman-bofa-autonomous-finance-2026 — Goldman Sachs는 Anthropic과 공동으로 Composite AI 에이전트를 개발하고 있다.

[10] arXiv:2605.26533, "Hybrid Vision-Language Models for Industrial Inspection", 2025. https://arxiv.org/pdf/2605.26533 — 하이브리드 비전-언어 모델은 비전 모델의 탐지 능력과 언어 모델의 설명 능력을 결합한 구조다.

[11] Consulting Huber, "Big Consulting AI Frameworks Compared", 2026. https://consulting-huber.com/ai-consulting-frameworks-compared.html — McKinsey Lilli는 45,000명 중 72%가 활용하는 내부 Composite AI 플랫폼이다.