제9장. MLOps와 Agentic 미들웨어
이 장을 다 읽고 나면 알게 될 것: Foundation Model을 실제 서비스로 만드는 중간 계층이 무엇인지, LangChain에서 MCP까지 에이전트 인프라가 어떻게 진화하고 있는지, 그리고 GraphRAG가 이 층에서 어떤 가능성을 여는지
도입: 모델만으로는 아무것도 안 된다
GPT-4는 놀라운 모델이다. 그런데 GPT-4 API를 호출하는 것만으로는 기업의 문제를 풀 수 없다. 모델에게 회사의 문서를 읽게 하려면? 모델이 데이터베이스를 조회하게 하려면? 모델이 이메일을 보내게 하려면? 모델이 다른 모델과 협업하게 하려면?
이 모든 것을 가능하게 하는 층이 MLOps와 Agentic 미들웨어다. Foundation Model과 응용 서비스 사이에 있는 연결 계층이다. 배관 공사다. 화려하지 않지만 없으면 물이 안 나온다.
이 층이 2024~2025년에 폭발적으로 성장하고 있다. 그리고 이 층이야말로 한국의 개발자와 스타트업이 참여할 수 있는 영역이다.
9.1 MLOps — 모델 운영의 과학
MLOps는 Machine Learning Operations의 약자다. 모델을 학습시키고, 배포하고, 모니터링하고, 업데이트하는 전체 생명주기를 관리하는 체계다.
핵심 도구들을 보자.
MLflow. 실험 추적, 모델 레지스트리, 배포 관리. Databricks가 개발한 오픈소스다. AI 팀이 어떤 실험을 했고, 어떤 모델이 최고 성능이었고, 어떤 모델이 프로덕션에 올라가 있는지를 추적한다.
Weights & Biases (W&B). 실험 추적의 사실상 표준이다. 대부분의 AI 연구실이 W&B로 학습 과정을 모니터링한다. 시각화가 강점이다.
Kubeflow. 쿠버네티스 위에서 ML 파이프라인을 관리한다. 대규모 학습과 배포를 자동화한다.
vLLM. LLM 추론 서빙에 특화된 도구다. 모델을 API로 서빙할 때 속도와 비용을 최적화한다. PagedAttention이라는 메모리 관리 기법으로 추론 처리량을 수배 향상시킨다.
MLOps의 핵심 과제는 세 가지다. 첫째, 비용 관리. LLM 추론은 비싸다. 불필요한 토큰 생성을 줄이고, 캐싱을 활용하고, 작은 모델과 큰 모델을 적절히 라우팅해야 한다. 둘째, 품질 관리. 모델이 이상한 답을 하는지(hallucination) 모니터링해야 한다. 셋째, 버전 관리. 모델이 업데이트되면 성능이 달라진다. 어떤 버전을 어디에 쓰고 있는지 추적해야 한다.
9.2 RAG — 검색 증강 생성
RAG(Retrieval-Augmented Generation)는 2024~2025년 기업 AI의 가장 핵심적인 기술이다.
원리는 단순하다. 모델에게 질문을 던질 때, 관련 문서를 먼저 검색해서 같이 넣어준다. 모델은 그 문서를 참고해서 답한다. 환각(hallucination)이 줄어들고, 최신 정보를 반영할 수 있다.
RAG의 기술 스택은 이렇다.
벡터 데이터베이스. 문서를 숫자 벡터(임베딩)로 변환해 저장하면, 의미가 비슷한 문서를 빠르게 찾을 수 있다. 주요 선택지는 세 가지다. 클라우드 서비스(Pinecone — 관리 간편, 비용 높음), 오픈소스(Weaviate, Milvus — 자유도 높음, 운영 복잡), 기존 DB 확장(pgvector — PostgreSQL 확장, 가장 비용 저렴). 우리 프로젝트에서는 pgvector를 선택했다. 이미 PostgreSQL을 쓰고 있었고, 별도 인프라를 늘리고 싶지 않았기 때문이다.
청킹과 임베딩. 긴 문서를 적절한 크기로 나누고(청킹), 각 조각을 벡터로 변환한다(임베딩). 청킹 전략이 RAG 성능에 큰 영향을 미친다.
리랭킹. 검색된 문서들의 관련도를 재정렬한다. 초기 검색 결과를 정제하는 단계다.
RAG의 진화가 빠르다. 단순 RAG에서 Agentic RAG(에이전트가 필요한 정보를 직접 찾으러 가는 방식)로, 그리고 Graph RAG(지식 그래프와 결합)로 발전하고 있다.
잠시 멈추고 생각해보자 RAG가 기업 AI의 표준이 되고 있다. 그렇다면 RAG의 성능을 좌우하는 것은 모델의 품질인가, 데이터의 품질인가, 검색 시스템의 품질인가? 어디에 투자해야 가장 큰 효과를 보는가?
9.3 LangChain과 LangGraph — 에이전트 프레임워크
LangChain은 LLM 애플리케이션을 만드는 프레임워크다. 2022년 말 등장해 빠르게 표준이 되었다. 프롬프트 관리, 체인 구성, 도구 호출, 메모리 관리를 제공한다.
LangGraph는 LangChain의 진화형이다. 에이전트의 상태(state)를 그래프로 관리한다. 에이전트가 여러 단계를 거치며 일할 때, 각 단계의 상태와 전환을 명시적으로 정의할 수 있다. 복잡한 에이전트 워크플로를 만들 때 필수적이다.
다른 프레임워크들도 있다.
CrewAI. 여러 에이전트가 역할을 나눠 협업하는 구조를 쉽게 만들게 해준다. 각 에이전트에 역할, 목표, 도구를 부여한다.
AutoGen (Microsoft). 멀티에이전트 대화를 통해 문제를 푸는 프레임워크다. 에이전트끼리 대화하며 작업을 수행한다.
LlamaIndex. RAG에 특화된 프레임워크다. 데이터 인덱싱과 검색에 강점이 있다.
이 프레임워크들은 아직 초기 단계다. API가 자주 바뀌고, 문서가 부족하고, 프로덕션 안정성이 검증되지 않은 부분이 있다. 그러나 방향은 분명하다. LLM을 단순 채팅봇이 아니라 자율적 에이전트로 만드는 것.
9.4 MCP — Model Context Protocol
2024년 11월, Anthropic이 MCP(Model Context Protocol)를 발표했다. AI 모델이 외부 도구와 데이터에 접근하는 표준 프로토콜이다.
왜 필요한가. 각 AI 회사마다 도구 호출 방식이 다르다. OpenAI의 Function Calling, Anthropic의 Tool Use, Google의 방식이 각각 다르다. 개발자는 각 플랫폼에 맞춰 코드를 따로 짜야 한다.
MCP는 이것을 표준화하려는 시도다. USB가 다양한 기기의 연결을 표준화한 것처럼, MCP가 AI 모델과 외부 시스템의 연결을 표준화하려 한다.
MCP의 구조는 세 가지다. Resources(데이터에 대한 읽기 접근), Tools(외부 시스템에 대한 실행 능력), Prompts(재사용 가능한 프롬프트 템플릿).
MCP가 업계 표준이 되면 무엇이 변하는가. 개발자가 한 번 MCP 서버를 만들면, 어떤 AI 모델이든 같은 방식으로 접근할 수 있다. 벤더 종속이 줄어든다. 에이전트의 도구 사용이 표준화된다.
2025년 현재, MCP는 빠르게 채택되고 있다. Cursor, Replit, Sourcegraph 같은 개발 도구가 MCP를 지원한다. 그러나 아직 초기다. OpenAI와 Google이 MCP를 완전히 수용할지는 미지수다.
9.5 벡터 DB와 그래프 DB — 에이전트의 기억
에이전트가 기억을 가지려면 데이터베이스가 필요하다. 단순한 관계형 DB만으로는 부족하다.
벡터 데이터베이스. 의미 기반 검색을 가능하게 한다. "작년에 우리 회사 실적이 좋았던 이유"라고 물으면, 정확히 그 문장이 없어도 관련 문서를 찾아준다. pgvector(PostgreSQL 확장), Pinecone, Weaviate, Qdrant.
그래프 데이터베이스. 엔터티 간의 관계를 저장한다. "A 회사의 CEO는 B이고, B는 C 대학 출신이며, C 대학은 D 연구소와 협력한다." 이런 관계의 네트워크를 저장하고 탐색할 수 있다. ArangoDB, Neo4j, Amazon Neptune.
이 두 가지를 결합하는 접근이 있다. pgvector로 의미 검색을 하고, ArangoDB로 엔터티 간 관계를 추적한다. 이 조합이 단순한 RAG보다 깊이 있는 분석을 가능하게 한다.
9.6 실전 사례 — 이 층에서의 실험
나는 반도체·AI 글로벌 밸류체인을 분석하는 에이전트 시스템을 직접 설계하고 구축하고 있다. 이 층에서 실제로 무엇이 일어나는지, 직접 부딪혀본 이야기를 공유한다.
기술 스택. LangGraph로 에이전트 워크플로를 구성한다. ArangoDB에 지식 그래프를 저장한다. pgvector로 벡터 검색을 한다. MCP 서버를 만들어 외부 데이터(뉴스, 재무 데이터, 연구 보고서)에 접근한다.
하는 일. 예를 들어 TSMC 실적 발표가 나오면, 에이전트가 이를 읽는다. 관련 기업(ASML, SK하이닉스, 삼성전자)의 과거 데이터를 지식 그래프에서 꺼낸다. 매트릭스의 해당 셀 상태를 업데이트하고, 투자 시사점을 정리한다. 사람이 하루 종일 걸릴 분석을 30분에 한다.
교훈. 첫째, Foundation Model의 품질이 에이전트의 품질을 결정한다. 좋은 모델 없이 좋은 에이전트를 만들 수 없다. 둘째, 데이터 파이프라인이 전체 작업의 70퍼센트다. 모델 호출은 30퍼센트에 불과하다. 배관이 엉망이면 수도꼭지가 아무리 좋아도 물이 안 나온다. 셋째, 에이전트는 아직 불안정하다. 같은 입력에 다른 결과를 낼 때가 있다. 프로덕션 품질을 달성하려면 많은 가드레일이 필요하다.
솔직히 말하면, 가장 많은 시간을 쓴 것은 모델 선택이 아니라 데이터 정제였다. 화려한 기술보다 지루한 배관 공사가 시스템의 품질을 결정했다.
잠시 멈추고 생각해보자 당신의 회사에서 AI 에이전트를 도입한다면, 가장 먼저 자동화하고 싶은 업무는 무엇인가? 그 업무를 에이전트로 만들려면 어떤 데이터와 도구가 필요한가?
9.7 이 층의 경쟁과 기회
MLOps와 Agentic 미들웨어 시장은 아직 초기다. 승자가 정해지지 않았다. 이것이 기회이기도 하다.
경쟁의 층위. 프레임워크 수준(LangChain vs CrewAI vs AutoGen), 인프라 수준(벡터 DB, 서빙 도구), 프로토콜 수준(MCP vs 독자 방식).
한국의 기회. 이 층은 대규모 자본이 필요하지 않다. Foundation Model을 만들려면 수억 달러가 필요하지만, 에이전트 미들웨어를 만들려면 우수한 엔지니어 몇 명이면 된다. 한국 개발자들이 이 영역에서 글로벌 프로젝트에 기여할 수 있다.
투자의 시각. 이 층의 회사들은 아직 매출이 작다. 그러나 AI 에이전트 시장이 폭발하면 이 층이 가장 먼저 성장한다. 파이프와 배관을 깔아야 물이 흐르니까.
핵심 정리
MLOps와 Agentic 미들웨어는 Foundation Model과 응용 사이의 연결 계층이다. 모델만으로는 서비스가 되지 않는다. 이 층이 모델을 서비스로 변환한다.
RAG(검색 증강 생성)가 기업 AI의 핵심 기술이다. 벡터 DB에 문서를 저장하고, 질문에 맞는 문서를 검색해 모델에 전달한다.
LangChain/LangGraph, CrewAI, AutoGen 같은 에이전트 프레임워크가 LLM을 자율적 에이전트로 만든다.
MCP(Model Context Protocol)가 AI와 외부 시스템의 연결을 표준화하려 한다. 아직 초기지만 방향은 분명하다.
이 층은 대규모 자본 없이도 참여 가능하다. 한국 개발자와 스타트업에게 기회의 영역이다.
반드시 답해봐야 할 질문 5가지
질문 1. MCP가 진정한 업계 표준이 될 것인가? OpenAI와 Google이 수용하지 않으면 어떻게 되는가?
질문 2. 에이전트 프레임워크 시장에서 승자는 누구일 것인가? LangChain이 계속 선두를 유지할 수 있는가?
질문 3. RAG의 한계는 무엇인가? RAG만으로 해결할 수 없는 문제는 어디서부터인가?
질문 4. 기업이 AI 에이전트를 도입할 때 가장 큰 장벽은 기술인가, 데이터인가, 조직 문화인가?
질문 5. 한국에서 MLOps/에이전트 분야의 글로벌 스타트업이 나올 수 있는가? 그러려면 무엇이 필요한가?
더 깊이 탐구하기
LangChain/LangGraph 공식 문서 및 예제. 에이전트 프레임워크의 구현 방식.
Anthropic MCP 공식 스펙 문서. Model Context Protocol의 설계 철학과 기술적 세부 사항.
Pinecone, Weaviate 기술 블로그. 벡터 데이터베이스의 아키텍처와 최적화.
a16z, 「Emerging Architectures for LLM Applications」. AI 애플리케이션 아키텍처의 최신 패턴.
MLflow, vLLM 공식 문서. MLOps와 추론 서빙의 실무적 접근.
다음 장에서는 디지털 AI 가치사슬의 최상위 층으로 간다. 응용 SaaS와 Enterprise Agent. ChatGPT, Claude, Perplexity부터 Microsoft Copilot, Salesforce Agentforce까지. 사용자에게 직접 닿는 서비스의 세계. 돈이 실제로 벌리는 곳이다.