AI는 문서를 잘 찾아도 왜 틀린 답을 할까?

문서 분할부터 근거 검증까지, 기업용 AI 검색의 네 가지 실패 지점.

서로 다른 논문의 지표를 합산할 수 없다. 성능 순위로 직접 비교할 수도 없다.

1. AI가 잘못 답하는 문제는 어디서 시작되는가

기업용 AI를 구축할 때 먼저 검토하는 기술이 있다. 임베딩 모델이다. 임베딩은 질문과 문서를 숫자로 표현하는 기술이다. 그렇게 해서 의미가 가까운 정보를 찾는다.

모델의 성능이 좋을수록 검색도 좋아질 것이라고 기대하기 쉽다.

하지만 AI 검색의 성능은 모델만으로 정해지지 않는다. 검색하기 전에 문서를 어떻게 나누었는지가 크게 작용한다.

2026년 3월 발표된 연구가 36개 분할 방식과 5개 임베딩 모델, 6개 분야를 비교했다^[1].

문단을 중심으로 묶는 방식은 평균 nDCG@5 0.459를 기록했다. 반면 문자 수를 기준으로 자르는 방식은 0.244 미만이었다.

nDCG@5는 검색 결과 상위 다섯 개의 관련성과 순서를 평가하는 지표다. 최종 답변의 정답률이 아니다.

이 결과는 검색 모델을 교체하기 전에 분할 방식을 검토할 이유를 준다.

그렇다고 문단 단위 분할이 모든 분야에서 최선이라는 뜻은 아니다. 그 연구에서도 분야에 따라 유리한 전략이 달랐다.

좋은 문서 분할은 정해진 글자 수를 따르는 일이 아니다. 질문에 필요한 의미 단위를 보존하는 일이다.

2. 문서를 자르면 무엇이 사라지는가

다음과 같은 문장이 있다고 하자.

"해당 조항은 다음 회계연도부터 적용한다."

이 문장만 보면 어떤 조항인지 알 수 없다. 어느 조직의 규정인지도 알 수 없다.

원래 문서에는 제목과 앞선 조항, 적용 대상이 함께 있었을 것이다. 하지만 검색을 위해 문장을 따로 잘라내면 그 정보가 사라진다.

검색 시스템은 이 조각이 어떤 질문에 관련되는지 판단하기 어려워진다.

2024년 Anthropic이 이 문제를 다루는 접근을 내놨다. Contextual Retrieval이라고 부른다^[2].

핵심은 각 문서 조각에 짧은 설명을 붙이는 것이다. 원래 문서의 맥락을 알려 주는 정보다.

앞의 문장 앞에 이런 설명을 붙일 수 있다.

"2026년 개정된 임직원 성과급 규정의 적용 시점에 관한 조항."

이제 검색 시스템은 원래 문장에 없던 것을 알 수 있다. 문서의 주제와 적용 범위다.

Anthropic의 자체 실험 결과다. 상위 20개 결과의 검색 실패율이 5.7%에서 3.7%로 낮아졌다. 맥락 정보를 반영한 키워드 검색까지 결합하면 2.9%였다. 재순위를 추가하면 1.9%가 됐다.

여기서 주의할 점이 있다. 이는 문서 앞에 임의의 문장 하나를 붙인 결과가 아니다. 원문 전체와 해당 조각을 참고해 검색에 필요한 설명을 만드는 방식이다.

또한 이 수치는 Anthropic의 자체 평가 조건에서 나왔다. 모든 기업 문서에서 같은 개선이 일어난다고 보장할 수 없다.

3. 문서의 순서를 다시 정하면 충분할까

검색 시스템은 보통 많은 후보 문서를 먼저 찾는다. 그다음 질문과의 관련성을 다시 평가한다. 이 과정을 재순위라고 부른다.

재순위는 중요한 문서를 결과의 앞쪽에 배치하는 데 도움이 된다. 하지만 어떤 재순위 모델을 쓰느냐에 따라 결과가 달라진다.

2026년 발표된 SciRet 연구가 과학 문서를 대상으로 비교했다. 키워드 검색과 벡터 검색, 결합 검색과 재순위를 함께 봤다^[3].

이 연구는 재순위 모델을 과학 문서에 적용했다. 일반 검색 데이터로 학습된 모델이다. 오히려 정밀도가 낮아졌다. 연구진은 학습 데이터와 적용 분야의 차이를 원인으로 봤다.

따라서 재순위를 추가하면 언제나 검색이 좋아진다는 가정은 위험하다.

금융, 법률, 제조, 의료처럼 전문용어와 판단 기준이 다른 분야가 있다. 그런 자리에서는 도메인 적합성을 따로 검증해야 한다.

재순위에는 처리 시간과 비용도 든다. 기업은 적용 전후의 정확도와 지연 시간, 비용을 함께 평가해야 한다.

재순위는 검색 결과를 자동으로 고쳐 주는 장치가 아니다. 따로 검증해야 할 또 하나의 판단 모델이다.

4. 한국어 검색은 다른 평가가 필요하다

영어 문서에서 좋은 검색 모델이 있다. 한국어 기업 문서에서도 가장 좋다고 보장할 수 없다.

한국어에는 조사와 어미가 결합한다. 복합명사와 전문용어도 자주 나온다.

기업 문서에는 정확한 일치가 중요한 정보도 많다. 회사명, 약칭, 제품코드, 계약번호가 그렇다.

고려대학교 연구진의 KURE 프로젝트가 한국어 검색에 특화된 모델 개발의 사례다^[4]. 이런 연구는 한국어 검색 성능을 따로 평가할 필요를 보여준다.

그러나 공개 벤치마크 점수가 높다고 끝이 아니다. 모든 한국 기업 문서에서 우수한 것은 아니다.

기업은 최소한 세 종류의 질문을 나누어 평가해야 한다.

정확한 명칭과 숫자를 찾는 질문. 같은 의미를 다른 표현으로 묻는 질문. 여러 문서의 정보를 연결해야 하는 질문.

각 유형에서 키워드 검색과 의미 검색의 성능을 비교한다. 필요하면 두 방식을 결합한다.

청크 크기도 영어권의 권장값을 그대로 쓰면 안 된다. 실제 한국어 문서와 토큰화 방식에 맞춰 정해야 한다.

5. 문서를 자르지 않는 방법은 없을까

문서 분할이 맥락 손실을 일으킨다. 그렇다면 아예 자르지 않는 방법도 생각할 수 있다.

언어 모델의 컨텍스트 윈도우가 충분히 크고 문서 집합이 작다면 가능하다. 전체 문서를 그대로 전달하면 된다.

하지만 기업 문서가 많아지면 처리 비용과 응답 시간이 늘어난다. 긴 문서 안에서 필요한 정보를 안정적으로 찾아 쓰는 문제도 남는다.

또 다른 접근은 Late Chunking이다^[5].

일반적인 분할은 문서를 먼저 나눈다. 그리고 각 조각을 따로 임베딩한다.

Late Chunking은 순서가 다르다. 긴 문서의 토큰들을 먼저 함께 인코딩한다. 그다음 토큰 표현을 청크별로 모아 임베딩을 만든다. 이렇게 하면 각 조각의 표현에 주변 문맥이 들어간다.

중요한 점이 있다. Late Chunking도 검색에 쓸 조각을 만든다. 문서를 전혀 나누지 않는 방식과는 다르다.

결국 선택은 자를 것인가 말 것인가가 아니다. 필요한 의미와 문맥을 유지하는 일이다. 그러면서 검색과 추론 비용을 관리하는 일이다.

6. 검색이 개선됐는데 답변은 왜 좋아지지 않았을까

여기서 이 글의 중심 문제가 나온다.

검색이 더 좋아졌다면 AI의 답변도 더 정확해져야 하지 않을까.

2026년 3월 발표된 연구가 AI 정책 문서 947건으로 이 질문을 검토했다^[6].

연구진은 검색 모델을 해당 분야에 맞게 추가 학습했다. 답변 생성 모델도 사람의 선호에 맞춰 조정했다.

검색 지표는 개선됐다. 하지만 최종 질의응답 성능이 일관되게 개선되지는 않았다. 일부 상황에서는 더 강한 검색이 확신에 찬 잘못된 답변으로 이어졌다.

특히 중요한 조건이 있었다. 문서 집합 안에 답이 존재하지 않는 경우다.

질문에 답이 없는데도 검색기는 관련성이 있어 보이는 문서를 돌려준다. 언어 모델은 그 문서를 근거로 삼아 답변을 만들어낸다.

관련 문서가 있다는 사실과 답할 충분한 근거가 있다는 사실은 다르다.

그러니 검색 시스템에는 두 가지가 필요하다. 정답을 찾는 능력과, 근거가 불충분하다고 판단하는 능력이다.

7. 찾은 근거가 최종 답변까지 도착하는가

검색 결과에 정답 문서가 들어 있다. 그래도 언어 모델이 그 문서를 반드시 읽지는 않는다.

검색기는 수십 개의 후보를 가져올 수 있다. 하지만 언어 모델에 전달할 수 있는 토큰 수는 제한돼 있다. 문서를 줄이거나 순서를 바꾸는 과정에서 중요한 근거가 빠진다.

2026년 발표된 Recall Is Not Enough 연구가 이 문제를 분석했다^[7].

연구진은 검색된 문서에 정답이 있는지만 평가하지 않았다. 최종적으로 구성된 맥락 안에 정답 근거가 남았는지를 쟀다.

기존 회수율로는 설명하기 어려운 차이가 있었다. 이 지표가 그것을 더 설명했다.

검색 시스템의 평가 대상을 바꿔야 한다는 뜻이다. 물음은 셋으로 갈린다.

검색기가 정답을 찾았는가. 그 정답이 최종 맥락에 남았는가. 언어 모델이 그 근거를 올바르게 썼는가.

검색 성공은 답변 성공의 필요조건일 수 있다. 그러나 충분조건은 아니다.

8. 근거를 표시하면 믿을 수 있을까

기업용 AI는 답변 옆에 참고 문서를 표시하는 경우가 많다. 사용자는 그 문서를 눌러 원문을 확인한다. 신뢰성을 높이는 중요한 기능이다.

하지만 인용이 붙었다고 답변 생성 과정이 검증된 것은 아니다.

2025년 발표된 연구가 인용의 정확성과 충실성을 갈랐다^[8].

정확성은 인용한 문서가 그 답변을 실제로 뒷받침하는지를 본다. 충실성은 모델이 답변을 만들 때 그 문서를 실제 근거로 썼는지를 본다.

둘은 다르다. 언어 모델이 이미 아는 내용으로 답을 만들 수 있다. 그다음 그 답과 맞는 문서를 인용할 수 있다. 이를 사후 합리화라고 부른다.

특정 실험 조건에서 인용의 최대 57%가 충실성 문제를 보였다. 연구진의 보고다. 모든 RAG 시스템에서 같은 비율이 나온다는 뜻은 아니다. 다만 정확성만으로는 충분하지 않다는 사실을 보여준다.

그래서 기업은 두 가지를 할 수 있다. 답변과 인용 문서의 내용이 맞는지 확인한다. 그리고 근거를 빼거나 바꿨을 때 답변이 어떻게 달라지는지 본다.

다만 이런 반사실적 실험에도 한계가 있다. 모델의 내부 추론을 완벽하게 증명하지는 못한다.

9. 기업용 AI는 네 가지 실패를 구분해야 한다

지금까지의 연구를 모으면 기업용 RAG에는 네 가지 실패 지점이 있다.

네 문제는 서로 연결돼 있지만 같지 않다.

검색 모델을 교체한다고 모든 문제가 풀리지 않는다. 문서 분할을 개선해도 남는 것이 있다. 답이 없는 질문에 잘못된 확신을 갖는 일이다. 인용 기능을 추가해도 충실성이 자동으로 보장되지 않는다.

그러니 기업은 단계별 평가와 최종 답변 평가를 함께 설계해야 한다.

10. 무엇부터 시작해야 하는가

기업이 AI 검색을 개선한다면 모델 교체보다 먼저 할 일이 있다. 평가용 질문 집합을 만드는 일이다.

이 질문 집합에는 두 종류가 반드시 들어가야 한다.

하나는 자사 문서에 답이 있는 질문이다. 다른 하나는 답이 없는 질문이다. 일부 근거만 있어 답을 확정할 수 없는 질문도 넣는다.

그다음 문서 분할 방식과 검색 모델을 비교한다. 검색된 근거가 최종 맥락까지 전달되는지 확인한다. 생성된 답변의 정확도와 근거 충실성을 평가한다. 마지막으로 응답 시간과 처리 비용을 함께 잰다.

이 순서를 거치면 무엇을 개선해야 하는지가 드러난다. 검색 자체가 문제인지, 맥락 구성의 문제인지, 답변 생성의 문제인지 갈린다.

기업용 AI의 성능은 가장 높은 검색 점수 하나로 판단할 수 없다. 봐야 할 것은 전체 과정이다. 근거가 얼마나 믿을 만하게 전달되고 쓰이는가다.

JK's Take

검색 시스템을 구축하는 조직은 대개 답이 있는 질문으로 성능을 평가한다. 시연에서는 이 방식이 잘 작동한다.

하지만 실제 운영에서는 문서에 답이 없는 질문도 들어온다. 그때 AI가 어떻게 행동하는지가 시스템의 신뢰성을 정한다.

관련 문서를 찾았다는 이유로 답을 만들어내는 시스템이 있다. 근거가 부족하다고 판단해 답변을 유보하는 시스템도 있다. 둘은 전혀 다르다.

기업용 AI의 완성도는 두 가지를 함께 봐야 한다. 필요한 정보를 찾아내는 능력과, 충분한 근거가 없을 때 답하지 않는 능력이다.

여기에 하나가 더 필요하다. AI가 인용한 문서가 실제로 그 판단을 뒷받침하는지 확인할 수 있어야 한다. 근거가 표시돼 있다는 사실과 근거가 실제로 쓰였다는 사실은 다르다.

결국 기업용 AI의 신뢰성은 더 많은 문서를 찾는 데서 완성되지 않는다. 무엇을 알고, 무엇을 모르며, 어떤 근거로 판단했는지를 구분할 수 있을 때 완성된다.

What to Watch

— 답변 불가능성 평가가 퍼지는지 보라. 정답이 없는 질문을 다루는 테스트가 기업용 RAG 평가에 들어오는지가 관건이다. 근거가 불충분한 경우도 함께다.

— 한국어 문서 검색을 검증해야 한다. 한국어 특화 검색 모델과 문서 구조를 반영한 분할 방식이 있다. 실제 기업 데이터에서 어떤 성과를 내는지 보면 된다.

— 최종 맥락의 근거 보존을 주목하라. 검색 결과의 수를 세는 것으로는 부족하다. 필요한 근거가 최종 맥락에 남았는지를 재는 방법이 중요해진다.

— 인용 충실성을 지켜보라. 인용 문서가 실제로 판단에 기여했는지 검증하는 기법이 있다. 그것이 운영 도구로 자라는지가 다음 질문이다.

References

[1] Shaukat, M. A., Adnan, M., Kuhn, C. C. N., "A Systematic Investigation of Document Chunking Strategies and Embedding Sensitivity", arXiv, 2026. https://arxiv.org/abs/2603.06976 — 36개 분할 방식과 5개 임베딩 모델, 6개 분야를 비교했다. 문단 중심 0.459 대 고정 문자 0.244 미만이 이 연구의 nDCG@5다.

[2] Anthropic, "Introducing Contextual Retrieval", 2024. https://www.anthropic.com/engineering/contextual-retrieval — 각 조각에 원문 맥락을 붙이는 방식이다. 실패율 5.7% → 3.7% → 2.9% → 1.9%는 Anthropic 자체 평가 조건의 값이다.

[3] Apurba, K. A. et al., "SciRet: A Compute-Aware Empirical Study of Retrieval and Reranking for Scientific RAG", arXiv, 2026. https://arxiv.org/abs/2608.03860 — 일반 검색 데이터로 학습한 재순위 모델을 과학 문서에 적용하자 정밀도가 낮아졌다.

[4] Korea University NLP & AI Lab, "KURE: Korean Universal Retrieval Embedding". https://github.com/nlpai-lab/KURE — 한국어 검색에 특화된 임베딩 모델 개발 사례다.

[5] Günther, M. et al., "Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models", arXiv, 2024(2025 개정). https://arxiv.org/abs/2409.04701 — 긴 문서를 먼저 함께 인코딩한 뒤 청크별로 표현을 모으는 방식이다.

[6] Mathur, S. et al., "Retrieval Improvements Do Not Guarantee Better Answers: A Study of RAG for AI Policy QA", arXiv, 2026. https://arxiv.org/abs/2603.24580 — AI 정책 문서 947건이 대상이다. 검색 지표가 올라도 최종 질의응답 성능이 일관되게 개선되지 않았다.

[7] Bala, A. N., "Recall Is Not Enough: A Reader-Context Diagnostic for Budget-Constrained Retrieval-Augmented Generation", arXiv, 2026. https://arxiv.org/abs/2607.00725 — 검색 후보에 정답이 있는지가 아니라 최종 맥락에 근거가 남았는지를 쟀다.

[8] Wallat, J. et al., "Correctness is not Faithfulness in RAG Attributions", arXiv, 2024. https://arxiv.org/abs/2412.18004 — 인용의 정확성과 충실성을 갈랐다. 특정 조건에서 최대 57%가 충실성 문제를 보였다.