키워드·의미 검색과 질의 확장, 두 연구가 보여준 AI 검색 설계의 조건.

핵심 수치
평가 항목결과출처
금융 문서 연구의 평가 질의23,088건[1]
의미 검색만 사용했을 때 상위 5개 기준 검색 성능58.7%[1]
키워드 검색(BM25)만 사용했을 때64.4%[1]
키워드와 의미 검색을 결합했을 때69.5%[1]
검색 결합에 재순위까지 적용했을 때81.6%[1]
기업 RAG 기존 검색의 상위 10개 정답 문서 포함률약 51%[2]
일부 질의 확장 결합 구성의 정답 문서 포함률약 48%[2]
질의 재작성에 걸린 평균 시간0.89초[2]

앞 연구의 Recall@5와 뒤 연구의 Hit@10은 동일한 지표가 아니다. 수치를 직접 비교해 어느 시스템이 더 우수하다고 판단할 수 없다.

1. AI가 문서를 찾는 두 가지 방법

기업이 AI에게 질문을 던지면 AI가 곧바로 답을 만드는 것은 아니다.

기업용 RAG 시스템은 먼저 관련 문서를 찾는다. 그 문서를 언어 모델에 전달한다. 그다음에 답변을 만든다. RAG는 검색 증강 생성(Retrieval-Augmented Generation)이다.

여기서 문서를 찾는 대표적인 방법은 두 가지다.

첫째는 키워드 검색이다. 질문에 등장하는 단어와 문서의 단어를 비교한다. BM25는 키워드 검색에 널리 쓰이는 순위 계산 방식이다. 단어가 문서에 얼마나 자주 등장하는지 본다. 전체 문서에서는 얼마나 드문지도 본다. 그 둘로 순위를 매긴다.

둘째는 의미 검색이다. 질문과 문서를 벡터로 바꾼다. 그다음 의미가 얼마나 가까운지 비교한다. 표현이 달라도 같은 뜻의 문서를 찾아낼 수 있다.

두 방식은 서로 다른 강점이 있다. 사용자가 "2025년 3분기 매출채권 회전율"을 묻는다고 하자. 키워드 검색은 정확한 회계 용어와 기간을 찾는 데 유리하다. 의미 검색은 표현이 다른 질문에도 쓸 수 있다. "외상매출금을 얼마나 빨리 회수했는가"처럼 물어도 관련 설명을 찾는다.

그래서 많은 기업은 두 검색 방식을 함께 쓴다. 이것을 흔히 하이브리드 검색이라고 부른다.

문제는 둘을 합치면 언제나 더 좋아지는가다.

2. 검색을 합쳤더니 성능이 81.6%까지 올라갔다

2026년 4월 발표된 연구가 검색 방식 10종을 비교했다. 금융 문서 7,318개와 질의 23,088건을 썼다[1].

의미 검색만 사용했을 때 상위 5개 검색 성능은 58.7%였다. 키워드 검색만 사용했을 때는 64.4%였다. 두 방식을 결합하자 69.5%로 올라갔다. 여기에 재순위를 적용하자 81.6%에 도달했다.

재순위는 검색기가 가져온 후보를 다시 평가하는 과정이다. 질문과 더 가까운 문서를 위로 올린다.

중요한 것은 둘의 효과를 분리해서 읽는 일이다. 58.7%에서 69.5%까지는 서로 다른 검색 신호를 결합한 결과다. 81.6%는 그 위에 재순위까지 얹은 결과다.

금융 문서에서 키워드 검색이 의미 검색을 앞섰다는 점도 눈여겨볼 만하다. 금융 문서에는 계정과목, 기업명, 숫자, 날짜처럼 정확한 표현이 중요한 정보가 많다. 의미가 비슷하다는 이유로 다른 항목을 가져오면 정답이 되지 않는다.

의미 검색이 최신 기술이라는 이유만으로 키워드 검색을 대체할 수 있다고 봐서는 안 된다.

3. 그런데 검색을 더했더니 오히려 나빠졌다

2026년 3월 Dell Technologies 연구진은 다른 결과를 냈다[2].

연구진은 기업 지식베이스에서 RAG Fusion을 평가했다. 질문을 여러 형태로 바꿔 검색하는 방식이다. 기존 시스템은 이미 키워드와 의미 검색을 결합하고 있었다. 재순위까지 적용한 상태였다.

여기에 새로운 절차를 더했다. 원래 질문으로 검색한다. LLM이 질문을 다른 표현으로 바꾼다. 바꾼 질문으로 다시 검색한다. 두 결과를 합친 뒤 순위를 정한다. LLM은 대규모 언어 모델(Large Language Model)이다.

평가는 지원 질의 115건으로 했다. 기업 지식베이스 문서에서 만든 질의다. 일부 결합 구성에서 상위 10개에 정답 문서가 드는 비율이 약 51%에서 48%로 낮아졌다.

상위 3개에서는 소폭 개선된 구성도 있었다. 다만 통계적으로 유의한 개선은 아니었다.

질의를 바꾸는 데는 평균 0.89초가 걸렸다. 검색과 후보 처리에도 비용이 더 들었다.

여기서 한 가지를 분명히 해야 한다. 이 연구가 직접 잰 것은 답변 정확도가 아니다. 최종 검색 결과에 정답 문서가 드는 비율이다.

그러니 "AI 답변 정확도가 51%에서 48%로 떨어졌다"는 말은 부정확하다. 그래도 하나는 보여준다. 검색을 더해도 최종 검색 품질이 좋아지지는 않는다는 것이다.

4. 두 연구의 차이는 무엇인가

두 연구의 결과를 단순히 성공과 실패로 나누면 중요한 차이를 놓친다.

첫 번째 연구는 서로 다른 검색 방법을 결합했다. 키워드 검색은 정확한 단어를 찾는다. 의미 검색은 표현이 달라도 비슷한 뜻을 찾는다. 두 검색기는 서로 다른 이유로 정답을 놓친다.

두 번째 연구는 같은 검색 시스템을 반복해서 썼다. 질문만 바꿔 다시 넣었다. 질문을 바꾸면 새 문서를 찾을 수 있다. 그러나 기존 검색과 비슷한 문서가 다시 돌아올 수도 있다.

경로가 늘어났다는 사실만으로는 모른다. 새로운 근거가 늘었는지는 따로 봐야 한다.

여기서 중요한 개념이 상호보완성이다. 두 검색 방법이 서로 다른 정답을 찾아내는 정도다.

100개의 질문을 두 검색기에 각각 넣었다고 하자. 키워드 검색이 놓친 정답을 의미 검색이 찾는다면 결합할 값이 있다. 반대로 두 검색기가 같은 질문에서 계속 실패하면 어떤가. 둘을 합쳐도 얻을 것이 별로 없다.

이것은 두 연구를 맞대어 얻은 설계 해석이다. 두 논문이 상호보완성 하나로 모든 차이를 설명한 것은 아니다.

5. 검색한 문서가 모두 AI에게 전달되는 것은 아니다

기업용 AI에는 현실적인 제약이 있다. 검색기는 수십 개의 문서를 찾을 수 있다. 그러나 언어 모델에 전달하는 문서의 개수와 토큰 수는 제한돼 있다.

이를 맥락 예산(Context Budget)이라고 부를 수 있다.

검색 결과 중 최종적으로 열 개의 문서만 AI에게 전달한다고 하자. 기존 검색에서 중요한 문서 여덟 개를 찾았다. 새로운 검색 경로를 추가해 후보 문서가 더 늘어났다.

재순위가 잘 작동하면 더 좋은 열 개를 고를 수 있다. 반대로 관련 없는 문서가 위로 올라가면 어떻게 되는가. 원래 들어가야 할 중요한 문서가 밀려난다.

검색 단계에서 정답을 찾았더라도 최종 맥락에서는 사라질 수 있다.

2026년 발표된 Recall Is Not Enough 연구가 이 문제를 직접 다뤘다[5]. 검색 후보에 정답이 있는지만 보지 않았다. 제한된 맥락 예산 안에 정답 근거가 남았는지를 쟀다.

이 차이는 기업용 RAG를 판단할 때 중요하다. 검색기가 찾아낸 정보와 AI가 실제로 읽은 정보는 같지 않다.

6. 문서를 많이 찾으면 답변도 좋아질까

검색 성능과 답변 품질은 서로 관련돼 있지만 같은 것은 아니다.

RAG 시스템에는 적어도 세 단계가 있다.

첫째, 검색이다. 필요한 근거 문서를 찾아내는 단계다.

둘째, 맥락 구성이다. 검색된 후보 중 어떤 문서를 언어 모델에 전달할지 결정하는 단계다.

셋째, 답변 생성이다. 언어 모델이 전달받은 근거를 이용해 답을 만드는 단계다.

각 단계에서 서로 다른 문제가 생긴다. 검색에서는 정답을 놓친다. 맥락 구성에서는 찾은 정답이 빠진다. 답변 생성에서는 올바른 근거를 잘못 읽는다.

그러니 검색 성능이 좋아졌다고 답변 품질까지 좋아졌다고 볼 수 없다.

통신 규격 문서로 벡터·그래프·결합 검색을 비교한 연구도 있다. 평가 지표에 따라 강점이 갈렸다[4]. 검색 방식의 우열을 지표 하나로 판단하기 어려운 이유다.

7. 기업이 결정해야 할 세 가지

기술을 도입하는 기업의 관점에서 문제를 다시 보자.

첫 번째 결정은 검색 경로의 상호보완성이다. 키워드 검색과 의미 검색을 따로 돌려 본다. 서로 다른 정답을 찾아내는지 확인한다. GraphRAG를 더한다면 무엇을 보는가. 문서 검색만으로 찾기 어려운 관계 정보를 실제로 주는지 본다. GraphRAG는 문서에서 개체와 관계를 뽑아 그물망으로 검색하는 방식이다.

두 번째 결정은 맥락 예산이다. 검색 후보를 몇 개 가져올 것인가. 그중 몇 개를 재순위할 것인가. 끝으로 몇 개의 문서와 얼마의 토큰을 모델에 넘길 것인가. 이 세 예산은 따로 설계해야 한다.

세 번째 결정은 고를 것인가 합칠 것인가다. 질문의 성격에 따라 키워드나 의미 검색 하나를 고를 수 있다. 또는 여러 경로를 돌린 뒤 결과를 합칠 수 있다.

RAG와 GraphRAG를 비교한 연구가 있다. 선택과 통합 전략이 단일 경로보다 유리할 수 있다고 본다[3]. 다만 어느 방식이 늘 우수한 것은 아니다.

경로 선택은 비용을 줄인다. 그러나 잘못 고르면 정답을 놓친다. 결과 결합은 후보를 더 확보한다. 그러나 처리 시간과 비용이 늘어난다. 기업은 정확도뿐 아니라 실패 위험과 운영 비용을 함께 봐야 한다.

8. 한국어 기업 문서에서는 무엇을 확인해야 하나

영어권 금융 문서에서 키워드 검색이 앞섰다. 그 결과를 한국어에 그대로 쓸 수는 없다.

한국어는 조사와 어미가 결합한다. 검색 엔진이 문장을 어떻게 나누는지가 영향을 준다. 복합명사를 어떻게 처리하는지에 따라서도 결과가 갈린다.

기업 문서에는 일반 사전에 없는 말이 많다. 제품코드, 계정과목, 계약번호, 전문용어가 그렇다.

그래서 한국어 기업 문서를 다룬다면 자사 문서로 따로 재야 한다.

질문 유형을 셋으로 나눌 수 있다. 정확한 명칭과 숫자를 찾는 질문. 개념과 의미를 찾는 질문. 여러 문서의 관계를 연결해야 하는 질문.

이렇게 나누고 세 검색의 성능을 각각 비교한다. 키워드·의미·그래프 검색이다. 그다음 서로 다른 정답을 찾아내는 경로만 결합할지 판단한다.

9. 무엇부터 시작해야 하나

기업이 AI 검색 시스템을 개선하려면 먼저 평가 기준을 만들어야 한다.

대표적인 업무 질문을 수집하고, 각 질문에 필요한 정답 근거를 정의한다.

그다음 검색 경로를 하나씩 평가한다. 경로별로 무엇을 찾고 무엇을 놓치는지 비교한다.

이후 같은 검색·재순위·맥락 예산 아래에서 결합 방식을 평가한다.

마지막으로 답변을 함께 잰다. 정확도와 근거 충실성, 응답 시간, 비용이다.

이 과정에서 가장 중요한 질문은 하나다. 같은 비용으로 더 정확한 답을 만들 수 있는가. 또는 같은 정확도를 더 적은 비용으로 얻을 수 있는가.

이 질문에 답할 수 있어야 검색 기술의 개선이 기업의 성과로 이어진다.

JK's Take

경로를 하나 더 붙이기 전에 물을 것은 둘이다. 무엇을 더 찾는가. 그리고 무엇이 최종 맥락에서 밀려나는가.

기능을 더하는 결정은 쉽다. 빼는 것이 없어 보이기 때문이다.

그러나 맥락 예산이 고정된 시스템에서는 다르다. 더하기가 언제나 선택의 문제를 만든다. 새 경로가 가져온 문서는 기존 문서와 자리를 다툰다. 검색 지표가 올라도 중요한 근거가 최종 맥락에서 사라질 수 있다.

기업의 관점에서 검색 결합은 기술 선택이 아니다. 제한된 정보 처리 자원을 어디에 배분할지 정하는 일이다.

경로를 늘리는 비용만 보면 안 된다 — 그 경로 때문에 밀려난 근거의 값까지 봐야 한다.

좋은 AI 검색 시스템은 가장 많은 문서를 찾는 시스템이 아니다. 필요한 근거를 최종 판단까지 살아남게 하는 시스템이다.

What to Watch

— 최종 맥락 평가를 보라. 정답 근거가 최종 맥락에 남았는지를 재는 지표가 퍼지는지가 관건이다. 후보에 있는지만 보던 관행이 바뀐다는 신호다.

— 적응형 검색 경로를 지켜보라. 질문에 따라 경로를 고르거나 합치는 방식이다. 실제 운영에서 비용 대비 효과를 입증하는지 보면 된다.

— 한국어 검색 벤치마크를 기다려야 한다. 한국어 전문용어와 형태소 분석이 검색 성능에 미치는 영향을 같은 조건으로 평가한 공개 연구가 아직 없다.

— 검색과 답변의 분리 평가가 자리를 잡는지 보라. 검색 성능과 최종 근거의 품질, 답변 정확도를 각각 재는 체계다. 그것을 전체 비용과 연결하는 데까지 가면 기준이 생긴다.

References

[1] Akarsu, M., Karaman, R. K., Mierbach, C., "From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents", arXiv, 2026. https://arxiv.org/abs/2604.01733 — 금융 문서 7,318개와 질의 23,088건으로 검색 방식 10종을 비교했다. 본문의 58.7%·64.4%·69.5%·81.6%가 이 연구의 Recall@5다.

[2] Medrano, L., Verma, A., Chhabra, M., "Scaling Retrieval Augmented Generation with RAG Fusion: Lessons from an Industry Deployment", arXiv, 2026. https://arxiv.org/abs/2603.02153 — 기업 지식베이스에 질의 확장을 더한 결과를 보고했다. 본문의 51%·48%는 Hit@10이고, 답변 정확도가 아니다.

[3] Han, H. et al., "RAG vs. GraphRAG: A Systematic Evaluation and Key Insights", arXiv, 2025(2026 개정). https://arxiv.org/abs/2502.11371 — 문서 검색과 그래프 검색을 비교하고, 선택·통합 전략이 단일 경로보다 유리할 수 있음을 보였다.

[4] Ahmad, S. et al., "Benchmarking Vector, Graph and Hybrid Retrieval Augmented Generation (RAG) Pipelines for Open Radio Access Networks (ORAN)", arXiv, 2025. https://arxiv.org/abs/2507.03608 — 통신 규격 문서에서 벡터·그래프·결합 검색을 비교했다. 평가 지표에 따라 강점이 갈렸다.

[5] Bala, A. N., "Recall Is Not Enough: A Reader-Context Diagnostic for Budget-Constrained Retrieval-Augmented Generation", arXiv, 2026. https://arxiv.org/abs/2607.00725 — 검색 후보에 정답이 있는지가 아니라, 제한된 맥락 예산 안에 정답 근거가 남았는지를 평가했다.