승자가 패자의 기술을 불러들였다

기호주의에서 신경망으로. 그리고 다시 둘의 역할 분담으로. 인공지능 70년이 지나온 길이다.

1. 1956년, 지능을 바라보는 두 개의 시선

1956년 미국 다트머스대학에 과학자들이 모였다. 인간처럼 생각하는 기계를 만들 수 있을까. 인공지능이라는 이름을 내건 연구가 이곳에서 출발했다.

그러나 지능이 무엇인지에 대해서는 생각이 달랐다.

한쪽은 지능을 규칙에 따라 추론하는 능력으로 보았다. 세상을 기호로 표현한다. 사실과 규칙을 연결하면 답을 얻는다고 믿었다. 기호주의(Symbolic AI)다.

다른 쪽은 뇌의 작동 방식에 주목했다. 수많은 신경세포가 연결되고, 경험에 따라 연결의 강도가 달라진다. 지능도 이런 학습에서 나온다고 보았다. 연결주의(Connectionism)다.

한쪽은 규칙을 만들었다. 다른 쪽은 규칙을 배우게 했다.

두 접근은 서로 경쟁하며 발전했다. 1969년 마빈 민스키와 시모어 페퍼트는 단층 퍼셉트론의 수학적 한계를 분석했다. 신경망 연구는 한동안 힘을 잃었다. 다만 이것이 연결주의 쇠퇴의 유일한 원인은 아니었다.

1980년대에는 기호주의가 전성기를 맞았다. 전문가 시스템이 의사의 진단과 기업의 의사결정을 돕기 시작했다. 그러나 문제가 생겼다. 규칙을 사람이 만들어야 했다. 환경이 바뀌면 다시 고쳐야 했다. 규칙이 늘수록 충돌도 늘었다.

지식은 쌓였지만 유지하기가 어려웠다.

2012년 전환점이 찾아왔다. 제프리 힌턴과 두 제자가 AlexNet을 내놓았다. 알렉스 크리제프스키와 일리야 수츠케버다. 이 신경망이 이미지 인식 대회에서 압도적인 성과를 거뒀다.

신경망은 다른 길을 입증했다. 사람이 규칙을 일일이 정의하지 않아도 데이터에서 패턴을 배운다. 이후 컴퓨팅 자원과 자본은 딥러닝으로 집중됐다.

승부가 끝난 듯했다.

하지만 역사는 다른 방향으로 움직였다. 신경망이 놀라운 능력을 얻었다. 그럴수록 신경망만으로 풀기 어려운 문제도 분명해졌다.

답을 만드는 능력과 그 답이 옳다는 사실은 서로 다른 문제였다.

2. 2024년, 딥마인드가 증명을 검증에 맡겼다

2024년 7월 구글 딥마인드가 흥미로운 결과를 발표했다.

AlphaProof와 AlphaGeometry 2가 국제수학올림피아드(IMO)에 나섰다. 여섯 문제 가운데 네 문제를 풀었다. 42점 만점에 28점. 은메달에 해당하는 성적이었다.^[1]

주목할 것은 점수보다 구조다.

AlphaProof는 신경망과 강화학습을 이용해 증명의 후보와 단계를 탐색한다. Lean이라는 형식 체계가 증명의 논리적 정합성을 확인한다.

AlphaGeometry 2도 신경망과 기호 연역 엔진을 결합했다. 신경망이 유망한 보조선이나 구성을 제안한다. 기호 엔진이 논리적으로 증명을 전개한다.

두 시스템의 구현 방식은 다르다. 그러나 공통점은 분명하다.

신경망은 가능성을 탐색하고, 기호 체계는 논리적 타당성을 보장한다.

2025년 공개된 AlphaGeometry 2 논문은 범위를 넓혀 보고했다. 2000년부터 2024년까지의 기하 문제 가운데 84%를 풀었다.^[2] 순수 신경망만으로 얻은 성과가 아니었다.

같은 원리는 상용 AI에서도 나타난다.

언어 모델에 계산기를 연결한다. 복잡한 계산은 계산기가 맡는다. 코드를 실행한다. 정렬과 통계 처리는 프로그램이 맡는다. 데이터베이스를 조회한다. 기업의 최신 정보는 외부 시스템에서 가져온다.

언어 모델이 모든 것을 기억하고 계산할 필요가 없어진다.

프랑수아 쇼레는 이 결합도 뉴로심볼릭으로 본다. 언어 모델과 코드 실행기를 묶은 것이다. 게리 마커스 역시 2025년 이 흐름을 근거로 신경망과 기호적 도구의 결합을 강조했다.^[3]

물론 도구를 사용하는 모든 AI가 엄밀한 의미의 뉴로심볼릭인 것은 아니다. 계산기를 호출하는 것과 논리 체계를 함께 학습하는 것은 기술적으로 다르다.

그러나 방향은 같다.

한 가지 방식으로 모든 문제를 해결하려는 시도에서 벗어난 것이다.

2024년에 기호주의와 연결주의의 대립이 끝난 것은 아니다. 오히려 두 접근이 어떤 역할을 나눠야 하는지 분명해지기 시작했다.

지능을 하나의 모델 안에 모두 넣을 이유가 없어진 것이다.

3. 새로운 것은 결합이 아니라 검증의 역할이다

그렇다면 질문이 생긴다.

1980년대에도 신경망과 규칙을 결합하려 했다. 지금의 결합은 무엇이 다른가.

중요한 차이는 기술 자체보다 기호 체계가 맡는 역할에 있다.

과거의 전문가 시스템은 규칙이 답을 만들었다. 사람이 지식을 정리하고 규칙을 입력했다. 시스템은 정해진 규칙을 따라 결론을 내렸다.

규칙에 없는 상황에는 취약했다. 새로운 상황이 생길 때마다 사람이 개입해야 했다.

오늘날 생성형 AI는 그 순서를 바꿀 수 있다.

먼저 언어 모델이 답을 만든다. 기호 체계는 그 답이 제약조건을 만족하는지 확인한다. 틀린 답이면 거부하거나 수정을 요구한다.

생성과 검증을 분리하는 것이다.

수학에서는 Lean이 이런 역할을 맡는다. 증명 후보가 주어지면 각 단계가 형식적으로 성립하는지 검사한다. 다만 Lean을 이용하는 자동 증명 시스템 전체가 단순한 검사기인 것은 아니다. 증명을 탐색하고 구성하는 기능도 함께 사용한다.

기업에서는 온톨로지와 규칙 엔진이 비슷한 역할을 맡을 수 있다.

예를 들어 대출 심사 에이전트가 고객의 자료를 분석해 승인 의견을 작성했다고 하자.

언어 모델은 소득과 담보, 상환능력을 설명할 수 있다. 그러나 한도와 권한은 다르다. 필수 서류와 법규 위반 여부도 그렇다. 이런 항목은 별도의 규칙과 데이터로 검증하는 편이 안전하다.

온톨로지는 고객, 계약, 담보, 금융상품의 의미와 관계를 정의한다. 규칙 엔진은 그 관계에 적용되는 제약을 확인한다. 언어 모델은 분석하고 설명한다.

역할이 다르다.

여기서 중요한 변화가 나타난다.

과거에는 규칙을 충분히 만들지 못하면 시스템이 답을 내기 어려웠다. 이제는 생성형 모델이 답을 제안하고, 명확하게 정의된 규칙부터 적용할 수 있다.

그렇다고 검증 규칙이 불완전해도 안전하다는 뜻은 아니다. 정의되지 않은 제약은 검사할 수 없다. 중요한 규칙이 빠져 있다면 잘못된 답도 통과한다.

따라서 위험이 높은 업무에서는 검증 범위를 먼저 명확히 해야 한다.

비용도 따져야 한다. 기호 엔진을 추가하면 설계와 운영이 복잡해진다. 온톨로지의 변경 관리에도 인력이 든다. 모든 업무에 같은 수준의 검증이 필요한 것은 아니다.

결론은 단순하다.

뉴로심볼릭의 가치는 기술을 결합했다는 사실이 아니다. 검증할 수 있는 영역을 얼마나 넓혔는가에 있다.

JK's Take

검증을 붙이는 일은 기술 결정처럼 보이지만 사실은 범위 결정이다.

기업이 뉴로심볼릭을 물을 때 대개 어떤 엔진을 쓰느냐를 묻는다. 그러나 먼저 정할 것은 무엇을 검사할 것인가다.

정의되지 않은 제약은 검사되지 않는다. 중요한 규칙이 빠져 있으면 틀린 답도 통과한다.

그래서 검증은 전부 아니면 전무가 아니다. 위험이 높은 자리부터 좁게 시작하는 편이 낫다.

비용도 따져야 한다. 기호 엔진을 붙이면 설계와 운영이 복잡해진다. 모든 업무에 같은 수준의 검증이 필요하지도 않다.

경영진이 물을 것은 어떤 모델을 쓰느냐가 아니다. 틀린 답이 나왔을 때 그것을 걸러낼 자리가 있느냐다.

What to Watch

— 형식 검증이 수학을 넘어 기업 업무로 넘어오는지 본다. 회계 처리나 금융 한도처럼 제약이 명확한 자리부터 들어온다면, 생성과 검증의 분리가 실무로 내려온 것이다.^[1]

— 검증 범위를 문서로 정해 두었는지 본다. 정의되지 않은 제약은 검사되지 않는다. 범위 문서가 없으면 장치를 붙여도 통과율만 올라간다.

— 기호 엔진을 붙인 뒤의 운영 인력을 센다. 온톨로지 변경 관리에 드는 사람이 늘지 않았다면 그 검증은 아직 돌지 않는 것이다.

References

[1] (A) Google DeepMind, AI achieves silver-medal standard solving International Mathematical Olympiad problems, 2024-07-25.
https://deepmind.google/blog/ai-solves-imo-problems-at-silver-medal-level/

2024년 IMO에서 AlphaProof와 AlphaGeometry 2가 28점을 기록한 공식 발표. 신경망, 강화학습, 형식 검증, 기호 연역의 역할을 설명한다. 당시 발표한 AlphaGeometry 2의 과거 기하 문제 해결률은 83%다.

[2] (A) Chervonyi et al., Gold-medalist Performance in Solving Olympiad Geometry with AlphaGeometry2, arXiv, 2025-02.
https://arxiv.org/abs/2502.03544

AlphaGeometry 2의 개선된 시스템과 평가 결과. 2000~2024년 IMO 기하 문제에서 84%의 해결률을 보고한다.

[3] (C) Gary Marcus, How o3 and Grok 4 Accidentally Vindicated Neurosymbolic AI, 2025-07.
https://garymarcus.substack.com/p/how-o3-and-grok-4-accidentally-vindicated

LLM과 도구의 결합을 뉴로심볼릭 발전으로 해석한 개인 논평. 프랑수아 쇼레의 견해를 인용한다. 기술적 분류에 관해서는 저자의 해석이므로 구분해서 사용했다.

[4] (A) 김정기, 『에이전트 시대 Vol.4 구축』 제19장 「Composite AI Framework 전체 구조」. /insights/book/4

이 글의 정본. 여러 기법을 한 구조로 묶는 복합 접근을 다룬다. 이 글은 그 가운데 검증의 역할만 따로 떼어 2024년 이후의 사례로 다시 읽은 것이다.

출처 분류: (A) 공식 발표·학술 연구, (B) 주요 언론·당사자 직접 자료·검증 중인 학술 연구, (C) 개인 해석 및 논평. 출처의 성격과 별개로 각 주장에 필요한 검증 수준은 다를 수 있다.