제13장. World Model과 시뮬레이션
이 장을 다 읽고 나면 알게 될 것: World Model이 무엇이고 왜 Physical AI의 핵심인지, 시뮬레이션이 어떻게 로봇의 학습을 가능하게 하는지, 그리고 Sim-to-Real 간극이 왜 아직 해결되지 않았는지
도입: 아기는 어떻게 걷기를 배우는가
인간 아기가 걷기를 배우는 데 약 1년이 걸린다. 수천 번 넘어지고, 수만 번 균형을 잡으려 시도한다. 이 과정에서 아기의 뇌는 물리 세계의 모델을 형성한다. 중력이 있다. 바닥은 단단하다. 몸의 무게 중심이 발 위에 있어야 안 넘어진다.
이것이 World Model이다. 세계가 어떻게 작동하는지에 대한 내부 모델. 인간은 태어나면서부터 이것을 구축한다. 물리 법칙을 공식으로 배우기 한참 전에, 몸으로 체득한다.
로봇에게 이 World Model을 어떻게 줄 것인가. 실제 세계에서 수천 번 넘어뜨릴 것인가. 비용과 시간과 안전의 문제로 불가능하다. 그래서 시뮬레이션이 필요하다.
13.1 World Model이란 무엇인가
World Model은 "세계가 어떻게 작동하는가"에 대한 AI의 내부 표상이다.
얀 르쿤(Yann LeCun)의 주장. 메타 AI의 수석 과학자 얀 르쿤은 현재의 LLM이 진정한 지능에 도달할 수 없다고 주장한다. 왜냐하면 LLM은 세계 모델이 없기 때문이다. 텍스트 패턴만 학습했지, 물리 세계가 어떻게 작동하는지를 모른다. "돌을 던지면 떨어진다"를 텍스트로 읽었을 뿐, 중력을 경험한 것이 아니다.
르쿤은 JEPA(Joint Embedding Predictive Architecture)라는 아키텍처를 제안한다. 다음 토큰을 예측하는 대신, 세계의 다음 상태를 예측하는 모델이다. 영상을 보고 다음 프레임에서 무엇이 일어날지 예측한다. 이것이 세계 모델의 한 형태다.
World Model의 실용적 정의. 로봇 공학에서 World Model은 더 좁은 의미로 쓰인다. "내가 이 행동을 하면 세계가 어떻게 변하는가"를 예측하는 모델이다. 로봇 팔이 물체를 밀면 물체가 어디로 가는가. 로봇이 한 발을 떼면 무게 중심이 어디로 이동하는가.
이 예측 능력이 있으면 로봇은 행동하기 전에 시뮬레이션할 수 있다. 머릿속에서 "이렇게 하면 이렇게 되겠군"을 미리 그려본다. 인간이 매일 하는 것이다.
13.2 NVIDIA Omniverse — 디지털 트윈의 세계
NVIDIA Omniverse는 물리적으로 정확한 3D 시뮬레이션 플랫폼이다.
핵심 기술은 세 가지다.
물리 엔진(PhysX). 중력, 마찰, 충돌, 유체 역학을 시뮬레이션한다. 현실과 유사한 물리 법칙이 작동하는 가상 세계를 만든다.
레이트레이싱 렌더링. 빛의 반사, 굴절, 그림자를 현실처럼 표현한다. 카메라 센서 시뮬레이션에 필요하다. 로봇의 카메라가 보는 것과 시뮬레이터의 카메라가 보는 것이 같아야 한다.
USD(Universal Scene Description). 3D 장면을 표현하는 표준 포맷. 여러 도구에서 만든 3D 자산을 하나의 시뮬레이션에서 합칠 수 있다. Pixar가 개발한 것을 NVIDIA가 채택했다.
Omniverse 위에 Isaac Sim이 올라간다. 로봇 전용 시뮬레이터다. 로봇 모델을 가상 환경에 넣고, 걷기, 잡기, 운반하기를 학습시킨다. 수백만 번의 시행착오를 시뮬레이션에서 한다. 현실에서 1년 걸릴 학습을 시뮬레이터에서 몇 시간에 할 수 있다.
잠시 멈추고 생각해보자 시뮬레이션에서 학습한 로봇이 현실에서도 잘 작동한다면, 시뮬레이터를 만드는 회사가 로봇 산업의 진짜 권력자가 될 수 있다. NVIDIA가 Omniverse를 밀어붙이는 이유가 여기에 있지 않은가?
13.3 시뮬레이션 학습의 장점과 한계
시뮬레이션에서 로봇을 학습시키는 것의 장점은 명확하다.
속도. 현실에서 1초가 시뮬레이터에서는 0.001초다. 병렬 시뮬레이션을 돌리면 수천 개의 로봇이 동시에 학습한다.
안전. 시뮬레이터에서 로봇이 넘어져도 비용이 없다. 현실에서 넘어지면 로봇이 부서지고 사람이 다칠 수 있다.
다양성. 시뮬레이터에서는 환경을 무한히 바꿀 수 있다. 조명, 바닥 재질, 물체 크기, 장애물 위치. 현실에서 이렇게 다양한 환경을 만들려면 엄청난 비용이 든다.
재현성. 같은 시나리오를 정확히 반복할 수 있다. 디버깅이 가능하다.
한계도 있다.
현실과의 간극(Sim-to-Real Gap). 시뮬레이터는 현실을 완벽히 모사하지 못한다. 접촉 물리(물체를 잡을 때의 마찰, 미끄러짐), 변형 물체(천, 종이, 음식), 유체(물, 기름). 이런 것들의 시뮬레이션이 완벽하지 않다.
전이 실패. 시뮬레이터에서 완벽하게 작동하던 정책이 현실에서 실패하는 경우가 있다. 미세한 물리적 차이가 누적되어 다른 결과를 만든다.
13.4 Sim-to-Real — 간극을 줄이는 방법
Sim-to-Real 간극을 줄이는 방법이 여러 가지 연구되고 있다.
도메인 랜덤화(Domain Randomization). 시뮬레이터에서 환경 변수를 무작위로 바꾼다. 조명, 텍스처, 물리 파라미터를 계속 바꿔가며 학습시킨다. 그러면 현실의 어떤 환경이 와도 대응할 수 있다. "모든 가능한 환경에서 작동하도록 학습시키면, 현실도 그중 하나일 것이다"라는 논리다.
시스템 식별(System Identification). 현실의 물리 파라미터를 정밀하게 측정해 시뮬레이터에 입력한다. 마찰 계수, 질량, 관성 모멘트를 정확히 넣으면 시뮬레이션이 현실에 가까워진다.
Sim-to-Real 전이 학습. 시뮬레이터에서 대략 학습한 후, 현실에서 미세 조정한다. 시뮬레이터에서 90퍼센트를 배우고, 현실에서 나머지 10퍼센트를 배운다.
Genesis 같은 차세대 시뮬레이터. 2024년에 등장한 Genesis는 기존 시뮬레이터보다 훨씬 빠르고(GPU 가속) 물리 정확도가 높다. 시뮬레이션 속도가 빨라질수록 더 많은 시행착오를 할 수 있고, 간극이 줄어든다.
13.5 디지털 트윈 — 산업계의 시뮬레이션
디지털 트윈은 현실의 물리적 시스템을 가상으로 복제한 것이다. 공장 전체, 도시 교통망, 발전소를 디지털로 그대로 만든다.
산업 적용. BMW가 NVIDIA Omniverse로 공장의 디지털 트윈을 만들었다. 새 로봇 라인을 배치하기 전에 가상으로 시뮬레이션한다. 문제를 미리 발견하고 수정한다. 물리적 공장을 바꾸지 않고도 최적 설계를 찾을 수 있다.
자율주행 테스트. Waymo, Tesla는 가상 도로에서 수십억 마일을 시뮬레이션한다. 현실에서 테스트하기 위험하거나 드문 상황(갑자기 튀어나오는 아이, 눈보라)을 시뮬레이터에서 만들어 테스트한다.
에너지 시스템. 전력망의 디지털 트윈으로 재생에너지 변동에 대응하는 시뮬레이션을 한다.
디지털 트윈 시장은 2025년 약 500억 달러 규모로 추정된다. AI와 결합하면서 빠르게 성장하고 있다.
13.6 World Model의 현재와 미래
World Model 연구의 현재 수준을 솔직히 평가하자.
현재 할 수 있는 것. 단순한 물리 환경에서의 예측. 강체(딱딱한 물체)의 운동 예측. 짧은 시간 범위의 예측. 이 수준에서는 로봇이 물체를 밀거나, 걷거나, 단순한 조작을 할 수 있다.
아직 못 하는 것. 복잡한 물리 상호작용 예측(예: 천을 접는 것). 긴 시간 범위의 예측(예: 30초 후 상황). 다수 물체의 복합 상호작용. 인간의 의도 예측. 상식 물리 추론.
얀 르쿤의 비전이 실현되려면 아직 5~10년은 걸릴 것이다. 그러나 방향은 맞다. Physical AI가 진정한 자율성을 가지려면 World Model이 필수다. 단순한 패턴 매칭이 아니라, 세계가 어떻게 작동하는지를 이해하는 AI가 필요하다.
잠시 멈추고 생각해보자 인간은 세계 모델을 몸으로 체득한다. 로봇은 시뮬레이션으로 체득하려 한다. 이 두 방식은 본질적으로 같은가, 다른가? 시뮬레이션으로 학습한 로봇이 진정으로 "이해"한다고 말할 수 있는가?
13.7 투자 관점 — 시뮬레이션 산업
시뮬레이션은 Physical AI의 필수 인프라다. 투자 기회가 있는 영역을 보자.
시뮬레이터 플랫폼. NVIDIA Omniverse가 선도하지만, Unity(ML-Agents), Epic Games(Unreal), 그리고 스타트업들(Genesis, Habitat)도 있다.
3D 자산 생성. 시뮬레이션에는 3D 모델이 필요하다. AI로 3D 자산을 자동 생성하는 회사들이 뜨고 있다.
디지털 트윈 서비스. 공장, 도시, 인프라의 디지털 트윈을 만들어주는 서비스 회사.
합성 데이터 생성. 시뮬레이터에서 AI 학습 데이터를 만드는 회사. 자율주행의 코너 케이스 데이터, 로봇의 조작 데이터를 시뮬레이션으로 생성한다.
이 시장은 아직 초기다. 2025년 기준으로 수십억 달러 규모지만, 2030년에는 수백억 달러로 성장할 것으로 전망된다.
핵심 정리
World Model은 "세계가 어떻게 작동하는가"에 대한 AI의 내부 표상이다. 얀 르쿤은 이것이 진정한 AI에 필수적이라고 주장한다.
시뮬레이션이 Physical AI 학습의 핵심 방법이다. NVIDIA Isaac Sim/Omniverse가 선도한다. 속도, 안전, 다양성, 재현성이 장점이다.
Sim-to-Real Gap이 가장 큰 도전이다. 도메인 랜덤화, 시스템 식별, 전이 학습으로 줄이려 하지만 완전히 해결되지 않았다.
디지털 트윈이 산업 현장에 확산되고 있다. 공장, 교통, 에너지 분야에서 시뮬레이션 기반 최적화가 이루어진다.
시뮬레이션 산업은 Physical AI의 필수 인프라로 빠르게 성장 중이다. NVIDIA의 플랫폼 장악이 여기서도 진행되고 있다.
반드시 답해봐야 할 질문 5가지
질문 1. Sim-to-Real Gap이 완전히 해소될 수 있는가? 그 시점은 언제인가?
질문 2. NVIDIA가 시뮬레이션 플랫폼마저 독점하면, Physical AI 전체가 NVIDIA에 종속되는가?
질문 3. 얀 르쿤의 World Model 비전이 실현되면, 현재의 LLM 기반 AI는 어떻게 되는가?
질문 4. 한국에서 시뮬레이션/디지털 트윈 분야의 경쟁력을 키울 수 있는 영역은 어디인가?
질문 5. 합성 데이터로 학습한 AI의 신뢰성을 어떻게 검증할 수 있는가? 시뮬레이션에서 좋은 것이 현실에서도 좋다는 보장은?
더 깊이 탐구하기
Yann LeCun, 「A Path Towards Autonomous Machine Intelligence」 (2022). World Model 비전의 원본 논문.
NVIDIA Isaac Sim / Omniverse 문서. 시뮬레이션 플랫폼의 기술적 세부 사항.
Josh Tobin et al., 「Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World」 (2017). Sim-to-Real의 핵심 논문.
Genesis 시뮬레이터 논문 및 문서. 차세대 물리 시뮬레이터의 접근 방법.
McKinsey, 「Digital Twin: The Next Wave」. 디지털 트윈 시장의 규모와 산업별 적용 현황.
다음 장에서는 Physical AI의 응용 도메인으로 간다. 휴머노이드, 자율주행, 드론, 산업로봇. 이 네 영역에서 누가 앞서 있고, 한국은 어디에 있으며, 다음 5년간 무엇이 벌어질 것인가.