제15장. Physical AI의 데이터 문제 — Sim-to-Real
이 장을 다 읽고 나면 알게 될 것: Physical AI가 왜 디지털 AI보다 데이터 확보가 어려운지, 데이터 플라이휠이 왜 핵심 경쟁력인지, 시뮬레이션의 한계와 현실 데이터의 가치가 무엇인지
도입: 인터넷이 없는 세계에서의 학습
GPT-4는 인터넷에서 수조 토큰을 긁어 학습했다. 텍스트는 풍부하다. 인류가 수천 년간 써놓은 것이 있다.
그런데 휴머노이드가 설거지하는 법을 어떻게 학습하는가. "그릇을 잡고 수세미로 문지른다"라는 텍스트를 읽어서? 그것으로는 부족하다. 실제로 그릇을 잡는 힘, 수세미의 마찰, 물의 온도와 비눗물의 미끄러움. 이런 것들을 체험해야 한다.
Physical AI의 데이터 문제는 근본적으로 디지털 AI와 다르다. 데이터가 인터넷에 없다. 현실 세계에서 직접 수집해야 한다. 그것이 비싸고, 느리고, 위험하다.
이것이 Physical AI의 가장 큰 병목이다. 그리고 이 병목을 풀어내는 회사가 Physical AI의 승자가 된다.
15.1 데이터의 종류 — Physical AI가 필요한 것
Physical AI에 필요한 데이터는 세 가지다.
인지 데이터(Perception Data). 센서가 보는 것. 카메라 이미지, 라이다 포인트 클라우드, 레이더 신호. 자율주행에서는 도로 상황, 보행자, 차량. 로봇에서는 물체의 위치, 형상, 재질.
행동 데이터(Action Data). 로봇이 한 것. 관절 각도, 속도, 힘. 어떤 상황에서 어떤 행동을 했고, 결과가 어땠는지.
물리 상호작용 데이터. 물체를 잡았을 때의 마찰, 미끄러짐, 변형. 걸었을 때의 바닥 반력, 균형. 이것이 가장 수집하기 어렵고 가장 가치가 높다.
디지털 AI의 데이터는 대부분 인지 데이터(텍스트)다. Physical AI는 세 가지가 모두 필요하다. 그리고 세 가지가 시간적으로 동기화되어야 한다. "이것을 보고(인지) → 이렇게 했고(행동) → 이렇게 되었다(상호작용)"라는 연결이 있어야 학습이 된다.
15.2 테슬라의 데이터 플라이휠
테슬라는 Physical AI 데이터 문제를 가장 잘 풀고 있는 회사다.
규모. 전 세계 수백만 대의 테슬라 차량이 매일 주행한다. 각 차량에 카메라 8대가 달려 있다. 하루에 수십 페타바이트의 영상 데이터가 모인다.
자동 라벨링. AI가 데이터를 자동으로 라벨링한다. 사람이 일일이 표시하지 않아도 된다. 특이한 상황(코너 케이스)만 사람이 검수한다.
피드백 루프. 차량이 모은 데이터로 모델을 업데이트한다. 업데이트된 모델이 다시 차량에 배포된다. 차량이 더 나은 주행을 하면서 더 좋은 데이터를 모은다. 선순환이다.
이것이 데이터 플라이휠이다. 제품이 데이터를 모으고, 데이터가 제품을 개선하고, 개선된 제품이 더 많은 데이터를 모은다. 시간이 지날수록 격차가 벌어진다.
테슬라의 경쟁자들은 이 플라이휠을 따라잡기 어렵다. Waymo는 수천 대뿐이다. 중국 회사들은 중국 데이터만 있다. 기존 자동차 회사들은 데이터 인프라가 없다.
잠시 멈추고 생각해보자 데이터 플라이휠이 경쟁의 핵심이라면, 후발 주자는 어떻게 따라잡을 수 있는가? 돈으로 데이터를 살 수 있는가? 시뮬레이션 데이터로 대체할 수 있는가?
15.3 시뮬레이션 데이터의 가치와 한계
시뮬레이션은 Physical AI 데이터 부족의 해법으로 기대된다. 그러나 한계가 있다.
할 수 있는 것. 대량의 다양한 시나리오 생성. 현실에서 만들기 어려운 극단적 상황(사고, 날씨) 생성. 자동 라벨링(시뮬레이터가 모든 것을 알고 있으므로). 빠른 반복.
할 수 없는 것. 현실의 미세한 물리를 완벽히 재현. 접촉 역학의 정확한 모사. 재질의 다양성(세상의 모든 물체를 시뮬레이션할 수 없다). 센서 노이즈의 정확한 모사.
결론적으로, 시뮬레이션 데이터는 보조 수단이지 현실 데이터를 완전히 대체하지 못한다. 최적의 조합은 시뮬레이션에서 80퍼센트를 학습하고, 현실에서 20퍼센트를 fine-tuning하는 것이다.
그래서 현실 데이터를 가진 회사가 여전히 유리하다. 시뮬레이션만으로는 마지막 20퍼센트를 채울 수 없다. 그 20퍼센트가 실제 성능을 좌우한다.
15.4 텔레오퍼레이션 — 사람이 로봇을 조종하며 데이터를 모으다
최근 휴머노이드 회사들이 쓰는 방법이 텔레오퍼레이션이다.
사람이 VR 장비나 조종기를 사용해 로봇을 원격 조종한다. 로봇은 사람이 시키는 대로 움직인다. 그 과정이 데이터로 기록된다. "사람이라면 이 상황에서 이렇게 했다"는 시범 데이터(demonstration data)가 모인다.
Figure. BMW 공장에서 사람이 텔레오퍼레이션으로 로봇을 조종하며 조립 데이터를 모은다.
스탠퍼드 연구팀(Tony Zhao, Sergey Levine 등). ALOHA 프로젝트. 저비용 로봇 팔 두 대를 사람이 직접 움직이며 양손 조작 데이터를 수집한다.
1X. 사람이 NEO 로봇을 원격 조종하며 가정 환경 데이터를 모은다.
텔레오퍼레이션의 한계는 속도다. 사람이 일일이 조종해야 하므로 데이터 수집 속도가 느리다. 시뮬레이션의 무한 반복과 비교하면 비효율적이다. 그러나 데이터의 질은 높다. 현실 물리가 그대로 반영되니까.
15.5 도메인 랜덤화의 진화
13장에서 다룬 도메인 랜덤화가 계속 진화하고 있다.
초기 도메인 랜덤화. 시뮬레이터에서 랜덤하게 환경을 바꾼다. 조명, 색상, 물리 파라미터를 무작위로. 단순하지만 효과적이다.
적응적 도메인 랜덤화. 어떤 변수가 전이에 가장 큰 영향을 미치는지를 학습하고, 그 변수를 집중적으로 변화시킨다.
역 도메인 랜덤화. 현실 데이터를 보고, 시뮬레이터의 파라미터를 현실에 맞추는 방향으로 조정한다. 시뮬레이션과 현실의 간극을 데이터 기반으로 줄인다.
Neural Sim. 물리 엔진을 신경망으로 대체하는 시도. 기존 물리 엔진은 수학 방정식으로 물리를 계산한다. Neural Sim은 현실 데이터에서 물리를 학습한다. 방정식으로 표현하기 어려운 현상(변형체, 유체)을 더 잘 모사할 수 있다.
잠시 멈추고 생각해보자 충분한 시뮬레이션 기술이 발전하면, 현실 데이터가 아예 불필요해지는 날이 올 수 있을까? 아니면 현실과 시뮬레이션 사이에는 영원히 메워지지 않는 간극이 있는가?
15.6 데이터가 만드는 격차
Physical AI에서 데이터는 단순한 입력이 아니다. 경쟁 우위의 핵심이다.
테슬라. 자율주행 데이터 수백만 대 × 수년. 누구도 따라잡기 어렵다.
Waymo. 1,000만 마일 이상의 무인 주행 데이터. 질적으로 가장 깊다.
NVIDIA. 직접 데이터를 모으지 않지만, 시뮬레이터를 통해 합성 데이터 생성을 가능하게 한다. 데이터 인프라의 지배자.
중국. 14억 인구, 수천만 대 전기차, 수백만 공장. 규모로 데이터를 모은다. 정부가 데이터 공유를 강제할 수도 있다.
한국은 이 데이터 경쟁에서 어디에 있는가. 솔직히 말하면, 규모에서 밀린다. 자율주행 데이터는 현대차의 수백만 대 차량이 있지만, AI 학습에 적합한 형태로 수집되고 있지 않다. 로봇 데이터는 거의 없다.
이것이 한국 Physical AI의 구조적 약점이다. 하드웨어는 만들 수 있다. 소프트웨어도 개발할 수 있다. 그러나 데이터는 시간과 규모로 축적해야 한다. 돈을 투입한다고 바로 되지 않는다.
15.7 데이터 전략의 선택
Physical AI 회사가 선택할 수 있는 데이터 전략은 세 가지다.
전략 1: 제품으로 데이터를 모은다. 테슬라 방식. 제품을 먼저 팔고, 그 제품에서 데이터를 모은다. 초기 제품은 불완전하지만, 데이터가 쌓이면서 개선된다. 가장 강력하지만 가장 어렵다. 대규모 제품 판매가 전제되어야 한다.
전략 2: 시뮬레이션으로 데이터를 만든다. NVIDIA, 스타트업 방식. 시뮬레이터에서 대량의 합성 데이터를 생성한다. 빠르고 저렴하지만, 현실과의 간극이 문제다.
전략 3: 텔레오퍼레이션과 파트너십. Figure, 1X 방식. 사람이 로봇을 조종하며 데이터를 모으거나, 공장/병원과 파트너십을 맺어 현장 데이터를 확보한다. 질은 좋지만 양이 제한적이다.
가장 성공적인 전략은 세 가지를 조합하는 것이다. 시뮬레이션으로 기반을 닦고, 텔레오퍼레이션으로 현실 데이터를 모으고, 제품을 출시해 플라이휠을 돌린다.
핵심 정리
Physical AI의 가장 큰 병목은 데이터다. 디지털 AI와 달리 인터넷에서 데이터를 긁을 수 없다. 현실 세계에서 직접 수집해야 한다.
테슬라의 데이터 플라이휠(수백만 대 차량 → 데이터 수집 → 모델 개선 → 재배포)이 가장 강력한 경쟁 우위다.
시뮬레이션 데이터는 보조 수단이지 현실 데이터를 완전히 대체하지 못한다. Sim-to-Real 간극이 여전히 존재한다.
텔레오퍼레이션(사람이 로봇을 원격 조종하며 데이터 수집)이 휴머노이드 분야의 주요 데이터 확보 방법이다.
한국은 Physical AI 데이터 규모에서 구조적 열세다. 이것이 하드웨어와 소프트웨어를 갖추고도 뒤처질 수 있는 이유다.
반드시 답해봐야 할 질문 5가지
질문 1. 데이터 플라이휠을 가진 회사가 궁극적으로 Physical AI를 지배하는가? 돈으로 이 격차를 메울 수 있는가?
질문 2. 시뮬레이션 기술이 충분히 발전하면, 현실 데이터의 중요성이 줄어드는가?
질문 3. 한국이 Physical AI 데이터 열세를 극복하려면 어떤 국가적 전략이 필요한가?
질문 4. 데이터를 공유하는 컨소시엄(여러 회사가 데이터를 모아 공유)이 가능한가? 그것이 합리적인가?
질문 5. 합성 데이터와 현실 데이터의 최적 비율은 무엇인가? 그 비율은 도메인에 따라 어떻게 달라지는가?
더 깊이 탐구하기
Tesla AI Day, 「Data Engine」 발표 자료. 테슬라 데이터 플라이휠의 구체적 메커니즘.
Sergey Levine et al., 「Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware」 (ALOHA). 텔레오퍼레이션 데이터 수집의 대표적 연구.
Epoch AI, 「Data Requirements for Physical AI Systems」. Physical AI의 데이터 요구 규모 분석.
NVIDIA Isaac Replicator 문서. 합성 데이터 생성 도구의 구체적 기능.
Josh Tobin, 「Sim-to-Real Transfer in Deep Reinforcement Learning」. Sim-to-Real 전이의 종합 리뷰.
다음 장부터는 매트릭스의 교차점으로 들어간다. 지금까지 세 축(반도체, 디지털 AI, Physical AI)을 각각 그렸다. 이제 그 축들이 만나는 곳을 본다. 삼중 매트릭스. 세 축이 교차하는 98개의 셀에서 무엇이 일어나고 있는가.