제6장. 디지털 AI 칩 vs Physical AI 칩
이 장을 다 읽고 나면 알게 될 것: 데이터센터 GPU와 엣지 AI 칩이 왜 다른 산업인지, ASIC이 왜 부상하는지, 그리고 중국의 AI 칩 자립이 어디까지 왔는지
도입: 두 종류의 AI 칩
NVIDIA의 H100은 무게가 2.3킬로그램이다. 전력을 700와트 소모한다. 데이터센터 랙에 들어간다. 가격은 대당 3만~4만 달러다.
NVIDIA의 Jetson Orin NX는 손바닥만 하다. 전력을 25와트 소모한다. 로봇 안에 들어간다. 가격은 600달러다.
같은 NVIDIA라는 회사가 만든 칩이지만, 이 둘은 완전히 다른 세계에 속한다. 하나는 디지털 AI를 위한 칩이다. 다른 하나는 Physical AI를 위한 칩이다. 용도가 다르고, 설계 철학이 다르고, 경쟁 구도가 다르다.
이 장에서는 AI 칩의 세계를 두 갈래로 나눠 본다. 그리고 그 사이에 있는 ASIC이라는 제3의 길도 본다.
6.1 데이터센터 GPU — NVIDIA의 왕국
데이터센터 AI 가속기 시장에서 NVIDIA의 점유율은 80퍼센트를 넘는다. 이것은 놀라운 숫자다. 수천억 달러 규모의 시장에서 한 회사가 80퍼센트를 차지한다.
H100(Hopper). 2022년 출시. AI 학습의 표준이 되었다. 메타가 35만 개, 마이크로소프트가 수십만 개를 주문했다. HBM3 80GB 탑재.
H200. H100의 메모리 업그레이드 버전. HBM3E 141GB. 대역폭이 높아져 추론 성능이 향상.
B200(Blackwell). 2024년 출시. GPU 다이 두 개를 CoWoS로 연결. 학습 성능 H100 대비 2.5배. HBM3E 192GB.
B300(Blackwell Ultra), GB300. 2025~2026년 공급. 성능이 또 한 단계 도약.
이 칩들의 공통점은 무엇인가. 거대하다. 전력을 엄청나게 소모한다. HBM이 필수다. 데이터센터 안에서만 작동한다. 수냉이나 액냉이 필요하다.
NVIDIA가 이 시장을 지배하는 이유는 하드웨어만이 아니다. CUDA다. 2006년부터 시작된 GPU 프로그래밍 생태계. 수백만 명의 개발자가 CUDA로 코드를 짰다. 파이토치, 텐서플로 모두 CUDA 위에서 최적화되어 있다. 하드웨어를 바꾸면 소프트웨어도 다 바꿔야 한다. 이것이 스위칭 비용이고 해자다.
6.2 AMD와 도전자들
AMD MI300X, MI350. AMD의 AI 가속기다. HBM 용량에서 NVIDIA를 앞서기도 한다. 가격 대비 성능을 무기로 삼는다.
AMD의 전략은 명확하다. NVIDIA의 70퍼센트 성능을 50퍼센트 가격에. ROCm이라는 CUDA 대안을 제공한다. 그러나 ROCm의 생태계는 CUDA에 비해 미성숙하다. 소프트웨어 호환성 문제가 반복된다.
그래도 AMD는 성장하고 있다. 메타, 마이크로소프트가 AMD 칩을 대량 도입했다. 단일 벤더 의존을 줄이려는 동기다. 가격 협상력을 높이려는 의도도 있다.
인텔 가우디(Gaudi). 인텔이 하바나(Habana Labs)를 인수해 만든 AI 가속기다. 가격이 더 싸다. 그러나 시장 점유율이 낮다. 인텔은 데이터센터 AI에서 존재감을 키우지 못하고 있다.
잠시 멈추고 생각해보자 NVIDIA의 CUDA 생태계는 15년 이상 축적된 것이다. AMD나 인텔이 이것을 따라잡으려면 무엇이 필요한가? 돈인가, 시간인가, 아니면 완전히 다른 접근인가?
6.3 ASIC — 구글 TPU, 아마존 Trainium
ASIC(Application-Specific Integrated Circuit)은 특정 용도에 최적화된 칩이다. GPU처럼 범용이 아니라, AI 학습이나 추론 한 가지에만 집중한다.
구글 TPU(Tensor Processing Unit). 2015년부터 자체 개발. 현재 TPU v5p, v6(Trillium)까지 나왔다. 구글 내부 AI 학습의 상당 부분이 TPU에서 돌아간다. Gemini 모델이 TPU로 학습되었다.
아마존 Trainium. AWS의 AI 학습 칩. Trainium2는 H100과 경쟁하는 성능을 주장한다. AWS 고객에게 NVIDIA보다 저렴한 대안을 제공하는 것이 목적이다.
마이크로소프트 Maia. Azure용 AI 칩. 아직 초기 단계지만, 마이크로소프트의 NVIDIA 의존을 줄이려는 전략적 투자다.
ASIC의 장점은 효율이다. 특정 연산에 최적화되어 같은 전력에서 더 높은 성능을 낸다. 단점은 범용성이 없다는 것이다. 새로운 AI 아키텍처가 나오면 칩도 새로 설계해야 한다.
빅테크들이 ASIC을 만드는 이유는 세 가지다. 첫째, NVIDIA에 대한 의존도 감소. 둘째, 비용 절감. 셋째, 자사 워크로드에 최적화. 이 세 가지가 수조 원의 칩 개발비를 정당화한다.
6.4 엣지 AI 칩 — Physical AI의 두뇌
데이터센터를 떠나 엣지로 가보자. Physical AI의 칩은 완전히 다른 제약 조건에서 일한다.
전력 제약. 로봇은 배터리로 움직인다. 자율주행차도 전기를 아껴야 한다. 5와트, 15와트, 많아야 75와트. 데이터센터 GPU의 10분의 1 이하다.
크기 제약. 손바닥 안에 들어가야 한다. 로봇의 머리나 몸통에 장착된다.
실시간 요구. 자율주행차가 장애물을 발견하고 반응하는 데 허용되는 시간은 밀리초 단위다. 클라우드로 데이터를 보내고 답을 받을 시간이 없다.
열 제약. 팬을 돌릴 수 없는 경우가 많다. 소음 문제도 있다. 패시브 냉각만으로 해결해야 한다.
이 제약 조건 아래에서 일하는 칩들을 보자.
NVIDIA Jetson 시리즈. Orin, Thor. 로봇과 자율주행용. CUDA 생태계를 그대로 엣지로 가져온다. 개발자가 데이터센터에서 쓰던 코드를 엣지에서도 쓸 수 있다.
NVIDIA Drive 시리즈. 자율주행 전용. Thor가 차세대 자율주행 컴퓨터의 핵심이 될 것으로 예고되었다.
퀄컴. Robotics RB 시리즈, Snapdragon Ride(자율주행). 통신칩과의 통합이 강점이다. 5G와 AI를 하나의 칩에 넣는다.
NXP, 인피니언, 르네사스. 자동차용 MCU와 SoC. Physical AI의 하위 계층. 모터 제어, 센서 처리, 안전 기능을 담당한다.
데이터센터와 엣지 사이에 주목할 도전자들도 있다. Cerebras는 웨이퍼 크기의 거대한 칩(WSE-3)을 만든다. 일반 GPU 수백 개를 대체하겠다는 접근이다. 독특하지만 아직 시장이 검증되지 않았다. Groq은 LPU(Language Processing Unit)라는 추론 특화 칩으로 빠른 추론 속도를 자랑한다. 학습은 못하지만 추론에서 GPU를 이기겠다는 전략이다. 이런 회사들이 NVIDIA의 독점에 균열을 낼 수 있을지는 2~3년 안에 판가름 날 것이다.
한국에서 AI 칩은 어디에 있는가. 삼성전자의 엑시노스 NPU가 갤럭시 스마트폰에서 온디바이스 AI를 돌린다. Galaxy AI의 실시간 통역, 사진 편집 같은 기능이 이 칩에서 처리된다. 스마트폰 AI 칩에서 퀄컴 스냅드래곤, 미디어텍 디멘시티와 경쟁한다. 데이터센터 AI 칩은 한국에 아직 없다. 이 격차가 한국 AI 산업의 구조적 약점이다.
6.5 중국의 AI 칩 — 화웨이 Ascend와 자립의 길
미국의 수출통제로 중국은 NVIDIA의 최첨단 칩을 살 수 없다. H100은 물론, 그보다 성능이 낮은 A800, H800도 금지되었다.
중국의 대응은 두 갈래다.
첫째, 자체 개발. 화웨이 Ascend 910C. 중국 최고 성능의 AI 칩이다. NVIDIA H100의 70~80퍼센트 성능이라고 주장된다. SMIC의 7나노(EUV 없이 DUV 멀티패터닝) 공정으로 만들어진다. 바이두, 텐센트, 알리바바가 사용한다.
둘째, 우회 수입. 중간국을 통한 우회 수입이 적발되고 있다. 미국이 단속을 강화하고 있지만 완전히 막기는 어렵다.
화웨이 Ascend의 한계는 무엇인가. 첫째, 공정 한계. EUV 없이 7나노를 만들면 수율이 낮고 비용이 높다. 5나노 이하로 갈 수 없다. 둘째, 소프트웨어 생태계. CANN이라는 자체 프레임워크를 쓰지만, CUDA와 비교하면 개발자 수가 한 자릿수 차이다. 셋째, HBM 공급. 한국 회사들의 HBM을 쓸 수 없으므로 자체 대안을 개발 중이지만 성능이 떨어진다.
그래도 중국은 포기하지 않는다. AI가 국가 안보와 직결되기 때문이다. 10년 후 중국 AI 칩이 어디까지 와 있을지는 아무도 모른다.
잠시 멈추고 생각해보자 수출통제가 중국의 AI 칩 발전을 5년 늦출 것인가, 아니면 오히려 자립을 가속할 것인가? 역사에서 기술 봉쇄가 오히려 추격을 촉진한 사례가 있는가?
6.6 디지털 AI 칩 vs Physical AI 칩 — 비교 정리
두 영역을 비교해보자.
시장 규모. 데이터센터 AI 칩 시장이 압도적으로 크다. 2025년 기준 1,000억 달러 이상. 엣지 AI 칩은 수백억 달러. 그러나 엣지의 성장률이 더 높다.
경쟁 구도. 데이터센터는 NVIDIA 독주. 엣지는 NVIDIA, 퀄컴, NXP, 인피니언, 르네사스 등 여러 회사가 나눠 가진다. 독점이 아니라 분산이다.
기술 초점. 데이터센터는 연산력과 메모리 대역폭. 엣지는 전력 효율과 실시간 처리.
매트릭스에서의 위치. 데이터센터 칩은 반도체(축1)와 디지털 AI(축2)의 교차점이다. 엣지 칩은 반도체(축1)와 Physical AI(축3)의 교차점이다. 같은 반도체 축을 공유하지만, 다른 응용 축과 만난다.
투자 의미. 디지털 AI 호황이면 NVIDIA, SK하이닉스(HBM), TSMC가 수혜를 본다. Physical AI 호황이면 퀄컴, NXP, 인피니언, 소니(센서)가 수혜를 본다. 어느 쪽에 투자하느냐에 따라 포트폴리오가 완전히 달라진다.
6.7 수렴의 가능성 — NVIDIA의 전략
NVIDIA는 이 두 세계를 모두 가지려 한다. 데이터센터에서는 H/B 시리즈로 지배하고, 엣지에서는 Jetson/Drive로 지배한다. 그리고 두 세계를 하나의 소프트웨어 스택(CUDA, Isaac, Drive OS)으로 연결한다.
이것이 NVIDIA의 진짜 전략이다. 하드웨어 판매가 아니라, 플랫폼 장악이다. 개발자가 NVIDIA 생태계 안에서 개발하면, 데이터센터든 엣지든 NVIDIA 칩을 쓰게 된다.
이 전략이 성공하면 NVIDIA는 디지털 AI와 Physical AI를 모두 아우르는 유일한 플랫폼 회사가 된다. 실패한다면? 엣지에서 퀄컴이나 다른 회사에 빼앗길 수 있다. 데이터센터와 엣지는 결국 다른 시장이기 때문이다.
핵심 정리
데이터센터 AI 칩 시장은 NVIDIA가 80% 이상을 지배한다. CUDA 생태계가 핵심 해자다. AMD, 인텔이 도전하지만 격차가 크다.
빅테크(구글, 아마존, 마이크로소프트)가 자체 ASIC을 개발하며 NVIDIA 의존을 줄이려 한다. TPU, Trainium이 대표적이다.
엣지 AI 칩은 전력, 크기, 실시간 처리라는 다른 제약 조건에서 작동한다. NVIDIA Jetson, 퀄컴, NXP가 주요 플레이어다.
중국 화웨이 Ascend는 수출통제 속에서 자체 AI 칩을 개발하고 있다. 공정 한계와 생태계 부족이 약점이다.
디지털 AI 칩 호황과 Physical AI 칩 호황은 다른 회사에 수혜를 준다. 투자 판단에서 이 구분이 핵심이다.
반드시 답해봐야 할 질문 5가지
질문 1. NVIDIA의 CUDA 독점은 영원한가? 어떤 조건에서 이 독점이 깨질 수 있는가?
질문 2. 빅테크의 자체 칩이 NVIDIA의 시장을 얼마나 잠식할 수 있는가? 5년 후 NVIDIA의 점유율은?
질문 3. 엣지 AI 칩 시장에서 승자는 누구일 것인가? NVIDIA인가, 퀄컴인가, 아니면 아직 보이지 않는 회사인가?
질문 4. 중국의 AI 칩 자립이 10년 내에 성공한다면, 글로벌 AI 칩 시장 구도는 어떻게 변하는가?
질문 5. 한국에 AI 칩 설계 회사가 부족한 이유는 무엇이며, 이것을 바꿀 수 있는가?
더 깊이 탐구하기
NVIDIA GTC Keynote 및 Architecture Whitepaper. Hopper, Blackwell 아키텍처의 기술적 세부 사항.
AMD MI300 시리즈 기술 문서. NVIDIA 대안의 구체적 성능과 전략.
구글 TPU 관련 논문 (ISCA 발표). ASIC 설계 철학과 성능 데이터.
SemiAnalysis, 「NVIDIA's Moat」 시리즈. CUDA 생태계의 깊이와 경쟁 분석.
TechInsights, 화웨이 Ascend 910C 분석 보고서. 중국 AI 칩의 기술 수준에 대한 독립적 평가.
다음 장에서는 디지털 AI 가치사슬의 토대로 들어간다. 데이터와 학습 인프라. AI 모델은 데이터로 만들어진다. 그 데이터는 어디서 오는가. 데이터가 고갈되면 어떻게 되는가. 그리고 그 데이터를 학습시키는 GPU 클러스터와 데이터센터는 어떤 세계인가.