제7장. 데이터와 학습 인프라
이 장을 다 읽고 나면 알게 될 것: AI 모델의 원료인 데이터가 어떻게 수집되고 고갈 위기에 처했는지, GPU 클러스터와 데이터센터가 왜 새로운 산업의 축이 되었는지
도입: 한 번도 읽히지 않은 텍스트가 AI를 만든다
인터넷에는 약 60조 개의 토큰이 있다고 추산된다. GPT-4는 약 13조 개의 토큰으로 학습되었다. 클로드, 제미나이도 비슷한 규모다. 인터넷의 양질의 텍스트가 거의 다 소진되고 있다.
아이러니한 것은, 이 텍스트의 대부분을 아무도 읽은 적이 없다는 것이다. 위키피디아의 수백만 문서, 레딧의 수십억 댓글, 학술 논문 수억 편. 사람이 다 읽기에는 너무 많다. 그런데 AI는 다 읽었다. 한 번도 사람 눈에 띄지 않은 텍스트가 AI의 지능을 만들었다.
이것이 디지털 AI 가치사슬의 첫 번째 단계다. 데이터. 모든 것의 원료.
7.1 데이터 수집 — 인터넷을 긁어 모은다
AI 학습 데이터의 원천은 크게 네 가지다.
웹 크롤링. Common Crawl이 대표적이다. 인터넷의 웹페이지를 정기적으로 수집해 공개한다. 대부분의 LLM이 Common Crawl을 기반으로 학습한다.
소셜미디어와 포럼. 레딧, 스택오버플로, 쿼라. 사람들의 질문과 답변이 풍부한 학습 데이터다. 레딧은 구글에 데이터를 유료로 제공하는 계약을 맺었다. 데이터가 돈이 되기 시작했다.
책과 학술 논문. 수백 년간 축적된 인류의 지식이다. 저작권 문제가 있다. OpenAI, 메타가 저작권 소송에 시달리고 있다.
코드. GitHub의 수십억 줄의 코드. Copilot, Cursor 같은 코딩 AI의 원료다. 오픈소스 라이선스 문제가 논쟁이다.
데이터 수집에서 핵심은 품질이다. 인터넷에는 쓰레기가 많다. 스팸, 광고, 중복, 오류. 이것들을 걸러내는 정제 과정이 전체 파이프라인의 절반 이상을 차지한다. 좋은 데이터를 선별하는 능력이 곧 좋은 모델을 만드는 능력이다.
이 데이터 정제 과정을 전문으로 하는 회사가 있다. Scale AI가 대표적이다. 데이터 라벨링, 정제, 품질 관리를 전문으로 한다. OpenAI, 메타, 미 국방부가 고객이다. 2024년 기업 가치가 130억 달러를 넘었다. 데이터가 AI의 원유라면, Scale AI는 정유소다.
7.2 데이터 고갈 — 인터넷의 한계
문제는 데이터가 유한하다는 것이다.
Epoch AI의 분석에 따르면, 고품질 텍스트 데이터는 2026~2028년 사이에 고갈된다. 이미 각 모델의 학습 데이터가 겹치기 시작했다. 같은 데이터를 여러 모델이 반복 학습한다.
데이터 고갈에 대한 해법은 세 가지가 논의된다.
합성 데이터. AI가 AI의 학습 데이터를 만든다. GPT-4가 만든 텍스트로 다음 세대 모델을 학습시킨다. 마이크로소프트의 Phi 모델이 합성 데이터로 소형 모델의 성능을 끌어올렸다. 그러나 모델 붕괴(Model Collapse) 위험이 있다. 합성 데이터만으로 학습하면 분포가 좁아지고 다양성이 사라진다.
멀티모달 데이터. 텍스트가 고갈되면 영상, 오디오, 이미지로 간다. 유튜브의 수십억 시간 영상이 학습 데이터가 될 수 있다. 구글이 이 데이터에 접근 가능하다는 것이 엄청난 자산이다.
프라이빗 데이터. 기업 내부의 데이터. 의료 기록, 금융 거래, 법률 문서. 공개되지 않은 고품질 데이터. 이 데이터를 가진 기업이 도메인 특화 AI에서 우위를 가진다.
잠시 멈추고 생각해보자 데이터가 고갈된다면, 데이터를 '가진' 회사와 '가지지 못한' 회사의 격차는 어떻게 될까? 데이터가 새로운 석유라면, 석유 매장지를 가진 자가 권력을 가지는 것처럼 데이터를 가진 자가 AI 시대의 권력을 가지게 되는가?
7.3 GPU 클러스터 — 학습의 물리적 기반
데이터가 원료라면, GPU 클러스터는 공장이다.
GPT-4 수준의 모델을 학습시키려면 수만 개의 GPU가 수개월간 작동해야 한다. 비용은 1억 달러 이상으로 추정된다. GPT-5나 다음 세대 모델은 10억 달러 이상이 들 수 있다.
GPU 클러스터의 핵심 과제는 세 가지다.
스케일링. GPU 수천 개를 병렬로 작동시키려면 고속 인터커넥트가 필수다. NVIDIA NVLink, InfiniBand(멜라녹스/NVIDIA)가 이 역할을 한다. GPU끼리 빠르게 데이터를 주고받지 못하면 병목이 된다.
안정성. 수만 개의 GPU가 수개월간 돌아가면 장애가 불가피하다. 체크포인팅, 자동 복구, 장애 감지 시스템이 필수다. 학습 중간에 GPU 한 대가 고장 나면 전체가 멈추지 않도록 해야 한다.
냉각. GPU는 열을 엄청나게 만든다. H100 한 대가 700와트. 수천 대가 모이면 작은 도시의 전력을 소모한다. 공냉으로는 한계가 있다. 액냉(Liquid Cooling)이 표준이 되고 있다.
7.4 데이터센터 — 새로운 산업의 물리적 공간
AI 학습은 데이터센터에서 일어난다. AI 시대의 데이터센터는 이전과 다르다.
전력. AI 데이터센터 하나가 소모하는 전력이 수백 메가와트에 달한다. 작은 도시 하나의 전력 수요와 맞먹는다. 마이크로소프트가 스리마일 아일랜드 원전 재가동을 추진한 이유다. 아마존이 펜실베이니아 원전 옆에 데이터센터를 짓는 이유다.
입지. 전력이 풍부하고, 냉각이 쉽고, 네트워크가 좋은 곳. 미국 버지니아(전통적 데이터센터 허브), 오레곤(수력 전기), 아이오와(풍력), 북유럽(냉각 유리). 한국에서는 양주, 안산, 세종 등에 데이터센터가 건설되고 있다.
투자 규모. 2024년 빅테크의 CAPEX(자본 지출)가 합산 2,000억 달러를 넘었다. 대부분이 데이터센터다. 마이크로소프트 800억 달러, 구글 500억 달러, 아마존 750억 달러, 메타 400억 달러.
빅테크만이 아니다. GPU 클라우드 전문 회사도 부상했다. CoreWeave가 대표적이다. NVIDIA GPU 수만 개를 보유한 AI 전용 클라우드다. AWS나 Azure보다 AI 학습에 특화되어 있다. 마이크로소프트가 CoreWeave에 수십억 달러를 투자했다. Hugging Face는 오픈소스 AI 모델과 데이터셋의 허브 역할을 한다. 모델을 공유하고, 벤치마크를 제공하고, 추론 인프라를 제공한다. AI 생태계의 GitHub이라 할 수 있다.
이 투자의 규모가 의미하는 것은 무엇인가. AI 학습 인프라가 독립적인 산업이 되었다는 것이다. 데이터센터 건설, 전력 공급, 냉각 시스템, 네트워크 인프라. 이 모든 것이 하나의 거대한 생태계를 형성한다.
7.5 NVIDIA CUDA 생태계 — 소프트웨어 해자
CUDA는 2006년에 시작되었다. GPU를 범용 계산에 쓸 수 있게 하는 프로그래밍 플랫폼이다.
20년간 축적된 CUDA의 자산은 이렇다.
개발자. CUDA로 코딩할 줄 아는 개발자가 수백만 명이다. 대학에서 GPU 프로그래밍을 가르칠 때 CUDA를 쓴다.
라이브러리. cuDNN(딥러닝), cuBLAS(선형대수), TensorRT(추론 최적화), NCCL(분산 통신). 수천 개의 최적화된 라이브러리가 있다.
프레임워크 통합. 파이토치, 텐서플로, JAX 모두 CUDA 위에서 최적화되어 있다. AMD의 ROCm이나 인텔의 oneAPI로 바꾸면 성능이 떨어지거나 호환성 문제가 생긴다.
최적화 깊이. NVIDIA는 새 GPU가 나올 때마다 CUDA 커널을 재최적화한다. 같은 알고리즘이라도 NVIDIA 칩에서 더 빠르다. 하드웨어와 소프트웨어의 공동 최적화다.
이것이 왜 중요한가. AI의 민주화가 사실은 NVIDIA 위의 민주화이기 때문이다. 누구나 AI 모델을 학습시킬 수 있다. 그러나 거의 모두가 NVIDIA 칩으로 한다. 도구가 열려 있어도 인프라는 닫혀 있다.
잠시 멈추고 생각해보자 CUDA 생태계가 AI 산업의 보이지 않는 세금이라면, 이 세금을 피할 방법은 있는가? 오픈소스 대안(Triton, OpenCL)이 CUDA를 대체할 수 있는가?
7.6 데이터와 인프라의 권력 구조
이 장의 내용을 권력의 시각으로 정리해보자.
데이터 권력. 데이터를 가진 자가 모델을 만들 수 있다. 구글(검색, 유튜브), 메타(소셜), 마이크로소프트(기업 데이터, LinkedIn, GitHub). 빅테크가 데이터 권력을 가진다. 스타트업은 공개 데이터에 의존하지만 그것은 빅테크도 쓸 수 있으므로 차별화가 안 된다.
인프라 권력. GPU 클러스터를 운영할 수 있는 자가 모델을 학습시킬 수 있다. 이것은 자본의 문제다. 수억~수십억 달러를 투자할 수 있는 회사만이 Foundation Model을 만들 수 있다.
플랫폼 권력. NVIDIA가 GPU와 CUDA를 통해 인프라 전체를 장악한다. 데이터를 가진 빅테크조차 NVIDIA에 의존한다.
이 세 가지 권력이 디지털 AI 가치사슬의 첫 두 단계를 형성한다. 데이터 없이 모델 없다. 인프라 없이 학습 없다. CUDA 없이 인프라 없다.
한국의 위치는 어떠한가. 한국어 데이터는 인터넷 전체의 1~2퍼센트다. GPU 클러스터 규모는 빅테크의 수십 분의 1이다. CUDA 대안을 개발할 역량은 없다. 이 층에서 한국은 소비자이지 생산자가 아니다.
핵심 정리
AI 학습 데이터는 인터넷 크롤링, 소셜미디어, 책, 코드에서 온다. 고품질 텍스트 데이터의 고갈이 임박해 있다. 합성 데이터, 멀티모달, 프라이빗 데이터가 대안으로 논의된다.
GPU 클러스터와 데이터센터가 AI 학습의 물리적 기반이다. GPT-4 학습에 수만 GPU와 수억 달러가 소요된다. 빅테크의 연간 CAPEX가 2,000억 달러를 넘는다.
NVIDIA CUDA 생태계가 AI 인프라의 소프트웨어 해자다. 20년간 축적된 개발자, 라이브러리, 프레임워크 통합이 대체를 어렵게 만든다.
데이터 권력(빅테크), 인프라 권력(자본력), 플랫폼 권력(NVIDIA)이 이 단계의 권력 구조를 형성한다.
데이터센터의 전력 수요가 에너지 산업까지 흔들고 있다. 원전 재가동, 신재생 투자가 AI 데이터센터 때문에 일어난다.
반드시 답해봐야 할 질문 5가지
질문 1. 데이터 고갈 이후에도 AI 모델의 성능 향상이 계속될 수 있는가? 그 동력은 무엇인가?
질문 2. AI 데이터센터의 전력 수요 증가가 에너지 정책에 어떤 영향을 미치는가? 원전은 답인가?
질문 3. 한국어 AI 모델의 데이터 한계를 어떻게 극복할 수 있는가? 합성 데이터가 충분한 해법인가?
질문 4. NVIDIA CUDA 독점에 대한 규제 가능성은 있는가? EU나 미국이 개입할 동기가 있는가?
질문 5. AI 학습 비용이 계속 증가한다면, Foundation Model 개발은 결국 소수 빅테크만의 영역이 되는가?
더 깊이 탐구하기
Epoch AI, 「Will we run out of data?」 (2024). 데이터 고갈 시점에 대한 가장 체계적인 분석.
NVIDIA Data Center GPU Architecture Whitepaper. H100, B200의 기술적 세부 사항.
IEA, 「Electricity 2024: AI and Data Centre Special Report」. AI 데이터센터의 전력 수요에 대한 국제 에너지 기구 분석.
SemiAnalysis, 「AI Infrastructure Landscape」 시리즈. GPU 클러스터와 데이터센터 시장 분석.
Common Crawl 공식 문서 및 데이터셋. 웹 크롤링 데이터의 규모와 구조.
다음 장에서는 디지털 AI 가치사슬의 핵심으로 들어간다. Foundation Model. GPT, Claude, Gemini, Llama, Qwen, DeepSeek. 이 모델들이 어떻게 만들어지고, Closed와 Open의 대결이 어떻게 전개되고 있으며, 한국의 Sovereign AI는 어디에 있는가.