솔직히 말씀드리면, 저도 처음 이 소식을 들었을 때 ‘설마’라는 생각이 먼저 들었습니다. 엔비디아의 GPU는 AI 반도체 시장에서 사실상 공기처럼 당연한 존재였으니까요. H100 없이 LLM을 훈련시킨다는 건, 마치 아이폰 없이 앱스토어를 쓰겠다는 말처럼 들리던 시절이 불과 얼마 전이었습니다.
그런데 최근 분위기가 조금씩, 하지만 분명히 달라지고 있습니다. 구글이 2015년부터 조용히 내부에서만 갈고닦아온 TPU(Tensor Processing Unit)가 바깥세상을 향해 존재감을 드러내기 시작했고, 여기에 엔비디아 GPU를 세계에서 가장 많이 사들이던 메타플랫폼이 TPU 구매를 논의 중이라는 소식까지 더해졌습니다.
‘독주 체제’라고 불리던 시장에 균열이 생기고 있는 걸까요, 아니면 그냥 해프닝으로 끝날까요? 아직 결론 내리기엔 이릅니다. 하지만 지금 이 흐름을 제대로 짚어두지 않으면, 나중에 ‘그때 알아챘어야 했는데’라고 후회할 수도 있다고 생각합니다. 함께 한번 차근차근 살펴보죠.
1. TPU란 무엇인가 – 구글의 ‘비밀 병기’가 세상에 나오기까지
TPU를 처음 접하시는 분들을 위해 아주 쉽게 비유를 들어볼게요. GPU가 만능 주방장이라면, TPU는 파스타만 10년째 만든 파스타 장인이라고 생각하시면 됩니다. 다양한 요리를 두루 잘하진 못해도, 파스타 하나만큼은 누구도 따라올 수 없는 속도와 효율로 뚝딱 만들어내는 거죠.
구글은 2015년부터 이 장인 요리사를 내부 주방에만 두었습니다. 검색, 유튜브 추천 알고리즘, 구글 번역 등 자사 서비스를 돌리기 위한 전용 칩으로만 활용했고, 외부엔 공개하지 않았죠. 그러다 2023년부터 클라우드 서비스(구글 클라우드 TPU)를 통해 외부 기업들도 쓸 수 있게 문을 열었고, 2025년 현재 7세대인 ‘아이언우드(Ironwood)’까지 발전해 왔습니다.
세대를 거듭하면서 성능이 얼마나 올라왔냐고요? 구글의 공식 발표에 따르면 아이언우드 단일 포드(Pod) 기준 처리 성능은 42.5 엑사플롭스(ExaFLOPS)에 달합니다. 이 숫자가 감이 안 오신다면, 인류 역사상 가장 빠른 슈퍼컴퓨터 중 하나와 어깨를 나란히 하는 수준이라고 이해하시면 됩니다.
제미나이3가 증명한 아이언우드의 실력
TPU가 ‘들어는 봤는데 진짜로 쓸 만한가?’ 하는 의구심을 단번에 날려준 사건이 있습니다. 바로 구글의 자체 AI 모델 제미나이3(Gemini 3)가 챗GPT와 어깨를 나란히 하는 성능을 보여준 것입니다.
제미나이3는 훈련부터 추론까지 전 과정을 아이언우드 TPU 위에서 돌렸습니다. 엔비디아 GPU 없이도 최첨단 AI 모델을 만들어낼 수 있다는 게 실제로 증명된 거죠. 이전까지는 ‘구글이 내부용으로 쓰니까 나쁘진 않겠지’라는 막연한 추측이었다면, 이제는 벤치마크로 확인된 실력이 된 셈입니다.
2. 메타의 TPU 구매 논의 – 이게 왜 그렇게 큰 뉴스인가
메타플랫폼은 엔비디아의 최대 고객 중 하나였습니다. 페이스북, 인스타그램, 왓츠앱, 그리고 라마(LLaMA) 시리즈 AI 모델까지 모두 엔비디아 GPU 위에서 돌아가고 있죠. 연간 구매 규모로 보면 전 세계에서 손에 꼽히는 큰손 중의 큰손입니다.
그런 메타가 구글 TPU를 수십억 달러 규모로 구매하는 것을 논의 중이라는 보도가 나왔습니다. 아직 ‘논의 중’이지 계약이 확정된 건 아닙니다. 이 점은 뒤에서 다시 짚겠지만, 일단 이 소식 자체가 시장에 던진 충격은 상당했습니다.
왜냐하면 이건 단순히 ‘다른 칩을 써보겠다’는 이야기가 아니기 때문입니다. 메타 같은 기업이 공급망을 다변화하려 한다는 건, 업계 전체에 ‘엔비디아 말고 다른 선택지도 진지하게 고려할 만하다’는 신호를 보내는 것과 같습니다. 마치 맥도날드가 자사 매장에서 버거킹 음료를 공식 검토한다는 소문이 나는 것처럼, 상징적 파급력이 굉장히 큰 사건이죠.
공급망 다변화, 그게 왜 중요한가
빅테크 기업 입장에서 특정 공급사 한 곳에 너무 의존하는 건 구조적으로 취약합니다. 납품 지연 한 번에 수백억 원짜리 서비스 차질이 생길 수 있고, 가격 협상에서도 ‘갑’이 될 수 없죠.
실제로 엔비디아 H100 GPU 수요가 폭발적으로 늘어나던 2023~2024년, 많은 기업들이 수개월에서 1년 이상의 납품 대기를 경험했습니다. 이 경험이 ‘대안을 찾아야 한다’는 절박함을 키웠고, TPU 논의도 그 맥락에서 봐야 합니다.
3. 균형 있게 봐야 할 것들 – 아직 ‘엔비디아의 종말’이라고 쓰면 안 되는 이유
자, 여기서 잠깐 냉정하게 돌아올 필요가 있습니다. 이 소식이 흥미롭고 의미 있는 건 맞지만, 몇 가지 중요한 유보 조건들이 있습니다. 이걸 제대로 이해하지 않으면 흥분에 앞서 판단이 흐려질 수 있습니다.
첫째, 메타의 TPU 구매는 아직 ‘논의 중’입니다. 계약서에 도장이 찍힌 게 아닙니다. 협상이 결렬될 수도 있고, 규모가 예상보다 훨씬 작아질 수도 있습니다. ‘논의 중’과 ‘확정’은 주식시장에서도, 현실에서도 전혀 다른 이야기입니다.
둘째, TPU가 GPU를 ‘완전히’ 대체할 수 있느냐는 여전히 열린 질문입니다. TPU는 AI 연산, 특히 행렬 곱셈처럼 반복적이고 구조화된 작업에 특화되어 있습니다. 반면 GPU는 그래픽 렌더링, 과학 시뮬레이션, 다양한 병렬 연산 등 훨씬 넓은 범위에서 쓰입니다. 파스타 장인이 아무리 훌륭해도 스테이크 전문점 손님을 모두 빼앗아 올 수는 없는 것처럼요.
셋째, 엔비디아의 실제 시장점유율 변화는 아직 숫자로 확인되지 않았습니다. 지금까지 나온 건 어디까지나 ‘소식’과 ‘논의’ 수준이지, 엔비디아의 출하량이나 매출이 실제로 줄었다는 데이터는 없습니다. 시장의 반응(주가 변동, 애널리스트 보고서)과 실제 시장 구조 변화는 다를 수 있습니다.
엔비디아의 진짜 강점 – 소프트웨어 해자
많은 분들이 엔비디아 하면 GPU 하드웨어만 생각하시는데, 사실 엔비디아의 진짜 경쟁 우위는 CUDA라는 소프트웨어 생태계에 있습니다. CUDA는 개발자들이 GPU 위에서 병렬 연산을 쉽게 짤 수 있게 해주는 플랫폼인데, 2006년부터 20년 가까이 쌓아온 라이브러리, 툴, 커뮤니티가 어마어마합니다.
제가 AI 개발자 친구에게 물어봤을 때 이런 말을 들었습니다. ‘코드를 CUDA에서 TPU로 옮기는 게 언어를 바꾸는 수준은 아닌데, 그렇다고 쉽지도 않아. 최적화를 다시 해야 하니까.’ 이처럼 전환 비용(switching cost)이 만만찮다는 게 엔비디아의 든든한 방어막입니다.
4.삼성전자·SK하이닉스가 두 진영 모두에 HBM을 댄다는 것
이 판도 변화를 이야기할 때 한국 기업들 이야기를 빼놓을 수 없습니다. AI 칩이 아무리 빠르게 연산을 해도, 데이터를 빠르게 주고받는 메모리가 없으면 병목이 생깁니다. 이때 쓰이는 핵심 부품이 HBM(High Bandwidth Memory, 고대역폭 메모리)인데, 이 시장의 선두주자가 바로 SK하이닉스와 삼성전자입니다.
흥미로운 점은 이 두 회사가 엔비디아 GPU 쪽과 구글 TPU 쪽 양쪽 모두에 HBM을 공급하고 있다는 사실입니다. 엔비디아 H100·H200에도 SK하이닉스의 HBM3E가 들어가고, 구글 TPU 최신 세대에도 HBM이 탑재됩니다.
업계 일각에서는 이를 두고 ‘양다리 전략으로 리스크 헤지가 잘 된다’는 시각도 있고, 반면 ‘어느 쪽이 이기든 고객이 되니 안정적’이라는 평가도 있습니다. 다만 그것이 반드시 유리하다, 혹은 불리하다고 단정 짓기는 어렵습니다. AI 칩 전쟁의 승자가 누가 되느냐에 따라, 어느 쪽 고객이 더 많은 물량을 요구하게 될지는 아직 열려 있는 문제이기 때문입니다.
한 업계 관계자는 이 상황을 ‘총기 전쟁에서 총알 만드는 회사’에 비유했습니다. 어느 쪽이 이기든 총알은 필요하다는 거죠. 물론 전쟁이 아예 끝나거나 판도가 급변하면 이야기가 달라질 수도 있습니다.
HBM 공급 경쟁과 기술 우위 유지
AI 가속기 시장이 커질수록 HBM 수요도 폭발적으로 늘어납니다. 문제는 HBM이 만들기가 워낙 까다롭다는 점입니다. 일반 DRAM 칩들을 수직으로 쌓아 올려 연결하는 구조라 불량 하나가 전체를 망가뜨릴 수 있고, 수율(정상 생산 비율)을 높이는 게 핵심 기술입니다.
SK하이닉스가 현재 HBM3E 공급에서 앞서 나가고 있고, 삼성전자도 빠르게 추격 중입니다. TPU 진영이 커질수록 이 두 회사에 대한 수요가 늘어나는 건 사실이지만, 동시에 경쟁도 치열해집니다. 이 부분은 앞으로 계속 눈여겨봐야 할 포인트입니다.
5. 지금 이 변화, 앞으로 어떻게 흘러갈까 – 세 가지 시나리오
미래는 아무도 모릅니다만, 지금까지의 흐름을 보면 크게 세 가지 방향으로 전개될 수 있을 것 같습니다.
첫 번째 시나리오는 ‘TPU가 특정 워크로드에서 GPU와 공존하는 구조’입니다. AI 모델 훈련과 추론처럼 반복적이고 구조화된 작업에는 TPU가, 다양한 실험적 연구나 그래픽 관련 작업에는 GPU가 쓰이는 식으로 역할이 나뉘는 방향입니다. 이게 현재로서는 가장 현실적인 시나리오처럼 보입니다.
두 번째는 ‘메타의 TPU 도입이 도미노 효과를 만드는 경우’입니다. 만약 메타가 실제로 수십억 달러 규모의 TPU를 도입하고, 성과가 좋다는 게 알려지면 마이크로소프트, 아마존, 애플 등 다른 빅테크들도 ‘우리도 한번 써볼까?’ 하고 움직일 수 있습니다. 이 경우엔 엔비디아의 점유율에 실질적인 변화가 생길 수 있죠.
세 번째는 ‘엔비디아가 다시 격차를 벌리는 경우’입니다. 엔비디아도 가만히 있지 않습니다. 블랙웰(Blackwell) 아키텍처, 그 다음 세대 칩 개발, CUDA 생태계 강화 등 지속적인 혁신으로 반격할 수 있습니다. 역사적으로 기술 패권을 쥔 기업들이 쉽게 내려오지 않는다는 사례는 많습니다.
어떤 시나리오가 현실이 될지는 지금 단계에서 판단하기 어렵습니다. 아직 너무 많은 변수가 ‘진행 중’이기 때문입니다.
오늘 이야기를 정리하자면, 구글 TPU가 주목받게 된 건 크게 두 가지 이유입니다. 하나는 제미나이3라는 실전 증거, 그리고 또 하나는 메타라는 상징적인 큰손의 움직임이죠.
하지만 저는 이걸 ‘엔비디아의 몰락’이나 ‘TPU의 혁명’으로 읽지는 않습니다. 아직 계약도 안 됐고, 실제 점유율 데이터도 없고, 기술적 한계도 분명히 존재하니까요. 다만 이전까지 ‘엔비디아 외에 선택지가 없다’는 게 상식처럼 통하던 AI 칩 시장에서 처음으로 균열의 조짐이 나타나고 있다는 건, 분명히 짚어둘 가치가 있는 변화입니다.
앞으로 메타의 최종 결정이 어떻게 나올지, 구글이 TPU를 외부 클라우드 고객에게 얼마나 적극적으로 개방할지, 그리고 엔비디아가 이에 어떻게 맞대응할지가 핵심 관전 포인트가 될 것입니다. 삼성전자·SK하이닉스의 HBM 공급 구조가 이 경쟁 속에서 어떤 방향으로 흘러갈지도 마찬가지입니다.
결론은 하나입니다. 지금은 지켜볼 때입니다. 그리고 이 흐름은 꽤 오래, 계속 흥미로울 것 같습니다.
자주 묻는 질문
Q. 구글 TPU와 엔비디아 GPU의 가장 큰 차이점은 무엇인가요?
A. GPU는 그래픽 처리에서 출발한 범용 병렬 연산 칩으로, AI뿐 아니라 다양한 분야에서 활용됩니다. 반면 TPU는 처음부터 AI 연산, 특히 딥러닝의 핵심인 행렬 곱셈에 특화되도록 설계된 칩입니다. 쉽게 말해 GPU가 만능 요리사라면 TPU는 AI 모델 훈련·추론에 최적화된 파스타 장인에 가깝습니다. 특정 작업에서는 TPU가 훨씬 빠르고 전력 효율이 높을 수 있지만, 범용성은 GPU가 앞섭니다.
Q. 메타가 실제로 TPU를 도입하면 엔비디아 주가에 영향을 줄까요?
A. 아직 논의 단계이기 때문에 확정적으로 말하기 어렵습니다. 다만 메타 같은 최대 고객이 공급망을 일부라도 다변화한다면, 엔비디아의 중장기 성장 기대치에 영향을 줄 수 있습니다. 그러나 현재 엔비디아의 수요가 공급을 초과하는 상황이라 단기 실적에 직접적인 타격을 주기는 어렵다는 시각도 있습니다. 투자 결정은 반드시 전문가 상담을 통해 하시길 권장합니다.
Q. 구글 TPU는 일반 기업이나 개발자도 사용할 수 있나요?
A. 네, 가능합니다. 구글 클라우드(Google Cloud)를 통해 TPU를 시간 단위로 임대하는 형태로 사용할 수 있습니다. 다만 엔비디아 GPU 기반의 CUDA 코드를 그대로 사용하는 건 어렵고, JAX 같은 구글 친화적인 프레임워크를 사용하거나 별도 최적화 작업이 필요합니다. 소규모 실험이나 특정 AI 워크로드에는 충분히 실용적인 선택지가 될 수 있습니다.
Q. 한국 반도체 기업들은 TPU-GPU 경쟁에서 어떤 위치에 있나요?
A. SK하이닉스와 삼성전자는 AI 가속기에 필수적인 HBM(고대역폭 메모리)을 엔비디아 GPU와 구글 TPU 양쪽 모두에 공급하고 있습니다. 어느 쪽이 주도권을 잡든 HBM 수요는 늘어나는 구조라는 점에서 안정적이라는 시각이 있는 반면, 경쟁이 심화될수록 단가 압박이나 특정 진영 집중 요구가 생길 수 있다는 신중론도 존재합니다. 현재로선 두 회사 모두 기술 우위 유지와 수율 개선에 집중하는 모습입니다.
참고 자료
함께 보면 좋은 CLEAR POINT 글
AI 뉴스마다 나오는 HBM, 삼성·SK하이닉스 경쟁까지 한눈에
#구글 TPU#엔비디아 GPU 경쟁#아이언우드 TPU#메타 TPU 구매#AI 반도체 시장#HBM 공급 삼성 SK하이닉스