구글 TPU, 진짜 쌀까...? NVIDIA가 더 싸던데? 하이퍼스케일과 스타트업의 다른 계산법

TPU가 정말 저렴한가? 숫자 뒤에 숨은 가정

구글 클라우드가 공개한 자료를 보면 TPU v5e로 100만 토큰을 처리할 때 비용이 0.30달러까지 떨어진다고 해요. 이전 세대 대비 3배 이상 개선된 수치죠. 세미어널리시스 분석에서도 A100이나 H100과 비교했을 때 달러당 성능이 2~3배 높게 나왔습니다.

하지만 이 숫자는 한 달에 수십억~수조 토큰을 끊임없이 뽑아내는 환경을 전제로 한 거예요. 토큰 볼륨이 작으면 단가 우위가 사라지기 시작하죠. 실제로 TPU v6e에서도 특정 워크로드에서 H100 대비 4배 성능을 보였다는 발표가 있었는데, 이 역시 고정된 대규모 서비스를 가정하고 있습니다.

여기서 중요한 건 XLA와 제스트림 같은 구글 전용 최적화 도구를 써야 한다는 점이에요. 그냥 PyTorch 코드를 그대로 올리면 컴파일 오버헤드가 커서 체감 속도가 느려질 수 있어요. 그래서 “숫자만 보면 TPU가 싸지만, 실제로 쓰려면 코드 포팅 작업이 필수”라는 점을 먼저 이해해야 해요.

하이퍼스케일러와 스타트업이 보는 비용 기준이 왜 다른가

하이퍼스케일러 입장에서는 TCO(총소유비용)가 핵심이에요. 하드웨어 가격, 전력, 인건비, 리스크까지 모두 합쳐서 1년 단위로 계산하죠. 메타가 TPU 도입을 검토하는 이유도 바로 이 TCO 관점 때문입니다.

반면 월 수억~수십억 토큰 수준의 중간 규모 SaaS 기업은 상황이 달라요. 모델이 자주 바뀌고, 멀티클라우드 전략을 쓰는 경우가 많아서 GPU가 더 유연하게 느껴지죠. CUDA 생태계가 이미 성숙해 있어서 개발자 채용이나 유지보수 비용이 낮아요.

연구실이나 개인 프로젝트에서는 토큰량 자체가 적기 때문에 TPU의 가격 우위가 거의 의미가 없어요. 오히려 XLA 컴파일 시간 때문에 개발 속도가 느려진다는 불만이 많더라고요. 그래서 “TPU가 싸다”는 말은 규모와 워크로드에 따라 완전히 다른 결론으로 이어진다는 점을 기억해야 해요.

TPU 도입 전 꼭 확인해야 할 실전 체크리스트

먼저 현재 월 토큰 사용량을 정확히 측정해 보세요. 10억 토큰 이상 안정적으로 나온다면 TPU 전환을 진지하게 검토할 만해요. 그 이하면 GPU를 유지하면서 비용을 먼저 줄이는 편이 낫습니다.

두 번째로 모델 변경 주기를 확인하세요. 한 달에 한 번 이상 아키텍처를 크게 바꾼다면 TPU 포팅 비용이 오히려 커질 수 있어요. 반대로 추천 시스템처럼 고정된 모델을 계속 돌린다면 TPU가 확실한 이점이 있습니다.

마지막으로 인력 상황을 점검해 보세요. JAX와 XLA 경험이 있는 엔지니어가 있는지, 없다면 교육 비용까지 계산해야 해요. NVIDIA GPU는 이미 CUDA 개발자가 많아서 채용 리스크가 낮은 편이죠. 이 세 가지를 체크한 뒤에야 TPU 도입 여부를 결정하는 게 안전합니다.