Nvidia A100보다 빠른 구글 AI 슈퍼컴퓨터 탄생

지난 화요일, 구글 Alphabet Inc이 새롭게 개발한 머신러닝 전용 칩을 발표했습니다. Nvidia A100보다 속도와 전력 효율 측면에서 모두 뛰어나다고 합니다. 심지어 '세계에서 가장 빠른' 머신러닝용 슈퍼컴퓨터라는 타이틀도 얻었다는데요, 관련해서 자세히 살펴보겠습니다.

 

 

 

구글의 TPU 개발

인공지능 모델에 데이터를 공급하고 학습시키는 과정에 현재는 GPU가 필수입니다. GPT와 같은 대규모 언어 모델은 지속해서 크기가 급격히 증가하고 있는데, 이러한 기술을 구동시키는 AI용 슈퍼컴퓨터 간의 연결성을 개선하는 것은 관련 기업들의 숙제이기도 했습니다. 이런 상황에서 구글이 얼마 전 새로운 TPU(Tensor Processing Unit) 칩을 개발했다는 소식을 전했습니다. 이번에 개발한 광 스위치를 사용하면 4,000개 이상의 칩을 슈퍼컴퓨터에 연결할 수 있고, 슈퍼컴퓨터들 간의 연결성을 향상시키는 데 도움을 준다고 합니다. 슈퍼컴퓨터의 연결성을 개선하는 것은 머신 러닝형 모델의 성능을 가속화하는 데에도 도움을 주기 때문에 결국 서비스의 성능 자체가 향상될 수 있는 것입니다.

 

머신 러닝의 미래, 프로세서의 미래는?

구글은 이와 관련한 기술을 지난 2020년부터 개발해오고 있었습니다. 이번에 발표한 것에 따르면 구글이 최근 개발한 4세대 TPU 칩은 현재 시장 점유율 90% 이상을 차지하고 있는 Nvidia의 A100 칩 기반 시스템 대비 1.2배~1.7배 정도 빠르고 전력 효율은 1.3배~1.9배 뛰어납니다. 지금까지 공개된 언어 모델 중 가장 큰 모델은 구글의 PaLM 모델이었고, 4,000개의 칩을 슈퍼컴퓨터 두 대에 분할해서 50일 간 학습시켰다고 하는데 이번에 새로 개발된 TPU를 사용한다면 칩의 숫자도 줄일 수있을 뿐아니라 학습에 소요되는 시간도 상당량 줄일 수 있게 되는 것입니다. 또한 기존 DSA보다 최대 3배 적은 전력을 사용하면서 이산화탄소 배출량도 최대 20배 낮아졌습니다. 인공지능과 머신러닝 기술에도 '친환경화'가 적용되고 있는 것입니다.

 

이제는 인공지능 기술의 전쟁이 프로세서들 간의 전쟁, 칩의 전쟁으로 번지고 있는 것으로 보입니다. 몇 년 후 오늘날을 돌아다보았을 때 진정한 승자는 누가 되어있을까요. 아직까지는 엔비디아 GPU의 점유율이 압도적인데 구글의 칩이 본격 상용화에 들어가면 모두가 구글의 칩을 이용하고 있을까요, 아니면 엔비디아나 그밖의 프로세서 관련 기업들이 지금까지 쌓아온 기술을 그대로 살려서 더욱 빠르게 자사 제품을 진화해갈까요. 현재 기준으로 IT 업계에서 가장 많은 이용자를 보유하고 있는 건 구글인데, 구글이 가장 먼저 엔비디아를 버리고 자사 칩을 사용해버리는 순간 업계 판도가 완전히 바뀌게 될까요.