SC24에서 Google은 AI 작업을 위해 특별히 설계된 최신 TPU v6e Trillium 보드를 공개했습니다. 이 새로운 칩은 이전 v5e 버전보다 상당한 업그레이드를 나타내며, 온보드 HBM이 16GB에서 32GB로 두 배 증가하여 성능 능력을 향상시켰습니다. 대역폭도 두 배로 증가하여 INT8 및 bfloat16 작업에서 약 4.6-4.7배의 성능 향상을 가져왔습니다.
TPU v6e Trillium 보드는 듀얼 소켓 CPU 인스턴스에 연결된 네 개의 칩으로 구성되어 있으며, 각 프로세서는 네 개의 TPU v6e 칩을 지원합니다. 각 포드는 256개의 가속기 세트를 갖추고 있으며 2D Torus 상호 연결을 사용합니다. 특히, 상호 연결 대역폭은 두 개의 100Gbps 링크에서 네 개의 200Gbps 링크로 네 배 증가했으며, 칩 간 상호 연결 대역폭도 이번 세대에서 두 배 이상 증가했습니다.
이러한 발전에도 불구하고 Google은 이번 세대에서 가속기당 더 높은 요금을 부과할 것으로 예상됩니다. 그러나 향상된 성능은 v5e 인스턴스에 비해 고객에게 더 낮은 전체 비용을 가져올 것으로 기대됩니다. 이는 Microsoft Azure와 AWS와 경쟁하는 Google에게 매우 중요한 조치로, 이들 또한 AI 애플리케이션을 위한 맞춤형 실리콘을 개발하고 있습니다. NVIDIA가 제품 제공을 빠르게 발전시키고 있는 가운데, Google은 시장에서 경쟁력을 유지하기 위해 계속해서 혁신하고 더 나은 성능을 제공해야 합니다.
* 이 글은
servethehome.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.