인텔이 Gaudi 3 AI Accelerators의 일반 공급을 발표하며, 다음 달부터 배송을 시작할 예정입니다. Gaudi 3 시리즈는 AI 가속기 시장에서 비용 효율적인 솔루션을 제공하도록 설계되었으며, 경쟁사에 비해 더 나은 가치를 제공하는 데 중점을 두고 있습니다.
Gaudi 3 제품군에는 가속기 카드(HL-325L OAM 호환), 범용 베이스보드(HLB-325), PCIe CEM(HL-388 추가 카드)이 포함됩니다. PCIe CEM은 최대 1835 TFLOPS의 FP8 피크 컴퓨팅 성능, 128 GB의 HBM2e 메모리, 600W의 TDP를 자랑하며, 8개의 행렬 곱셈 엔진과 64개의 TPC를 특징으로 합니다.
성능 지표에 따르면, Gaudi 3 AI Accelerators는 LLaMA 3 8B 모델에서 최대 9% 더 나은 추론 성능 향상을 제공하며, NVIDIA H100에 비해 달러당 80% 더 나은 성능을 제공합니다. LLaMA 70B 모델에서는 H100에 비해 19% 더 나은 추론 처리량과 2배의 성능을 달러당 제공합니다.
참조 서버(HLS-3)는 2개의 Intel Xeon 호스트 CPU를 포함하고 8개의 OAM 카드를 지원하여, 스케일 업 시 총 대역폭 67.2 Tb/s, 스케일 아웃 시 9.6 Tb/s를 달성합니다. Gaudi 소프트웨어 스위트는 다양한 양자화 형식을 지원하며, Dell Technologies 및 HPE와 같은 주요 기업과의 파트너십을 통해 Gaudi 생태계를 강화하고 있습니다.
전반적으로 Gaudi 3 AI Accelerators는 AI 가속기 시장에서 경쟁력 있는 대안으로 자리 잡고 있으며, 기존 솔루션에 비해 비용 효율성과 성능 향상을 강조하고 있습니다.
* 이 글은
wccftech.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.