Microsoft는 Azure에서 OpenAI 모델을 실행하기 위해 특별히 설계된 맞춤형 AI 가속기인 MAIA 100을 소개했습니다. 이 개발은 NVIDIA GPU를 사용하는 것에 비해 비용을 절감하는 것을 목표로 하며, AI 하드웨어 배치에서의 전략적 전환을 강조합니다.
MAIA 100은 TSMC 5nm 아키텍처, 64GB HBM2E 메모리, 500MB의 대용량 L1/L2 캐시, 12x 400GbE 네트워크 대역폭 등 인상적인 사양을 갖추고 있습니다. 이 장치는 700W의 열 설계 전력(TDP)으로 작동하며, 추론 작업 중에는 500W로 감소합니다.
아키텍처 측면에서 각 시스템 온 칩(SoC)은 16개의 클러스터로 구성되며, 각 클러스터는 4개의 타일을 포함하고 9비트 및 6비트 연산을 지원합니다. 상호 연결은 이더넷 기반으로, 맞춤형 RoCE(원격 직접 메모리 접근) 유사 프로토콜을 사용하며, Ultra Ethernet Consortium(UEC)을 촉진합니다.
소프트웨어 생태계에는 비동기 프로그래밍을 지원하는 Maia SDK가 포함되어 있으며, Triton 또는 Maia API를 통해 프로그래밍할 수 있습니다. 또한 PyTorch 모델과 함께 즉시 사용할 수 있는 경험을 제공하며, inter-Maia 통신 라이브러리와 maia-smi와 같은 도구를 제공합니다.
MAIA 100의 사양은 HBM 용량이 낮아 NVIDIA의 H100과 같은 성능을 발휘하지 못할 것이라는 점을 시사하지만, 전력 효율성과 비용 효율성 덕분에 전력 제약 환경에서 경쟁 우위를 제공할 수 있습니다. Microsoft는 MAIA 100을 NVIDIA GPU에 대한 보다 저렴한 대안으로 자리매김하려 하며, 이는 AI 하드웨어 솔루션의 지형을 재편할 가능성이 있습니다.
* 이 글은
servethehome.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.