2024년 Hot Chips 행사에서 메타는 추천 추론을 위해 특별히 설계된 차세대 MTIA 프로세서를 공개했습니다. 이 프로세서는 이 분야에서 GPU가 직면한 문제를 해결하는 데 중점을 두고 있습니다. 새로운 MTIA는 상당한 컴퓨팅 성능 향상을 특징으로 하며, TSMC의 5nm 공정으로 제작되었고 열 설계 전력(TDP)은 90W입니다. 16채널에 걸쳐 128GB의 LPDDR5 메모리와 256GB의 온칩 SRAM을 통합하여 추천 엔진의 성능을 최적화합니다.
이 아키텍처는 PCIe Gen5 x8 호스트 인터페이스를 활용하며, RISC-V 코어를 기반으로 하여 전통적인 GPU 설계에서 벗어난 특징을 가지고 있습니다. 새로운 칩 내 네트워크(Network-on-Chip, NoC)는 이전 모델보다 더 빠르며, 처리 요소는 스칼라 및 벡터 기능을 포함하고, 점곱 엔진(Dot Product Engine, DPE)과 384KB의 로컬 메모리를 갖추고 있습니다. 메타는 또한 높은 정확성을 위한 정수 동적 양자화 엔진(Integer Dynamic Quantization Engine)과 데이터 전송 효율성을 향상시키기 위한 하드웨어 압축 해제 엔진을 통합했습니다.
특히 주목할 만한 기능은 테이블 분기 임베딩(Table Branch Embedding, TBE)으로, 이는 실행 시간을 2-3배 개선할 수 있다고 보고되고 있습니다. 각 가속기 모듈에는 두 개의 MTIA 칩이 포함되어 있으며, 220W의 관리 가능한 TDP를 유지하면서 PCIe 레인을 효율적으로 활용합니다. 시스템 아키텍처는 메모리 확장 옵션을 허용하지만 현재는 배치되지 않았으며, 낮은 전력 밀도 랙을 위해 설계되어 있으며, 한 섀시당 12개의 모듈을 수용할 수 있습니다.
전반적으로 메타의 새로운 MTIA 프로세서는 추천 엔진 기술에서 중요한 발전을 나타내며, 현대 아키텍처와 혁신적인 기능을 활용하여 AI 애플리케이션의 성능과 효율성을 향상시키고 있습니다. RISC-V와 PCIe를 통한 공유 메모리의 사용은 기술 산업에서 하드웨어 설계의 한계를 확장하려는 메타의 의지를 강조합니다.
* 이 글은
servethehome.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.