2024년 핫 칩스(Hot Chips) 행사에서 SambaNova는 트릴리언 파라미터 AI 모델을 위해 설계된 SN40L RDU를 소개했습니다. 이 칩은 5nm TSMC 아키텍처를 특징으로 하며, 훈련 및 추론 작업에 최적화된 독특한 데이터 흐름 설계를 포함하고 있습니다. SN40L은 520MB의 온칩 SRAM, 64GB의 HBM, 추가 DDR 메모리를 포함한 세 가지 메모리 계층을 갖추고 있어, 16소켓 시스템에서 8GB의 SRAM과 1TB의 HBM을 제공할 수 있습니다.
이 아키텍처는 메쉬 스위치를 통해 연결된 1040개의 컴퓨트 및 메모리 유닛을 포함하여 데이터 처리 효율성을 향상시킵니다. 전통적인 실행 유닛 대신, 컴퓨트 유닛은 정적 단계의 시퀀스를 사용하여 스트리밍 유닛 또는 행렬 계산을 위한 시소릭 배열로 기능할 수 있습니다. 메모리 유닛은 기존 캐시 대신 프로그래머블 관리 스크래치 패드를 사용하여 메모리 관리를 개선합니다.
이 칩의 설계는 벡터, 스칼라, 제어의 세 가지 물리적 네트워크를 갖춘 메쉬 네트워크를 특징으로 하여 효율적인 데이터 접근을 용이하게 합니다. 아키텍처는 특히 대형 언어 모델(LLM) 및 생성적 AI에서 변환기 모델에 맞춰 조정되었으며, 컴파일러는 하드웨어에 대한 작업 매핑을 최적화합니다.
SambaNova는 SN40L RDU가 특히 추론 작업에서 매력적인 성능을 제공한다고 주장하며, 호스트 CPU에 접근할 필요 없이 전문가 모델 체크포인트의 혼합을 처리할 수 있다고 밝혔습니다. 이 기능은 모델 전환을 관리하기 위해 추가 GPU의 필요성을 줄여 AI 처리 기술의 중요한 발전을 의미합니다.
전반적으로 SN40L RDU는 AI 하드웨어에서 주목할 만한 진전을 나타내며, AI 모델 훈련 및 추론의 효율성과 확장성을 향상시킬 수 있는 혁신적인 기능을 보여줍니다.
* 이 글은
servethehome.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.