미시간 대학교의 스타트업 MemryX가 효율적인 AI 처리를 위해 설계된 MX3 AI 가속기 모듈을 $149에 출시했습니다. 이 M.2 모듈은 엣지 컴퓨팅에 최적화되어 있으며, 전력 효율성과 컴팩트한 디자인을 강조합니다.
이 모듈은 표준 M.2 2280 폼 팩터 내에 네 개의 MemryX MX3 AI 가속기 칩을 통합하여 PCIe Gen 3 M.2 슬롯이 있는 시스템에 쉽게 설치할 수 있습니다. 각 MX3 칩은 6 TOPS(초당 테라 연산)를 제공하여 총 24 TOPS를 달성하며, 전력 소모는 6~8와트에 불과합니다. 4비트, 8비트, 16비트 가중치 및 BFloat16을 포함한 다양한 데이터 형식을 지원하며, 능동 냉각 없이 패시브 히트싱크를 이용해 열 관리를 수행합니다.
Phoronix는 MX3 모듈을 테스트하며 Ubuntu 24.04 LTS 시스템에서 오픈 소스 드라이버 및 개발자 도구와의 통합이 용이하다는 것을 발견했습니다. 24 TOPS 성능은 다양한 추론 작업에 적합하며, 특히 8비트 가중치에 최적화된 작업에 유리합니다. 이 모듈은 TensorFlow 및 ONNX와 같은 프레임워크를 지원하여 소형 및 중형 AI 모델에 효율적입니다. 각 MX3 칩은 최대 1,050만 개의 8비트 매개변수를 처리할 수 있으며, 네 개의 칩을 합치면 총 4,200만 개의 매개변수 용량에 도달합니다.
MemryX는 2025년에 새로운 PCIe 카드를 도입하여 모듈의 기능을 향상시킬 계획이며, 이 카드에는 추가 MX3 AI 칩과 온보드 DRAM이 포함될 것입니다. MX3 M.2 모듈은 AI 처리를 엣지 장치에 통합하려는 개발자와 조직을 위한 저렴한 솔루션으로 자리 잡고 있습니다. MemryX는 CES 2025에서 이 모듈을 선보이며 실제 애플리케이션에서의 성능을 시연하고, 그 다재다능함을 강조할 예정입니다.
* 이 글은
tomshardware.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.