새로운 AI 가속기가 M.2 SSD 포트에 장착 — MemryX, 24 TOPS 성능의 $149 MX3 AI 가속기 모듈 출시

전문: https://www.tomshardware.com/tech-industry/artificial-intelligence/...

원저자: Kunal Khullar | 작성일: 2024-12-20 13:32
사이트 내 게시일: 2024-12-20 16:34
미시간 대학교의 스타트업 MemryX가 효율적인 AI 처리를 위해 설계된 MX3 AI 가속기 모듈을 $149에 출시했습니다. 이 M.2 모듈은 엣지 컴퓨팅에 최적화되어 있으며, 전력 효율성과 컴팩트한 디자인을 강조합니다.

이 모듈은 표준 M.2 2280 폼 팩터 내에 네 개의 MemryX MX3 AI 가속기 칩을 통합하여 PCIe Gen 3 M.2 슬롯이 있는 시스템에 쉽게 설치할 수 있습니다. 각 MX3 칩은 6 TOPS(초당 테라 연산)를 제공하여 총 24 TOPS를 달성하며, 전력 소모는 6~8와트에 불과합니다. 4비트, 8비트, 16비트 가중치 및 BFloat16을 포함한 다양한 데이터 형식을 지원하며, 능동 냉각 없이 패시브 히트싱크를 이용해 열 관리를 수행합니다.

Phoronix는 MX3 모듈을 테스트하며 Ubuntu 24.04 LTS 시스템에서 오픈 소스 드라이버 및 개발자 도구와의 통합이 용이하다는 것을 발견했습니다. 24 TOPS 성능은 다양한 추론 작업에 적합하며, 특히 8비트 가중치에 최적화된 작업에 유리합니다. 이 모듈은 TensorFlow 및 ONNX와 같은 프레임워크를 지원하여 소형 및 중형 AI 모델에 효율적입니다. 각 MX3 칩은 최대 1,050만 개의 8비트 매개변수를 처리할 수 있으며, 네 개의 칩을 합치면 총 4,200만 개의 매개변수 용량에 도달합니다.

MemryX는 2025년에 새로운 PCIe 카드를 도입하여 모듈의 기능을 향상시킬 계획이며, 이 카드에는 추가 MX3 AI 칩과 온보드 DRAM이 포함될 것입니다. MX3 M.2 모듈은 AI 처리를 엣지 장치에 통합하려는 개발자와 조직을 위한 저렴한 솔루션으로 자리 잡고 있습니다. MemryX는 CES 2025에서 이 모듈을 선보이며 실제 애플리케이션에서의 성능을 시연하고, 그 다재다능함을 강조할 예정입니다.

* 이 글은 tomshardware.com의 기사를 요약한 것입니다. 전체 기사의 내용은 이곳에서 확인하실 수 있습니다.
카테고리: AI
태그: CES 2025 (165) Power Efficiency (96) compact design (43) AI accelerator (29) Edge Computing (13) TensorFlow (6) TOPs (4) MemryX (2) M.2 module (2) ONNX (1)

댓글

댓글을 쓰기 위해서는 로그인을 해 주세요.