NVIDIA는 OCP 서밋 2024에서 새로운 PCIe 폼 팩터 GPU인 H200 NVL을 공개하며, 최대 TDP 600W의 저전력 인퍼런스 중심 솔루션에 초점을 맞췄습니다. H200 NVL은 4-way NVLink 브리지를 특징으로 하여, 이전의 2-way 링크에 비해 GPU 간의 연결성을 향상시켜 NVLink 스위치의 필요성을 없애 전력 소비와 비용을 줄입니다.
각 H200 NVL 카드에는 141GB의 HBM이 탑재되어 있으며, 네 개의 카드에서 총 564GB를 제공하여 인퍼런스 작업에 강력한 옵션이 됩니다. H200 NVL의 성능은 600W 제한으로 인해 H200 SXM 변형보다 약간 낮지만, NVIDIA AI Enterprise가 포함되어 있어 기업 애플리케이션에 가치를 더합니다.
이 디자인은 기존의 8개의 더블 폭 GPU 서버 구성에 두 개의 4-GPU 클러스터를 적재할 수 있도록 하여, 비용을 낮추면서 인퍼런스 기능을 확장하려는 조직에 실용적인 선택이 됩니다. NVIDIA L40S와 비교할 때, H200 NVL은 성능, 비용 및 전력 효율성에서 개선을 제공하여 다양한 서버 디자인과의 호환성을 선호하는 사용자에게 매력적입니다.
* 이 글은
servethehome.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.