레드햇(Red Hat)과 AMD는 AI 애플리케이션을 위해 오픈소스 GPU 스택을 향상시키기 위해 협력하고 있습니다. 이 파트너십은 AMD GPU의 성능을 개선하는 데 중점을 두고 있으며, AMD 커널 라이브러리를 업스트리밍하고 트라이톤(Triton) 커널 및 FP8과 같은 구성 요소를 최적화합니다. 이러한 향상은 밀집 모델과 양자화 모델 모두에 대해 더 나은 추론 성능을 제공하여 AMD 인스팅트(MI300X) 가속기에서 vLLM의 실행 속도를 높입니다.
또한, 이 협력은 집단 통신을 개선하고 여러 GPU 간의 작업 부하를 최적화하여 다중 GPU 지원을 향상시키는 것을 목표로 하고 있습니다. 이러한 개발은 여러 GPU가 필요한 분산 컴퓨팅 작업에 특히 중요하며, 병목 현상을 줄이고 전체 처리량을 증가시켜 확장 가능하고 에너지 효율적인 AI 배포를 가능하게 합니다.
파트너십은 IBM과 같은 업계 리더들과의 교차 협력을 통해 vLLM 생태계 내에서의 참여 확대를 강조합니다. 이러한 노력은 업스트림 개발을 가속화하고, vLLM 프로젝트와 AMD GPU 최적화를 위한 지속적인 개선을 촉진하여, 궁극적으로 AI 추론 및 훈련을 위해 AMD 하드웨어에 의존하는 사용자에게 혜택을 제공합니다.
* 이 글은
phoronix.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.