레드햇이 생성 AI 애플리케이션의 배포를 향상시키기 위해 설계된 Kubernetes 네이티브 고성능 분산 LLM 추론 프레임워크인 llm-d 프로젝트를 공개했습니다. 이 프레임워크는 사용자가 AI 모델을 대규모로 제공할 수 있는 간소화된 경로를 제공하며, 다양한 하드웨어 가속기에서 빠른 가치 실현과 경쟁력 있는 성능을 강조합니다.
llm-d의 주요 기능으로는 모듈형 아키텍처와 생성 AI 배포를 효과적으로 운영화할 수 있는 능력이 있습니다. KV-캐시 인식 라우팅 및 분산 서비스와 같은 고급 분산 추론 최적화를 통합하고 있으며, 이는 Kubernetes 운영 도구, 특히 추론 게이트웨이(Inference Gateway, IGW)와 함께 설계되어 원활한 통합과 성능을 보장합니다.
llm-d의 도입은 레드햇을 생성 AI 분야의 중요한 플레이어로 자리매김하게 하며, 효율성과 비용 효과성 측면에서 기존 프레임워크를 능가할 수 있는 솔루션을 제공합니다. 이 프로젝트는 AI 애플리케이션을 위한 Kubernetes의 기능을 향상시킬 뿐만 아니라, 다양한 산업에서 확장 가능한 AI 솔루션에 대한 증가하는 수요와도 일치합니다.
* 이 글은
phoronix.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.