레드햇(Red Hat)과 AMD는 AI 애플리케이션을 위해 오픈소스 GPU 스택을 향상시키기 위해 협력하고 있습니다. 이 파트너십은 AMD GPU의 성능을 개선하는 데 중점을 두고 있으며, AMD 커널 라이브러리를 업스트리밍하고 트라이톤(Triton) 커널 및 …

Pliops는 XDP LightningAI 장치와 FusIOnX 소프트웨어를 도입하여 복잡한 언어 모델의 확장된 컨텍스트 윈도우를 처리하는 데 있어 GPU에 연결된 고대역폭 메모리(HBM)의 한계를 극복하고자 합니다. 이 솔루션은 미리 계산된 컨텍스트를 빠른 SSD에 …

레드햇이 오픈소스 AI 역량을 강화하기 위해 뉴럴 매직을 인수했다고 발표했습니다. 특히 UC 버클리에서 개발한 vLLM 프로젝트를 통해 이루어지는 이번 인수는 생성적 AI를 위한 모델 서빙에 중점을 둔 오픈소스 이니셔티브입니다. vLLM은 …