인텔이 oneCCL의 2021.14 버전을 출시하며, 성능 및 확장성 향상을 위한 중요한 개선 사항을 도입했습니다. 새로운 버전은 키-값 저장소 지원을 최적화하여 최대 3000개 노드까지 확장할 수 있게 되어, 대규모 데이터 처리 및 분산 컴퓨팅 환경에 필수적입니다.
또한, Allgather, Broadcast 및 그룹 API 호출을 위한 새로운 API가 도입되어 병렬 컴퓨팅 작업에서 데이터 통신의 유연성과 효율성을 향상시킵니다. Allgather, Allreduce 및 Reduce-scatter 작업에 대한 성능 최적화도 이루어져, 확장(scale-up) 및 축소(scale-out) 능력이 개선되었습니다. 이는 데이터 처리에서 높은 처리량과 낮은 대기 시간을 요구하는 애플리케이션에 특히 유리합니다.
이번 업데이트는 단일 노드 CPU 작업에 대한 성능 최적화도 포함되어 있어, 자원 활용도를 높이고 처리 시간을 단축할 수 있습니다. 또한, Level Zero 이벤트 재사용 최적화와 IPC(프로세스 간 통신) 교환을 위한 기본 메커니즘을 pidfd로 변경하여 프로세스 간 통신 효율성을 향상시킬 것으로 기대됩니다.
이러한 발전은 인텔 oneCCL을 고성능 컴퓨팅 및 데이터 집약적 애플리케이션에서 경쟁력 있는 옵션으로 자리매김하게 하며, 특히 동일한 수준의 확장성과 성능 향상을 제공하지 않는 다른 라이브러리와 비교할 때 더욱 두드러집니다.
* 이 글은
phoronix.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.