DeepSeek AI는 오픈 소스 주간 행사에서 Fire-Flyer 파일 시스템(3FS)을 완전한 오픈 소스 솔루션으로 출시했습니다. 이 병렬 파일 시스템은 AI-HPC 작업을 위해 설계되었으며, 2019년부터 사용된 서버 데이터 클러스터에서 인상적인 집합적 읽기 처리량 7.3 TB/s를 자랑합니다.
3FS는 Linux 기반으로 무작위 읽기 속도를 우선시하며, 읽기 캐싱에 의존하는 전통적인 파일 시스템과는 크게 다릅니다. 이러한 설계 선택은 데이터 접근이 무작위적이고 일회성인 대형 언어 모델(LLM) 훈련에 특히 유리하여, 읽기 캐싱이 효과적이지 않습니다. 사실, 읽기 캐시를 사용하는 것은 LLM에서 의도치 않은 데이터 연관성을 초래할 수 있어 해로울 수 있습니다.
실제 적용 사례로, DeepSeek의 Fire-Flyer 2 클러스터는 180개의 스토리지 노드를 활용했으며, 각 노드는 16개의 16TB SSD와 두 개의 200Gbps NUC를 장착하여 10,000개의 PCIe NVIDIA A100 GPU에 서비스를 제공했습니다. 3FS의 성능 벤치마크는 6.6 TB/s에 도달했으며, 추가로 1.4 TB/s는 백그라운드 훈련 작업에서 발생했습니다. 반면, 경쟁사인 Ceph 파일 시스템은 68개의 노드로 구성된 복잡한 설정에서 단 1.1 TB/s의 읽기 처리량을 기록했습니다.
3FS는 DeepSeek의 소프트웨어 스택에서 중요한 구성 요소로 인정받아 Fire-Flyer 2 HPC 솔루션이 NVIDIA의 DGX-A100 서버 성능의 80%를 단 50%의 비용과 60%의 전력 소비로 달성할 수 있도록 합니다. Fire-Flyer 파일 시스템은 이제 DeepSeek의 GitHub 페이지에서 다운로드할 수 있으며, 중국 기술에 대한 인식과 관련된 잠재적 도전에도 불구하고 AI-HPC 애호가와 기업들 사이에서 인기를 끌 것으로 예상됩니다.
* 이 글은
tomshardware.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.