EROFS(Enhanced Read-Only File System)는 AI 모델 훈련을 위해 대량의 데이터 볼륨을 수용할 수 있도록 상당한 개선 작업을 진행하고 있습니다. 현재 32비트 블록 주소 지정의 제한으로 인해 EROFS는 4KiB 블록을 사용할 경우 최대 16TiB의 볼륨 크기로 제한됩니다. 새로운 업데이트는 48비트 블록 주소 지정을 구현하여 이 용량을 확장하고, 이는 모델 훈련 중 랜덤 샘플링 성능을 개선하는 데 필수적인 대규모 데이터 세트를 허용하며, EROFS 직접 패스스루를 활용하는 객체 저장 클라이언트에도 유용합니다. 주요 기술 개선 사항으로는 기본 타임스탬프 지원을 위한 32바이트 압축 inode에 mtime 필드를 도입하고, 증분 빌드를 위한 슈퍼블록 루트 NID를 8바이트 형식으로 확장하는 것이 포함됩니다. 또한, 업데이트는 특히 Zstd와 같은 인기 있는 압축 알고리즘에 대한 지원을 강화하기 위해 바이트 지향 인코딩된 범위를 도입합니다. 이 변경 사항은 이러한 압축기가 기존 방법을 유지하면서 대규모 압축 단위를 효율적으로 인덱싱할 수 있도록 합니다. 성능 벤치마크는 이러한 개선 사항의 효과를 입증합니다. 예를 들어, Intel Xeon Platinum 8163 CPU를 사용했을 때, 데이터 세트(enwik9)의 빌드 시간이 크게 단축되었습니다. 결과적으로 표준 명령의 빌드 시간은 3분 52초였으며, 새로운 48비트 주소 지정 방법은 단 3분 48초의 빌드 시간을 기록했습니다. 또한, 보다 최적화된 명령은 더 큰 이미지 크기에 대해 단 12.821초의 놀라운 빌드 시간을 달성했습니다. 이러한 발전은 EROFS를 AI 모델 훈련과 대량 데이터 저장의 증가하는 요구를 처리할 수 있는 보다 유능한 파일 시스템으로 자리매김하게 하여, 고성능 컴퓨팅 작업을 위해 설계된 파일 시스템의 경쟁력 있는 옵션으로 만들고 있습니다.
* 이 글은
phoronix.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.