마이크로소프트 연구진은 20억 개 매개변수를 가진 오픈 소스 1비트 대형 언어 모델(LLM)인 BitNet b1.58 2B4T를 개발했습니다. 이 모델은 4조 개의 토큰으로 훈련되었으며, 표준 CPU에서 효율적으로 작동할 수 있도록 설계되었습니다. 애플 M2 칩이 이를 실행할 수 있는 성능을 가지고 있습니다. 이 모델은 공개 실험을 위해 Hugging Face에서 제공됩니다.
BitNet은 -1, 0, +1의 세 가지 값만을 가지는 1비트 가중치를 사용하여, 32비트 또는 16비트 부동 소수점 형식을 사용하는 전통적인 AI 모델에 비해 메모리 사용량을 크게 줄입니다. 이러한 효율성 덕분에 BitNet은 적은 메모리와 계산 능력을 요구하지만, 더 큰 모델에 비해 일부 정확도를 희생합니다. 그럼에도 불구하고, 3,300만 권 이상의 책을 포함할 것으로 추정되는 방대한 훈련 데이터가 이 단점을 보완합니다.
메타의 LLaMa 3.2 1B, 구글의 Gemma 3 1B, 알리바바의 Qwen 2.5 1.5B와 같은 주요 모델과의 비교 테스트에서 BitNet b1.58 2B4T는 여러 벤치마크에서 높은 점수를 기록하며 우수한 성능을 보였습니다. 특히, BitNet은 400MB의 비내장 메모리만을 소모하여, 다음으로 작은 모델인 Gemma 3 1B가 1.4GB를 요구하는 것에 비해 30%도 안 되는 메모리 사용량을 기록했습니다.
BitNet이 효율적으로 실행되기 위해서는 bitnet.cpp 추론 프레임워크를 사용해야 하며, 표준 트랜스포머 라이브러리를 사용할 경우 성능 향상이 이루어지지 않습니다. 사용자는 경량 하드웨어에서 이점을 활용하기 위해 GitHub에서 프레임워크를 다운로드해야 합니다. bitnet.cpp 저장소는 CPU에서 1.58비트 모델의 빠르고 손실 없는 추론을 위한 최적화된 커널을 제공하며, 향후 NPU 및 GPU 지원 계획도 있습니다.
BitNet b1.58 2B4T와 같은 경량 LLM의 개발은 AI 모델의 훈련 및 운영에 따른 높은 에너지 소비에 대한 우려를 해결합니다. 이 혁신은 AI 애플리케이션이 덜 강력한 하드웨어에서 로컬로 실행될 수 있도록 하여, 대형 데이터 센터에 대한 의존도를 줄이고, 고급 프로세서나 GPU에 접근할 수 없는 사용자에게 AI를 더 쉽게 접근할 수 있도록 할 수 있습니다.
* 이 글은
tomshardware.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.