DeepSeek는 6710억 개의 매개변수를 자랑하는 Mixture-of-Experts (MoE) 언어 모델을 훈련시키며 AI 분야에서 중요한 발전을 이루었습니다. 이 과정에서 2,048개의 Nvidia H800 GPU 클러스터를 약 두 달간 활용하여, Meta와 같은 업계 선두주자들에 …