这篇论文是关于DeepSeek-V3的技术报告,介绍了该混合专家(MoE)语言模型在架构、训练、评估等方面的创新与优化,展示其超越开源模型、接近闭源模型的性能优势及高效低成本的训练特点。
- 模型概述:DeepSeek-V3是671B参数的MoE语言模型,每个token激活37B参数。采用MLA和DeepSeekMoE架构,创新提出无辅助损失的负载均衡策略和多token预测训练目标,在14.8万亿高质量token上预训练,经监督微调(SFT)和强化学习(RL)后,性能优异且训练成本低,模型检查点开源。
- 模型架构:基于Transformer框架,采用MLA和DeepSeekMoE。MLA通过...