近2年，随着人工智能技术在快速发展，越来越多的企业和研究机构对AI模型的训练成本感到头疼。高昂的计算资源需求和昂贵的训练费用成为制约AI普及的重要因素。
然而，中国AI科技公司 DeepSeek 成功打破了这一瓶颈，2025一开年，推出了低成本高性能的 AI 模型 DeepSeek-V3 和 DeepSeek-R1 轰动全球。
那么这期文章我们就来详细从技术的角度扒一扒，深入探讨下DeepSeek到底是如何低成本训练出了比肩 Open AI 的o1 这样优秀的大模型。
① MoE架构与稀疏激活机制
DeepSeek采用了混合专家（MoE）架构，这是一种通过动态选择部分神经元进行计算的方法。例如，DeepSeek-V3拥有671B参数，但实际激活的参数仅为37B，正是这种稀疏激活机制大幅减少了计算资源的消耗。
展开来讲，在MOE架构中，DeepSeek引入了路由专家和共享专家的概念 ，路由专家主要是用来选择参数进行激活。比如对于每个输入的token，只有一部分路由专家会被选中来参与计算。这个选择过程是由一个门控机制决定的，而门控机制则是基于亲和度分数来选Top-K的方式实现。
而共享专家始终参与所有输入的处理，也就说，无论输入是什么，所有共享专家都会贡献它们的力量。
② FP8混合精度训练
DeepSeek首次在超大规模模型上验证了FP8混合精度训练的可行性。FP8 是一种低精度浮点数格式，能够在保证模型精度的同时，显著降低计算和存储成本。DeepSeek 团队通过优化算法和硬件协同设计，实现了每万亿Token 仅需 180K GPU 小时的高效训练。
③ 创新的训练策略
DeepSeek引入了“双管”（DualPipe）算法，将计算与通信阶段重叠，减少了跨节点通信的瓶颈。这种设计不仅提高了训练效率，还进一步降低了训练成本。
DeepSeek在模型训练中也引入了多头注意力机制（MLA）和潜在特征等概念，通过 动态稀疏注意力机制 优化了KV缓存的压缩效率，这种机制不仅提升了长文本处理能力，还减少了计算量。
另外，DeepSeek的多标记预测技术（MTP）通过优化时间资源分配，也提高了训练过程中的稳定性。尽管MTP本身并不直接降低训练成本，但它显著提升了模型的推理性能。
再有，DeepSeek 的 R1-Zero 版本 完全依赖强化学习（RL），无需人工标注的SFT 数据，仅通过基于规则的奖励机制（如准确性奖励和格式奖励）引导模型学习，减少了数据标注成本。而R1在R1-Zero基础上引入 少量高质量冷启动数据（人工标注样本），通过微调提升RL初始策略的稳定性，进一步降低了学习成本。
④ 双重奖励系统设计
双重奖励即为准确性奖励和格式奖励，准确性奖励则针对数学、编程等确定性任务，要求模型输出标准化答案格式（如方框内答案），并通过编译器或自动化工具验证结果，实现无人工干预的奖励计算。而格式奖励则强制模型将推理过程置于<think>标签内，提升输出的结构化与可解释性。例如，在代码生成任务中，这一机制使模型更易调试和优化。
课代表小结
DeepSeek通过MoE架构、FP8混合精度训练、创新的训练策略和双重奖励机制等技术手段，使得R1的推理成本仅为 OpenAI o1的3%（输入token成本0.55美元/百万），同时性能在数学、编程等任务上达到行业领先水平，实现了低成本高性能的目标。
我认为，成功并非偶然，而是技术创新与工程优化的结晶。随着AI技术的进一步普及，DeepSeek有望推动更多企业和开发者进入AI领域，加速AI技术在各行业的落地应用。同时，DeepSeek的成功也将为其他AI公司提供宝贵的经验借鉴，助力全球AI产业的持续发展。
往期推荐：
1. 私有化部署DeepSeek，你需要准备怎样的硬件配置？
2. 私有化部署DeepSeek + RAGFlow，技术小白也能轻松学会
3. 中国AI新巅峰！阿里云Qwen2.5-Max大模型全面解析
好了，本期内容就是这么多，希望能够帮助到您，感谢您能读到最后，如果觉得内容不错，请您点赞转发给予鼓励，咱们下期再见。