DeepSeek mHC：训练方法详解
DeepSeek 的新论文关于 mHC（流形约束超连接）探讨了 LLM 训练的一个关键方面：层与层之间的连接。在大型训练过程中，这些不起眼的元素通过影响信号和梯度传播，决定了模型的稳定性和可扩展性。
来源: 自定描绘
mHC 介绍
残差连接多年来一直是标准做法，因为它们使得深度网络能够被训练。基本思想很简单：一层学习一个附加的校正，同时一个跳跃路径（skip path）保持信息不受干扰地传播。后来，身份映射（identity mappings）的原理被提炼出来作为稳定性锚点：如果跳跃路径保持为身份映射，信号和梯度会更容易通过许多块进行传播。在 Transformer 中，相同的模式出现在子层周围的“Add & Norm”中，包括残差加法和归一化。这是为什么非常深的 Transformer 堆叠在实践中可以稳定训练的一个原因。
当我们想要更多的表达能力，而不再仅仅将残差路径视为“身份映射 + 微小增量”，而是作为更丰富信息流的游乐场时，问题就出现了。DeepSeek 直接表述：诸如 超连接通过扩展残差流宽度和改变连接方式来扩展残差流的宽度和改变连接性 等方法，确实在获得性能的同时牺牲了身份映射特性，其副作用是出现不稳定性并限制了可扩展性。
超连接 (HC)
超连接 (HC) 被提出作为经典残差连接的替代方案，以缓解残差变体中的典型权衡冲突，例如梯度消失和“表示崩溃”之间的冲突。其思想是：网络可以更动态地调整深度之间的连接强度，并更灵活地“重新布线”层关系，而不是仅仅依赖于直接的跳跃连接。
在技术实现上，HC 设置通过以下方式实现：残差流不再是每个 token 的单个向量，而是被视为多个相互作用的“流”。DeepSeek 精确描述了这种 n 流的图景：层的输入被扩展到 n 倍，并被视为具有 n 个残差流的矩阵。
数学上的难点在于：一旦跳跃路径不再是“身份映射”，而是实际上作为一个可学习的矩阵起作用，这些偏差就会在许多层上累积。DeepSeek 明确地通过层组合（复合残差映射）来展示不稳定性指标，并将其与信号放大或衰减的风险联系起来。 “内存墙”作为关键瓶颈 并表明，在不使用核函数融合（kernel fusion）的情况下，HC 残差层中每个 token 的内存访问成本可能大致与 n 成正比地增加。
来源: predibase.com
DeepSeek-V3 到 DeepSeek-R1 的迭代训练过程，利用强化学习来提高性能。
DeepSeek mHC 方法
DeepSeek 推出了 mHC（“流形约束超连接”）框架，旨在解决这两个问题：信号传播的稳定性和系统开销。该论文于 2025年12月31日在 arXiv 上发布.
核心措施不是新的损失函数，而是将残差映射矩阵约束在一个特定的集合（“流形”）中——具体来说是双随机矩阵（doubly stochastic matrices）。DeepSeek 明确定义了这个条件：非负条目，每行和每列的和都是 1，因此该矩阵属于双随机矩阵的集合。
这个集合也被描述为 Birkhoff 多面体，DeepSeek 也明确使用了这个术语。数学上，Birkhoff 多面体是置换矩阵的凸包，正好对应于双随机矩阵的集合。
DeepSeek 解释了为什么这在 mHC 上下文中很重要，并提出了三个他们称之为与训练相关的特性：
- 范数控制: 双随机矩阵的谱范数（Spectral norm）被限制在 1 以内，从而使映射“非扩张”（non-expansive），并旨在抑制梯度爆炸。
- 乘法封闭性: 如果每个残差矩阵都是双随机的，那么经过多层复合的残差映射仍然属于这个集合，这应有助于深度的稳定性。
- 几何解释: 作为置换矩阵的凸组合，残差映射的作用就像是受控的“重新排序和混合”流，而不是任意的线性放大矩阵。
为了使这种约束在训练中变得可行，我们需要一个从“任意”到“双随机”的投影。DeepSeek 明确采用了 Sinkhorn-Knopp 算法，即通过迭代地缩放行和列来平衡矩阵，使其趋向于双随机。该方法的经典参考是 Sinkhorn-Knopp 算法, 该方法的经典参考是 Sinkhorn & Knopp (1967).
论文中还包含一个具体的实践决策：DeepSeek 选择了一个有限的截止值（t_max）进行迭代，并在实验中使用了 t_max = 20。
来源: sebastianraschka.com
对 DeepSeek-V3 到 DeepSeek-R1 训练过程的详细描述，强调了不同数据源的整合。
实际优势和实现
DeepSeek 明确将 mHC 定位为 HC 的扩展，它“恢复”了身份特性，同时又保留了多流设计的优势。其目标不仅仅是“更稳定”，更是“更具可扩展性”——即在层组合开始变得不稳定的地方更加鲁棒。
在系统方面，DeepSeek 采取了非常具体的工程化方法：他们描述了核函数融合、RMSNorm 操作的重新排序、混合精度以及将具有共同内存访问的多个操作合并到专用核函数中。他们也给出了具体数字：在使用 n = 4 的实现中，他们报告的训练开销仅为 6,7 %.
这是讨论中常常被忽视的部分：一个理论上看起来不错的架构技巧，如果它严重影响内存带宽，导致每秒 token 数急剧下降，那么它的作用就很小。DeepSeek 明确解决了这些 I/O 成本问题，并指出如果没有融合核函数，过高的 I/O 需求会严重降低吞吐量。
市场相关性和开放性问题
《商业内幕》将 mHC 描述为 DeepSeek 的一种新训练方法，并引用分析师的观点，认为这一举措可能是一个 扩展的突破 ．该报告还提到了一个立即引起市场共鸣的点：在仅略微增加训练成本的情况下获得更高的性能，如果结果可重复，将是一个有吸引力的比例。
《南华早报》将该论文视为 DeepSeek 在下一代模型工程决策中的信号，并强调了其重点在于 „以更低的成本构建更大的模型“. Yahoo Tech 也采纳了《南华早报》的观点，并将 mHC 称为旨在实现模型成本效益训练的尝试之一。
尽管如此，在将 mHC 归类为新标准之前，仍有两个关键的检验点：
- 除了论文中展示的配置外，稳定性收益在其他模型家族、优化器设置、归一化变体和并行化策略上有多稳健？
- “净收益”在多大程度上依赖于系统优化的质量，即其他团队是否能以相似的水平实现核函数融合和内存路径优化？
如果以一种客观的态度阅读 mHC，它看起来不像是“魔法”，而更像是一个建议，即在严格的数学指导下约束架构拓扑，使扩展性变得更可预测。正是这种改变，才能在实践中决定大型运行的成败，因为它不是在表面上进行优化，而是优化信息路径的稳定性。
mHC 是 DeepSeek 尝试让超连接（Hyper-Connections）适用于大型训练过程的努力：增加残差流之间的内部通信，同时施加一个约束，以限制信号和梯度的增长。真正的关键在于通过 Sinkhorn-Knopp 算法投影到双随机矩阵，以及由此产生的稳定性属性，再加上非常具体的硬件调优。它是否能成为 2026 年被广泛采用的“新 LLM 训练技术”，更多地取决于其他实验室能否复现结果并将系统成本真正保持在较低水平，而不是 mHC 这个术语本身。