DeepSeek mHC: Метод обучения объясняется

Лиза Эрнст · 02.01.2026 · Технологии · 6 мин

Новая статья DeepSeek о mHC (Hyper-Connections с ограничением многообразия) рассматривает критический аспект обучения LLM: соединения между слоями. Эти незаметные элементы решают при больших объемах обучения, влияя на распространение сигналов и градиентов, стабильность и масштабируемость моделей.

Источник: Собственное представление

Введение в mHC

Остаточные соединения являются стандартом в течение многих лет, поскольку они делают обучение глубоких сетей возможным. Основная идея проста: слой учит дополнительную коррекцию, в то время как обходной путь передает информацию без изменений. Позднее принцип отображений идентичности был разработан как якорь стабильности: если обходной путь остается отображением идентичности, сигналы и градиенты могут легче распространяться через многие блоки. В трансформере появляется та же схема в виде "Add & Norm" вокруг подслоев, включая остаточное сложение и нормализацию. Это является одной из причин, по которой очень глубокие стеки трансформеров могут быть стабильно обучены на практике.

Проблема возникает, когда требуется большая выразительность, и остаточный путь больше не рассматривается просто как "идентичность + небольшой дельта", а как игровая площадка для более богатых информационных потоков. DeepSeek формулирует это так: подходы, такие как Hyper-Connections, расширяют ширину остаточного потока и варьируют связность. Они повышают производительность, но при этом жертвуют свойством отображения идентичности – с нестабильностью и ограниченной масштабируемостью в качестве побочного эффекта.

Гипер-соединения (HC)

Гипер-соединения (HC) были представлены как альтернатива классическим остаточным соединениям для смягчения типичных компромиссов в остаточных вариантах, например, между затуханием градиентов и "коллапсом представления". Идея: сеть может более динамично регулировать силу соединений между глубинами и гибче "перепроводить" отношения слоев, вместо того чтобы просто использовать прямой обход.

Технически это реализуется в контексте HC, в частности, тем, что остаточный поток больше не является одним вектором на токен, а рассматривается как несколько "потоков", взаимодействующих друг с другом. DeepSeek описывает именно этот n-потоковый образ: вход слоя умножается на фактор n и рассматривается как матрица с n остаточными потоками.

Ловушка заключается в математике: как только обходной путь больше не является "идентичностью", а эффективно действует как обучаемая матрица, эти отклонения умножаются через множество слоев. DeepSeek демонстрирует для этого явные метрики нестабильности через композицию слоев (составные остаточные отображения) и связывает это с риском усиления или ослабления сигнала. «стена памяти» как центральное узкое место и показывает, что затраты на доступ к памяти на токен в остаточном слое HC могут грубо пропорционально увеличиваться с n, если против этого не противодействовать слиянием ядер.

Источник: predibase.com

Итеративный процесс обучения от DeepSeek-V3 до DeepSeek-R1, использующий обучение с подкреплением для повышения производительности.

Метод DeepSeek mHC

DeepSeek представил mHC ("Hyper-Connections с ограничением многообразия") как фреймворк, призванный решить обе эти проблемы: стабильность распространения сигналов и системный накладной расход. Статья была опубликована 31 декабря 2025 года на arXiv.

Основная мера — это не новая функция потерь, а ограничение остаточных отображающих матриц на определенное множество ("многообразие") — в частности, на двойственно стохастические матрицы. DeepSeek четко определяет это условие: неотрицательные элементы, сумма каждой строки и каждого столбца равна 1, и таким образом матрица находится в множестве двойственно стохастических матриц.

Это множество также описывается как многогранник Биркгофа, и DeepSeek использует этот термин явно. Математически многогранник Биркгофа является выпуклой оболочкой перестановочных матриц и точно соответствует множеству двойственно стохастических матриц.

DeepSeek обосновывает важность этого в контексте mHC тремя свойствами, которые они выделяют как релевантные для обучения:

1. Контроль нормы: Спектральная норма двойственно стохастической матрицы ограничена 1, что делает отображение "нерасширяющим" и должно ослаблять взрыв градиента.
2. Замкнутость относительно умножения: Если каждая остаточная матрица является двойственно стохастической, то и составное остаточное отображение через множество слоев остается в этом множестве, что должно поддерживать стабильность по глубине.
3. Геометрическая интерпретация: Как выпуклая комбинация перестановочных матриц, остаточное отображение действует как контролируемое "переупорядочивание и смешивание" между потоками, а не как произвольная линейная усиливающая матрица.

Чтобы это ограничение было практичным в обучении, необходимо проецирование из "произвольного" в "двойственно стохастическое". DeepSeek для этого явно использует алгоритм Синхорна-Кноппа, то есть итеративное масштабирование строк и столбцов для балансировки матрицы в направлении двойственной стохастичности. Классической ссылкой для этого метода является Алгоритм Синхорна-Кноппа, Классической ссылкой для этого метода является Sinkhorn & Knopp (1967).

В статье также содержится конкретное практическое решение: DeepSeek выбирает конечный отсечка (t_max) для итераций и называет используемое значение t_max = 20 в экспериментах.

Источник: sebastianraschka.com

Подробное описание процесса обучения от DeepSeek-V3 до DeepSeek-R1, подчеркивающее интеграцию различных источников данных.

Практические преимущества и реализация

DeepSeek явно позиционирует mHC как расширение HC, которое "возвращает" свойства идентичности, не отказываясь от преимуществ многопоточной конструкции. Задача состоит не только в "стабильности", но и в "масштабируемости" – то есть в большей устойчивости там, где композиция слоев обычно начинает давать сбой.

Со стороны системы DeepSeek подходит к инжинирингу необычайно конкретно: они описывают слияние ядер, переупорядочивание операций RMSNorm, смешанную точность и объединение нескольких операций с общим доступом к памяти в специализированные ядра. Они также приводят число: в своей реализации (с n = 4) они сообщают о незначительном накладном расходе на обучение 6,7 %.

Это та часть, которая часто упускается из виду в обсуждениях: архитектурный трюк, который теоретически выглядит хорошо, мало что дает, если он так сильно нагружает пропускную способность памяти, что количество токенов в секунду падает. DeepSeek явно решает именно эти затраты на ввод-вывод, в том числе заявление о том, что без объединенных ядер чрезмерный спрос на ввод-вывод может сильно ухудшить пропускную способность.

Рыночная значимость и открытые вопросы

Business Insider описывает mHC как новый подход к обучению от DeepSeek и цитирует аналитиков, которые считают этот шаг потенциальным прорывом в масштабировании Там же упоминается момент, который немедленно находит отклик на рынке: большая производительность при лишь слегка более высоких затратах на обучение была бы привлекательным соотношением, если бы она оказалась воспроизводимой.

South China Morning Post рассматривает статью как сигнал о решениях DeepSeek в области инжиниринга для будущих поколений моделей и подчеркивает фокус „большие модели за меньшие деньги“. Yahoo Tech также подхватывает оценку SCMP и называет mHC частью попытки более экономичного обучения моделей.

Тем не менее, остаются два четких критерия, прежде чем mHC можно будет считать новым стандартом:

1. Насколько надежен прирост стабильности в других семействах моделей, конфигурациях оптимизатора, вариантах нормализации и стратегиях параллелизма, помимо тех, что показаны в статье?
2. Насколько сильно "чистое преимущество" зависит от качества системных оптимизаций, то есть от того, смогут ли другие команды так же хорошо справиться со слиянием ядер и путем доступа к памяти?

Если читать mHC трезво, это больше похоже не на "магический трюк", а на предложение поставить топологию архитектуры под жесткие математические направляющие, чтобы масштабирование стало более предсказуемым. Именно такое изменение может на практике определить успех или неудачу большого прогона, поскольку оно оптимизирует не поверхностно, а стабильность информационных путей.

mHC — это попытка DeepSeek сделать Hyper-Connections "взрослыми" для больших объемов обучения: больше внутренней связи между остаточными потоками, но под ограничением, которое должно ограничивать рост сигналов и градиентов. Настоящий рычаг — это проекция на двойственно стохастические матрицы через Sinkhorn-Knopp и обоснованные этим свойства стабильности, в сочетании с очень конкретной настройкой инфраструктуры. Станет ли это "новой техникой обучения LLM 2026 года" в смысле широкого принятия, зависит не столько от термина mHC, сколько от того, смогут ли другие лаборатории воспроизвести результаты и действительно ли удастся сохранить низкие системные затраты.