DeepSeek mHC: Trainingsmethode erklärt
DeepSeeks neues Paper zu mHC (Manifold-Constrained Hyper-Connections) befasst sich mit einem kritischen Aspekt des LLM-Trainings: den Verbindungen zwischen den Layern. Diese unscheinbaren Elemente entscheiden bei großen Trainingsläufen über die Stabilität und Skalierbarkeit von Modellen, indem sie die Signal- und Gradientenpropagation beeinflussen.
Quelle: Eigene Darstellung
Einführung in mHC
Residual Connections sind seit Jahren Standard, da sie tiefe Netze überhaupt erst trainierbar machen. Die Grundidee ist simpel: Ein Layer lernt eine Zusatzkorrektur, während ein Skip-Pfad Informationen unverfälscht weiterträgt. Später wurde das Prinzip der Identity-Mappings als Stabilitätsanker herausgearbeitet: Bleibt der Skip-Pfad eine Identität, können Signale und Gradienten leichter durch viele Blöcke propagieren. Im Transformer taucht dasselbe Muster als „Add & Norm“ rund um Sub-Layer auf, inklusive Residual-Addition und Normalisierung. Dies ist ein Grund, warum sehr tiefe Transformer-Stacks in der Praxis stabil trainiert werden können.
Das Problem entsteht, wenn man mehr Ausdrucksstärke will und den Residual-Pfad nicht mehr nur als „Identität + kleines Delta“ behandelt, sondern als Spielwiese für reichere Informationsflüsse. DeepSeek formuliert es direkt: Ansätze wie Hyper-Connections erweitern die Residual-Stream-Breite und variieren die Konnektivität. Sie gewinnen Leistung, opfern dabei aber die Identity-Mapping-Eigenschaft – mit Instabilität und begrenzter Skalierbarkeit als Nebenwirkung.
Hyper-Connections (HC)
Hyper-Connections (HC) wurden als Alternative zu klassischen Residual-Verbindungen vorgestellt, um typische Zielkonflikte in Residual-Varianten abzufedern, etwa zwischen Gradient-Vanishing und „Representation Collapse“. Die Idee: Das Netz darf die Stärke von Verbindungen zwischen Tiefen dynamischer anpassen und Layer-Beziehungen flexibler „umverkabeln“, statt stur nur den direkten Skip zu nutzen.
Technisch wird das im HC-Setting u. a. dadurch realisiert, dass der Residual-Stream nicht mehr ein einzelner Vektor pro Token ist, sondern als mehrere „Streams“ gedacht wird, die miteinander interagieren. DeepSeek beschreibt genau dieses n-Stream-Bild: Der Input einer Schicht wird um einen Faktor n erweitert und als Matrix mit n Residual-Streams betrachtet.
Der Haken steckt in der Mathematik: Sobald der Skip-Pfad nicht mehr „Identität“ ist, sondern effektiv als lernbare Matrix wirkt, multiplizieren sich diese Abweichungen über viele Layer. DeepSeek zeigt dafür explizit Instabilitätsmetriken über Layer-Kompositionen (zusammengesetzte Residual-Mappings) und verbindet das mit dem Risiko von Signal-Verstärkung oder -Dämpfung.
Dazu kommt ein zweiter, sehr praktischer Punkt: HC kann FLOP-mäßig noch okay aussehen, aber auf Hardware-Ebene wird Speicherzugriff schnell zur Bremse. DeepSeek nennt die „memory wall“ als zentralen Flaschenhals und zeigt, dass die Memory-Access-Kosten pro Token im HC-Residual-Layer grob proportional zu n steigen können, wenn man nicht mit Kernel-Fusion gegensteuert.
Quelle: predibase.com
Der iterative Trainingsprozess von DeepSeek-V3 zu DeepSeek-R1, der Reinforcement Learning zur Leistungssteigerung nutzt.
DeepSeek mHC Methode
DeepSeek hat mHC („Manifold-Constrained Hyper-Connections“) als Framework vorgestellt, das genau diese beiden Baustellen adressieren soll: Stabilität der Signalpropagation und System-Overhead. Das Paper wurde am 31. Dezember 2025 auf arXiv veröffentlicht.
Die zentrale Maßnahme ist keine neue Loss-Funktion, sondern eine Einschränkung der Residual-Mapping-Matrizen auf eine bestimmte Menge („Manifold“) – konkret auf doubly stochastic matrices. DeepSeek definiert diese Bedingung klar: nichtnegative Einträge, jede Zeile und jede Spalte summiert sich auf 1, und damit liegt die Matrix in der Menge der doubly stochastic matrices.
Diese Menge wird auch als Birkhoff-Polytope beschrieben, und DeepSeek verwendet den Begriff explizit. Mathematisch ist die Birkhoff-Polytope die konvexe Hülle von Permutationsmatrizen und entspricht genau der Menge der doubly stochastic matrices.
Warum das im mHC-Kontext wichtig ist, begründet DeepSeek mit drei Eigenschaften, die sie als trainingsrelevant herausstellen:
- Norm-Kontrolle: Die Spektralnorm einer doubly stochastic Matrix sei durch 1 beschränkt, wodurch das Mapping „non-expansive“ wird und Gradient Explosion dämpfen soll.
- Closure unter Multiplikation: Wenn jede Residual-Matrix doubly stochastic ist, bleibt auch die über viele Layer zusammengesetzte Residual-Abbildung in dieser Menge, was die Stabilität über Tiefe unterstützen soll.
- Geometrische Interpretation: Als konvexe Kombination von Permutationsmatrizen wirkt das Residual-Mapping wie ein kontrolliertes „Umsortieren und Mischen“ zwischen Streams, statt wie eine beliebige lineare Verstärker-Matrix.
Damit diese Einschränkung im Training überhaupt praktikabel ist, braucht man eine Projektion von „beliebig“ auf „doubly stochastic“. DeepSeek setzt dafür explizit auf den Sinkhorn-Knopp-Algorithmus, also iteratives Skalieren von Zeilen und Spalten, um eine Matrix in Richtung doubly stochastic zu balancieren. Die klassische Referenz für dieses Verfahren ist Sinkhorn & Knopp (1967).
Im Paper steht auch eine konkrete Praxisentscheidung: DeepSeek wählt für die Iterationen einen endlichen Cutoff (t_max) und nennt als verwendeten Wert t_max = 20 in den Experimenten.
Quelle: sebastianraschka.com
Detaillierte Darstellung des Trainingsprozesses von DeepSeek-V3 zu DeepSeek-R1, der die Integration unterschiedlicher Datenquellen hervorhebt.
Praktische Vorteile und Implementierung
DeepSeek positioniert mHC ausdrücklich als Erweiterung von HC, die Identitäts-Eigenschaften „zurückholt“, ohne die Vorteile eines Multi-Stream-Designs aufzugeben. Der Anspruch ist dabei nicht nur „stabiler“, sondern „skalierbarer“ – also genau dort robuster, wo die Layer-Komposition sonst anfängt zu kippen.
Auf der Systemseite geht DeepSeek ungewöhnlich konkret in Richtung Engineering: Sie beschreiben Kernel-Fusion, Umordnung von RMSNorm-Operationen, Mixed Precision und das Zusammenziehen mehrerer Operationen mit gemeinsamem Memory-Access in spezialisierte Kernel. Sie geben dafür auch eine Zahl: In ihrer Implementierung (mit n = 4) berichten sie von einem marginalen Trainings-Overhead von 6,7 %.
Das ist der Teil, der in der Diskussion oft übersehen wird: Ein Architektur-Trick, der theoretisch gut aussieht, bringt wenig, wenn er die Speicherbandbreite so stark belastet, dass die Tokens-pro-Sekunde einbrechen. DeepSeek adressiert genau diese I/O-Kosten explizit, inklusive der Aussage, dass ohne fused kernels der überhöhte I/O-Demand den Durchsatz stark verschlechtern kann.
Marktrelevanz und offene Fragen
Business Insider beschreibt mHC als neuen Trainingsansatz von DeepSeek und zitiert Analysten, die den Schritt als potenziellen Durchbruch fürs Skalieren werten. Dort fällt auch der Punkt, der im Markt sofort Resonanz erzeugt: Mehr Leistung bei nur leicht höheren Trainingskosten wäre ein attraktives Verhältnis, wenn es sich reproduzierbar zeigt.
Die South China Morning Post ordnet das Paper als Signal für DeepSeeks Engineering-Entscheidungen rund um kommende Modellgenerationen ein und betont den Fokus „bigger models for less“. Auch Yahoo Tech greift die Einordnung der SCMP auf und benennt mHC als Teil des Versuchs, Modelle kosteneffektiver zu trainieren.
Trotzdem bleiben zwei saubere Prüfsteine, bevor man mHC als neuen Standard einordnet:
- Wie robust ist der Stabilitätsgewinn über andere Modellfamilien, Optimizer-Setups, Normalisierungsvarianten und Parallelisierungsstrategien hinweg, jenseits der im Paper gezeigten Konfigurationen?
- Wie stark hängt der „Netto-Vorteil“ von der Qualität der Systemoptimierungen ab, also davon, ob andere Teams die Kernel-Fusion und den Memory-Pfad ähnlich gut hinbekommen?
Wenn man mHC nüchtern liest, wirkt es weniger wie ein „magischer Trick“ und mehr wie ein Vorschlag, die Architektur-Topologie unter harte mathematische Leitplanken zu stellen, damit Skalierung planbarer wird. Genau diese Art von Änderung kann in der Praxis über Erfolg oder Fehlschlag eines großen Runs entscheiden, weil sie nicht an der Oberfläche optimiert, sondern an der Stabilität der Informationswege.
mHC ist DeepSeeks Versuch, Hyper-Connections für große Trainingsläufe „erwachsen“ zu machen: mehr interne Kommunikation zwischen Residual-Streams, aber unter einer Constraint, die Signal- und Gradient-Wachstum begrenzen soll. Der eigentliche Hebel ist die Projektion auf doubly stochastic Matrizen via Sinkhorn-Knopp und die damit begründeten Stabilitätseigenschaften, kombiniert mit sehr konkretem Infrastruktur-Tuning. Ob daraus eine „neue LLM Training Technik 2026“ im Sinne breiter Adoption wird, hängt weniger vom Begriff mHC ab als davon, ob andere Labs die Ergebnisse reproduzieren und die Systemkosten wirklich klein halten können.