Heute veröffentlichen wir MiniMax H3, ein universell einsetzbares multimodales Generierungsmodell. H3 versteht vereinheitlichten Kontext über Text, Bilder, Video und Audio hinweg und generiert Videos mit nativem Stereo-Sound – bis zu 15 Sekunden in 2K-Auflösung.
Erste Tests zeigen: H3 ist bereit für die kommerzielle Content-Erstellung in den unterschiedlichsten Anwendungsfällen – es glänzt bei Instruktionsbefolgung, präzisem Rendering von Text und Marken sowie bei der V2V-Bewegungsübertragung. Mit präziser, steuerbarer multimodaler Generierung und Bearbeitung ist H3 für Werbung, Branding, E-Commerce, Produktdesign, UI/UX, Gaming und mehr gemacht.
Angetrieben von Technologien wie Contextual Omni Representation, H3-VAE, H3-Omni Transformer und In-Context Regeneration liefert H3 ein branchenführendes Preis-Leistungs-Verhältnis. Wir bieten standardmäßig 2K-Auflösung an. Bei 2K kostet H3 pro Sekunde weniger als ein Drittel dessen, was Mainstream-Modelle verlangen; bei 768p ist es weniger als halb so teuer wie die 720p-Ausgabe von Mainstream-Modellen.
Geschlossene Modelle dominieren seit Langem die Videogenerierung – mit langsameren Iterationszyklen und einem weniger offenen Ökosystem als Bereiche wie große Sprachmodelle. Um die Open-Source-Community zu unterstützen, die Kompatibilität mit einer breiteren Palette von KI-Hardware zu beschleunigen und es Nutzern zu erleichtern, eigene angepasste Versionen zu erstellen, planen wir, die Modellgewichte in den kommenden Tagen zu veröffentlichen – vorbehaltlich der geltenden Gesetze und Vorschriften. Hardware-Kompatibilität war von den frühesten Phasen des H3-Designs an ein zentraler Aspekt.
H3-Modell-Highlights
1. Multimodales Kontextverständnis
Echte kreative Arbeit erfordert, komplexe Informationen über Modalitäten hinweg zu kombinieren – Bilder, Audio, Video und mehr fließen als Eingabequellen ein. Der Prompt für die folgende Einstellung lautet zum Beispiel: „Übernimm die Hitchcock-Kamerabewegung aus Video 1, lass die Figur aus Bild 2 singen, wobei der Gesang zu Audio 3 passt." Beschreibe die Beziehung zwischen Kontext und Zielvideo einfach in Worten. H3 übernimmt das komplexe Verständnis über alle Modalitäten hinweg von selbst.
Multimodale Eingabe
Video 1
Bild 2
Audio 3
H3-generiertes Video
2. 2K-Performance
3. Nativer Stereo-Sound
H3-Anwendungsfälle
1. Film-Titelsequenzen
2. Produkt-Website
3. Animiertes Poster
4. Werbung & E-Commerce
Die Designphilosophie von H3
Grenzen zwischen Aufgaben überwinden: Vom Spezial- zum Universalmodell
Wir haben zwei frühere Modellgenerationen entwickelt: Hailuo 01 hat das System von Grund auf aufgebaut, Hailuo 02 konzentrierte sich auf die Verbesserung von Kernkomponenten wie architektonischer Effizienz, Datenqualität und Skalierung.
Beim Design von H3 haben wir die Grenzen früherer generativer Modelle in Bezug auf Aufgabenbereiche erkannt: Die Bildgenerierung wurde typischerweise in separate Expertenmodelle für T2I, Bearbeitung, Subjektreferenz, Bewegungsreferenz und Stilreferenz aufgeteilt; Stimme, Soundeffekte und Musik wurden in der Audiogenerierung weitgehend als getrennte Domänen untersucht; und die Videogenerierung war weiter zersplittert in Text-zu-Video, Bild-zu-Video, First-and-Last-Frame, Subjektreferenz, Bewegungsreferenz, Stimmreferenz, Videobearbeitung und mehr – mit klaren Grenzen auch zwischen Bild, Video und Audio.
Diese isolierten Aufgaben, Fähigkeiten und Modalitäten schränkten die kreative Freiheit in der Praxis ein. Auf der Trainingsseite begrenzten sie zudem die Generalisierungsfähigkeit des Modells. Beides weist auf großen Veränderungsbedarf hin – sowohl im Anwendungsparadigma als auch im Trainingsparadigma. Das erste Leitprinzip der H3-Entwicklung war daher die Vereinheitlichung und Generalisierung über Aufgaben hinweg.
Darauf basierend folgt ein kurzer Überblick über das Pretraining-Paradigma von H3:
1. Daten und Aufgaben
Text-zu-Bild
Text-zu-Video
*Bei gemeinsam generiertem Audio ist der gesamte Audio-Output nativ in Stereo
Natives Multi-Shot-Modelling*
Text-zu-Audio
Keine Trennung zwischen Stimme, Soundeffekten und Musik – alles wird gemeinsam modelliert
2. Generalisierte Referenz und Bearbeitung
Bild-zu-Bild-Referenz und -Bearbeitung
Bild-zu-Video-Referenz und -Bearbeitung
Audio-zu-Audio-Referenz und -Bearbeitung
Audio-Video-zu-Audio-Video-Referenz und -Bearbeitung
In unserem Design bedeutet „generalisierte Referenz und Bearbeitung":
- Vollständig auf Basis realer, natürlicher Daten aufgebaut – das sorgt für eine starke Datenskalierbarkeit.
- Referenz- und Bearbeitungsbeziehungen werden über natürliche Sprache ausgedrückt, statt auf einen festen Aufgabensatz beschränkt zu sein; Sprache (beziehungsweise Intelligenzstruktur im weiteren Sinne) ist die Brücke zur Generalisierung.
3. Architektur
Verschiedene Datentypen und Aufgaben so früh wie möglich fusionieren – das richtige Mischungsverhältnis ist entscheidend.
4. Trainingsstrategie
Verschiedene Datentypen und Aufgaben im Training so früh wie möglich fusionieren – das richtige Mischungsverhältnis ist der Schlüssel.
Alle diese Entscheidungen verfolgen dasselbe Ziel: H3
