Dies war mein erstes Interview mit Yang Zhilin, geführt Anfang 2024 und veröffentlicht am 1. März 2024 – genau am ersten Jahrestag der Gründung von Kimi. Damals hatte Kimi nur 80 Mitarbeiter und arbeitete in einem ersten, etwas heruntergekommenen Büro. Es gab kein Logo am Eingang. Nur ein weißes Klavier stand Wache neben der Tür.
Dieser Artikel sorgte damals für ziemliche Aufregung in der chinesischen Tech-Community.
Zu jener Zeit war ich noch Print-Journalist, daher existiert dieses Interview nur als Text und als Audio-Podcast.
Wie wir sehen können, haben sich viele der in diesem Artikel geäußerten Ansichten inzwischen bewahrheitet.
Wenn man diese Worte von vor zwei Jahren noch einmal liest, kann man sich nur wundern, wie dramatisch sich die Welt verändert hat!
(Diese Übersetzung wurde von Kimi K3 erstellt.)
Yang Zhilin: „Wenn alle denken, du seist normal – wenn dein Traum einer ist, den jeder haben könnte – dann trägt er nichts zur Summe aller Träume der Menschheit bei.“
Von Zhang Xiaojun
Vor genau einem Jahr machte der KI-Wissenschaftler Yang Zhilin eine präzise Berechnung im Silicon Valley. Er erkannte, dass er, wenn er sich für die Gründung eines Foundation-Model-Startups mit dem Ziel AGI entscheiden würde, innerhalb der nächsten Monate mehr als 100 Millionen Dollar aufbringen müsste.
Doch das war nur eine Eintrittskarte für das Spiel. Ein Jahr später hatte sich diese Zahl bereits verdreizehnfacht.
Für Foundation-Model-Unternehmen ist der Wettbewerb weniger ein wissenschaftlicher Wettstreit als vielmehr ein erbarmungsloser Kampf um Geld. Während die Investoren ihre Geldbörsen fest im Griff haben, muss man den Rivalen voraus sein, um mehr Geld zu beschaffen, mehr GPUs zu kaufen und mehr Talente anzuwerben.
„Es erfordert eine Konzentration von Talent und eine Konzentration von Kapital“, sagt Yang Zhilin, Gründer und CEO von Moonshot AI, dem am 1. März 2023 gegründeten Foundation-Model-Unternehmen.
Im vergangenen Jahr schienen chinesische Foundation-Model-Unternehmen auf einem angespannten, beengten Grat zwischen Überleben zu existieren. Oberflächlich betrachtet verfügt jedes von ihnen über beträchtliche Geldsummen. Aber einerseits müssen sie das frisch aufgenommene Geld sofort in extrem teure Forschung stecken, um OpenAI einzuholen – zuerst GPT-3.5 einholen, und bevor GPT-4 erreicht ist, kommt schon Sora. Andererseits müssen sie ununterbrochen darum kämpfen, tragfähige reale Anwendungsfälle zu finden, um sich selbst zu bestätigen, dass sie Unternehmen sind, keine Forschungsinstitute, die nur Kapital verschlingen. Und das ist noch nicht alles: Für jedes dieser Unternehmen bleibt der Weg nach draußen, ob Börsengang oder Übernahme, alles andere als klar.
Unter den Gründern chinesischer Foundation-Model-Unternehmen ist Yang Zhilin der jüngste, geboren 1992. Die Branche beschreibt ihn als einen überzeugten AGI-Gläubigen und einen Gründer mit seltener technischer Ausstrahlung. Ein Großteil seiner akademischen und beruflichen Laufbahn ist mit allgemeiner KI verbunden, und seine Arbeiten wurden mehr als 22.000 Mal zitiert.
Mitte 2023 schlug die Stimmung in der chinesischen Tech-Community in Bezug auf Foundation Models abrupt von Euphorie in Kühle um, und die Beschleunigung der realen Implementierung wurde zur pragmatischen Mainstream-Melodie. Dies ließ die CEOs der Foundation-Model-Unternehmen unweigerlich heftig zwischen Ideal und Realität hin- und hergerissen zurück. In einem chinesischen KI-Ökosystem, in dem jeder PMF (Product/Market Fit) und jeder Kommerzialisierung predigt, hat dieser Gründer – von Hause aus KI-Forscher – es nicht besonders eilig.
Mit 80 Mitarbeitern hat Moonshot AI die kleinste Belegschaft unter den führenden chinesischen Foundation-Model-Unternehmen. Anders als seine Konkurrenten entschied sich Yang nicht für das sicherere B2B-Geschäft oder suchte die Implementierung in vertikalen Märkten wie Gesundheitswesen oder Gaming. Er baute ein – und nur ein – Konsumentenprodukt: den KI-Assistenten Kimi, der Eingaben von bis zu 200.000 chinesischen Zeichen akzeptiert. Kimi ist auch der englische Name von Yang Zhilin.
Yang sieht sein Unternehmen lieber als ein System, das Wissenschaft, Ingenieurwesen und Geschäft vereint. Man könnte es sich so vorstellen: Über der menschlichen Welt errichtet er einen KI-Labortisch – mit einer Hand führt er Experimente durch, und mit der anderen bringt er Spitzentechnologie in die reale Welt, entdeckt Anwendungen durch die Interaktion mit Menschen und liefert diese Anwendungen in die Hände der Verbraucher. Im Idealfall verbrennt ersteres Milliarden und zig Milliarden Dollar Kapital; letzteres verdient dieses Geld hunderte oder tausendfach zurück. Wie auch immer man es hört, es klingt so aufregend – und so gefährlich – wie ein Balanceakt auf einem Drahtseil.
„Bei KI geht es nicht darum, welchen PMF ich in den nächsten ein oder zwei Jahren finden kann; es geht darum, wie man die Welt in den nächsten zehn bis zwanzig Jahren verändert“, sagt er.
Ein so abstraktes, idealistisches Denken lässt einen nervös für ihn schwitzen: Kann ein junger KI-Wissenschaftler sich in einem realistischen China einen Raum zum Überleben schaffen?
Im Februar 2024 schloss Moonshot AI entgegen dem Markttrend eine große Finanzierungsrunde ab. Es ist bekannt, dass das Unternehmen eine Serie B von mehr als 1 Milliarde Dollar zu einer Pre-Money-Bewertung von 1,5 Milliarden Dollar aufnahm, angeführt von Alibaba mit Folgeinvestitionen von Monolith Management, Xiaohongshu und anderen. Nach Abschluss des Deals lag die Post-Money-Bewertung von Moonshot AI bei etwa 2,5 Milliarden Dollar – was es zu diesem Zeitpunkt zum wertvollsten Einhorn im chinesischen Foundation-Model-Wettlauf machte. (Das Unternehmen lehnte es ab, zu dieser Angelegenheit Stellung zu nehmen oder sie zu kommentieren.)
Inmitten dieser dritten Finanzierungsrunde setzten wir uns mit Yang Zhilin zusammen, um über sein erstes Jahr als Unternehmer zu sprechen – ein Querschnitt, im Miniaturformat, eines Jahres, in dem chinesische Foundation-Model-Unternehmen von der Startlinie weg nach vorne stürmten.
Sein Unternehmen ließ sich nicht im Soho Network Plaza in Peking nieder, dem Zentrum, in dem sich Foundation-Model-Unternehmen ballen. Für ein Unternehmen mit einer Gesamtfinanzierung von etwa 9 Milliarden RMB wirkt dieses Büro im Liangzi Xinzuo-Gebäude schäbig und heruntergekommen. Es gibt nicht einmal ein Firmenlogo am Eingang – nur ein weißes Klavier, das neben der Tür Wache steht.
Der Besprechungsraum liegt in einer Ecke; mit seinen kleinen Fenstern ist es darin dunkel, und die Heizung summt, während sie warme Luft gegen die Winterkälte bläst. Im schwachen Licht beschreibt Yang, wie sich das vergangene Jahr für ihn angefühlt hat: „Es ist ein bisschen so, als würde man eine Straße entlangfahren, vor der sich eine Kette von schneebedeckten Bergen erstreckt. Man weiß nicht, was in ihnen steckt. Man geht einfach weiter, Schritt für Schritt.“
Im Folgenden finden Sie das vollständige Interview mit Yang Zhilin. (Aus Gründen der Lesbarkeit hat der Autor einige Textbearbeitungen vorgenommen.)
Dieses Foto wurde Anfang 2024 im ersten Büro von Kimi in Peking aufgenommen. Inzwischen sind sie aus diesen Räumlichkeiten ausgezogen. Keine Logos säumten den Eingang – nur ein weißes Klavier stand still neben der Tür.
Teil 1
Am Anfang stehen
„Man muss die Welle reiten“
Zhang Xiaojun: Wie geht es Ihnen in letzter Zeit?
Yang Zhilin: Beschäftigt – es gibt viel zu tun. Aber ich bin immer noch aufgeregt. Wir stehen ganz am Anfang einer Branche, und es gibt enormen Raum für Fantasie.
Zhang Xiaojun: Als ich gerade hereinkam, sah ich ein reinweißes Klavier am Eingang Ihres Unternehmens.
Yang Zhilin: Es liegt auch ein Pink-Floyd-Album darauf. Ich habe keine Ahnung, wer sie dort hingelegt hat – ich habe sie vor ein paar Tagen plötzlich bemerkt und hatte noch keine Gelegenheit zu fragen. (Pink Floyd ist die britische Rockband, die das Album The Dark Side of the Moon veröffentlicht hat.)
Zhang Xiaojun: An dem Tag, als ChatGPT im November 2022 veröffentlicht wurde, was haben Sie da gemacht?
Yang Zhilin: Ich habe mich bereits darauf vorbereitet – Leute angeworben, ein Team aufgebaut, neue Ideen ausgetauscht. ChatGPT zu sehen, war aufregend. Drei bis fünf Jahre früher – selbst 2021 – wäre das undenkbar gewesen. Diese Art von höherer Schlussfolgerungsfähigkeit war sehr schwer zu erreichen.
Ich spürte, dass sich viele Variablen auf dem Markt bald verschieben würden: auf der einen Seite das Kapital, auf der anderen Seite die Talente – die Kernproduktionsfaktoren für KI. Wenn diese Variablen zusammenkommen, würde es möglich werden, ein richtiges Unternehmen zu gründen, um dies zu tun – eine Organisation, die für AGI gebaut ist, könnte von 0 auf 1 gehen. Das war eine große Erkenntnis. Ein unabhängiges Unternehmen machte mehr Sinn, aber es war nicht etwas, das man tun konnte, sobald man es wollte; ChatGPT rüttelte an den Variablen und brachte die Produktionsfaktoren zusammen. Man muss die Welle reiten.
Zhang Xiaojun: Nachdem Sie sich entschieden hatten, ein AGI-Unternehmen zu gründen, welche Vorbereitungen haben Sie getroffen? Wie haben Sie die beiden Produktionsfaktoren – Kapital und Talente – zusammengebracht?
Yang Zhilin: Es war ein gewundener Prozess. ChatGPT brauchte Zeit, um sich zu verbreiten. Manche Leute erfuhren früh davon, manche spät; manche zweifelten zunächst, waren dann schockiert, wurden dann zu Gläubigen. Leute zu finden und Geld zu finden waren eng mit dem Timing verbunden.
Wir begannen uns im Februar 2023 auf unsere erste Finanzierungsrunde zu konzentrieren. Hätten wir bis April gewartet, hätten wir im Grunde keine Chance mehr gehabt. Aber es im Dezember 2022 oder Januar 2023 zu tun, hätte auch nicht funktioniert – die Pandemie war noch im Gange, und die Leute hatten es noch nicht verarbeitet. Das eigentliche Fenster war also nur einen Monat lang.
Eines Nachts in den USA machte ich eine präzise Berechnung. Als ich fertig war, kam ich zu dem Schluss, dass wir innerhalb weniger Monate mindestens 100 Millionen Dollar aufbringen mussten. Viele auf dem Markt hatten noch nicht mit der Mittelbeschaffung begonnen, und viele glaubten nicht, dass man unbedingt so viel aufbringen könnte. Aber es stellte sich heraus, dass es möglich war – sogar mehr als das.
Der Talentmarkt begann sich ebenfalls zu bewegen. Inspiriert von ChatGPT hatten viele Leute diese Erkenntnis im März oder April 2023: Das ist das Einzige, was es wert ist, im nächsten Jahrzehnt getan zu werden. Man muss die richtigen Leute zur richtigen Zeit erreichen. Ein oder zwei Jahre früher hätten sich Talente nicht in diesem Maße konzentriert. Damals machten mehr Leute traditionelle KI oder KI-nahe Geschäfte – nichts davon war allgemeine KI.
Zhang Xiaojun: Zusammenfassend: Februar war das Fenster für die Mittelbeschaffung, und März und April waren das Fenster für die Einstellung?
Yang Zhilin: Mehr oder weniger.
Zhang Xiaojun: Diese Nacht in den USA – wo waren Sie, als Sie diese Berechnungen angestellt haben? Wie genau haben Sie gerechnet?
Yang Zhilin: Von Ende 2022 bis Anfang 2023 verbrachte ich ein oder zwei Monate in den USA und sprach mit Leuten. Ich habe es dort gemacht, wo ich wohnte. Man rechnet aus, wie viele FLOPs man braucht, die Trainingskosten, die Inferenz und die Benutzerzahlen.
Zhang Xiaojun: Was war in diesem Moment die vorherrschende Stimmung im Silicon Valley?
Yang Zhilin: Das Produkt begann viele Early Adopters anzuziehen, die sich im Tech-Bereich konzentrierten. Wir waren selbst in diesem Kreis, also spürten wir es deutlicher. Bei den großen Unternehmen im Silicon Valley müssen die Leute alle sechs Monate Leistungsbeurteilungen schreiben, und viele begannen, sie mit ChatGPT zu schreiben. Einige Leute, deren Schreibstil normalerweise nicht so professionell war, reichten mit ChatGPT geschriebene Beurteilungen ein, und alle klangen todernst.
Unterströmungen waren im Gange. Viele Leute dachten über ihren nächsten Job oder darüber nach, ein Unternehmen zu gründen. Einige Freunde, die mit uns sprachen, gründeten später Startups. Und es gab intensive FOMO – die Angst, etwas zu verpassen. Niemand konnte schlafen. Egal ob Mitternacht, 1 Uhr morgens oder 2 Uhr morgens, wenn man jemanden kontaktierte, war er immer da. Ein bisschen ängstlich, ein bisschen FOMO und sehr aufgeregt.
Zhang Xiaojun: In der Nacht, als Sie berechneten, dass Sie 100 Millionen Dollar aufbringen mussten – wie lange sind Sie aufgeblieben?
Yang Zhilin: Es war in Ordnung – die Berechnung selbst dauerte nicht lange. Aber hinterher konnte ich es nicht zu vielen Leuten sagen. Hätte ich es getan, hätte niemand geglaubt, dass es machbar wäre.
Teil 2
Technische Herkunft
„Befreie dich vom endlosen Feilen“
Zhang Xiaojun: Wenn die Venture-Capital-Welt über Sie spricht, heißt es: „Der Gründer ist brillant, hat technische Ausstrahlung, und das Team ist voller technischer Stars.“ Bevor wir also über Ihr Foundation-Model-Vorhaben sprechen, möchte ich mit Ihrem akademischen Hintergrund beginnen. Sie haben Informatik im Grundstudium an der Tsinghua-Universität studiert und Ihren Doktortitel an der School of Computer Science der Carnegie Mellon University erworben. War KI schon immer Ihr Schwerpunkt?
Yang Zhilin: Ich bin 1992 geboren und habe mein Grundstudium 2011 begonnen. Von meinem zweiten Studienjahr bis heute – mehr als ein Jahrzehnt – bin ich in diesem Bereich. Zuerst habe ich divergenter erkundet, mich überall umgesehen; ich habe einige Arbeiten im Zusammenhang mit Graphen und mit Multimodalität gemacht. 2017 habe ich mich auf Sprachmodelle konzentriert. Damals hatte ich das Gefühl, dass Sprachmodelle ein relativ wichtiges Problem waren; später hatte ich das Gefühl, dass es das einzige wichtige Problem war.
Zhang Xiaojun: Wie hat die KI-Industrie im Jahr 2017 allgemein Sprachmodelle verstanden, und wie hat sich dieses Verständnis entwickelt?
Yang Zhilin: Damals war es ein Modell, das zur Bewertung von Spracherkennungsergebnissen verwendet wurde. (Lacht.) Nachdem ein Sprachsegment erkannt wurde, erhielt man viele Kandidatenergebnisse, und man verwendete das Sprachmodell, um zu sehen, welches die höchste Wahrscheinlichkeit hatte, und gab das wahrscheinlichste aus. Die Anwendungen waren sehr begrenzt.
Aber man erkennt, dass es ein grundlegendes Problem ist, weil man die Wahrscheinlichkeiten der Welt modelliert. Sprache ist begrenzt, aber sie ist eine Projektion der Welt; theoretisch kann man, wenn man den Token-Raum – den Raum aller möglichen Token – groß genug macht, ein allgemeines Weltmodell bauen. Wie alles in der Welt entsteht und sich entwickelt, kann einer Wahrscheinlichkeit zugeordnet werden. Jedes Problem kann darauf reduziert werden, wie man Wahrscheinlichkeiten schätzt.
Zhang Xiaojun: Ihre akademischen Mentoren sind sehr prominent: Ihre Doktorväter waren Ruslan Salakhutdinov, KI-Chef bei Apple, und William W. Cohen, Chefwissenschaftler von Google AI. Beide sind sowohl in der Industrie als auch in der Akademie tätig.
Yang Zhilin: In den letzten Jahren kamen Industrie und Akademie mehr zusammen, aber der Trend verschiebt sich jetzt: Wertvollere Durchbrüche werden in der Industrie stattfinden. Das ist ein unvermeidliches Entwicklungsgesetz. Es beginnt mit explorativer Forschung und verlagert sich allmählich in einen reiferen Industrialisierungsprozess. Das bedeutet nicht, dass Forschung während der Industrialisierung unnötig ist – nur, dass reine Forschung Schwierigkeiten haben wird, wertvolle Durchbrüche zu erzielen.
Zhang Xiaojun: Was haben Sie von diesen renommierten Mentoren gelernt?
Yang Zhilin: Am meisten habe ich bei Google gelernt, wo ich lange Zeit ein Praktikum gemacht habe. Ich begann Ende 2018 an Transformer-basierten Sprachmodellen zu arbeiten. Meine größte Erkenntnis war, mich vom endlosen „Feilen“ zu befreien – der obsessiven Verfeinerung von Oberflächendetails. Das war entscheidend.
Man sollte darauf schauen, was die große Richtung ist, der große Gradient. Wenn zehn Wege vor einem liegen, macht sich der Durchschnittsmensch Sorgen, wie man auf diesem einen Weg vor einem Fußgänger bremst – kurzfristige Details. Aber welchen der zehn Wege man nehmen sollte, ist das Wichtigste.
Dieses Feld hatte zuvor genau dieses Problem. Zum Beispiel würde man sich auf einem Datensatz von nur ein oder zwei Millionen Token ansehen, wie man die Perplexität senken, den Loss senken, die Genauigkeit verbessern kann – und man verfällt in endloses Feilen. Die Leute erfanden viele bizarre Architekturen; das waren Feil-Tricks. Nach dem Feilen schnitt man auf dieser Art von Datensatz vielleicht besser ab, aber man verpasst das Wesen des Problems.
Das Wesen ist zu analysieren, was dem Feld fehlt. Was ist das erste Prinzip? Warum kann das Skalierungsgesetz als erstes Prinzip dienen? Man muss nur eine Struktur finden, die zwei Bedingungen erfüllt: Erstens, sie ist ausreichend allgemein; zweitens, sie ist skalierbar. Allgemein bedeutet, dass man alle Probleme innerhalb dieses Rahmens modellieren kann; skalierbar bedeutet, dass es, solange man genug Rechenleistung hineinsteckt, immer besser wird.
Das ist das Denken, das ich bei Google gelernt habe: Wenn etwas durch etwas Fundamentaleres erklärt werden kann, sollte man nicht zu viel an den oberen Ebenen feilen. Es gibt eine wichtige Aussage, der ich stark zustimme: Wenn man ein Problem mit Skalierung lösen kann, löse es nicht mit einem neuen Algorithmus. Der größte Wert eines neuen Algorithmus liegt darin, wie er einem erlaubt, besser zu skalieren. Wenn man sich vom Feilen befreit, kann man viel mehr sehen.
Zhang Xiaojun: War Google damals auch ein Anhänger des Skalierungsgesetzes? Wie hat es das First-Principles-Denken umgesetzt?
Yang Zhilin: Viele solcher Ideen existierten dort bereits, aber Google hat sie nicht besonders gut umgesetzt. Es hatte diese Denkweise, aber es konnte sich nicht zu einem echten Moonshot organisieren. Es war eher so: Hier sind fünf Leute, die meine ersten Prinzipien verfolgen, und dort fünf Leute, die ihre verfolgen. Es gab nichts Top-Down.
Zhang Xiaojun: Während Ihrer Promotion haben Sie Arbeiten in Zusammenarbeit mit den Turing-Award-Gewinnern Yann LeCun und Yoshua Bengio veröffentlicht – und Sie waren Erstautor dieser Arbeiten. Wie kam es zu diesen Zusammenarbeiten? Ich meine: Sie sind Turing-Award-Preisträger und waren nicht Ihre Betreuer – worauf haben Sie sich verlassen, um sie anzuziehen?
Yang Zhilin: Die Wissenschaft ist sehr offen. Solange man eine gute Idee und ein sinnvolles Problem hat, ist es in Ordnung. Was zwei Gehirne – oder n Gehirne – hervorbringen, ist mehr als ein Gehirn allein. Dies gilt auch bei der Entwicklung von AGI. Eine wichtige Strategie in der KI heißt „Ensembling“ – die Verwendung mehrerer verschiedener Modelle oder Methoden und die Kombination ihrer Vorhersagen für eine bessere Leistung. Im Wesentlichen macht man dasselbe: Wenn man unterschiedliche Standpunkte hat, kann man viele neue Dinge anstoßen. Zusammenarbeit ist enorm vorteilhaft.
Zhang Xiaojun: Hätten Sie zuerst eine Idee und fragen sie dann, ob sie interessiert sind?
Yang Zhilin: Ungefähr so lief es.
Zhang Xiaojun: Was ist schwieriger: wissenschaftliche Schwergewichte in der Forschung zu gewinnen oder Kapitalschwergewichte bei der Mittelbeschaffung zu gewinnen? Was sind die Gemeinsamkeiten?
Yang Zhilin: „Gewinnen“ ist kein guter Ausdruck – das Wesen dahinter ist Kooperation. Kooperation bedeutet, dass beide Seiten gewinnen, weil gegenseitiger Nutzen die Voraussetzung für Kooperation ist. Es gibt also wirklich keinen Unterschied: Man muss anderen einen einzigartigen Wert bieten.
Zhang Xiaojun: Wie verdienen Sie sich ihr Vertrauen? Was ist Ihrer Meinung nach Ihre Begabung?
Yang Zhilin: Es gibt keine besondere Begabung – nur hart arbeiten.
Teil 3
Das alte System funktioniert nicht mehr
„AGI braucht eine neue Art von Organisation“
Zhang Xiaojun: Sie sagten gerade: „Wertvollere Durchbrüche werden in der Industrie stattfinden“ – schließt das Startups und die KI-Labore der Giganten ein?
Yang Zhilin: Labore sind Geschichte. Google Brain war früher das größte KI-Labor in der Industrie, aber es war eine Forschungsorganisation, die in ein großes Unternehmen eingebettet war. Diese Art von Organisation kann neue Ideen erforschen, aber es ist sehr schwer für sie, ein großartiges System hervorzubringen – sie konnte den Transformer hervorbringen, aber nicht ChatGPT.
Die Art und Weise, wie sich die Entwicklung jetzt entwickelt, ist, dass man ein enormes System baut, das neue Algorithmen, solides Engineering und sogar viel Produkt- und Kommerzialisierungsarbeit erfordert. Es ist wie in den frühen 2000ern: Man konnte Informationsabruf nicht in einem Labor erforschen; es musste in der realen Welt leben, als ein riesiges System, ein Produkt mit Nutzern – wie Google. Also werden sich Forschungs- und Bildungssysteme in ihrer Funktion dahingehend verschieben, in erster Linie Talente auszubilden.
Zhang Xiaojun: Wie würden Sie diese neue Form des Systems beschreiben? Ist OpenAI sein Prototyp?
Yang Zhilin: Es ist die reifste Organisation dieser Art heute, und sie entwickelt sich immer noch allmählich weiter.
Zhang Xiaojun: Kann man es also als eine Organisation verstehen, die für die großen wissenschaftlichen Ziele der Menschheit gegründet wurde?
Yang Zhilin: Ich möchte betonen: Es ist keine reine Wissenschaft – es ist eine Kombination aus Wissenschaft, Ingenieurwesen und Geschäft. Es muss eine kommerzielle Organisation sein, ein Unternehmen, kein Forschungsinstitut. Aber dieses Unternehmen wird von Null auf Eins gebaut, weil AGI eine neue Art von Organisation braucht. Erstens unterscheidet sich die Produktionsweise vom Internet-Zeitalter; zweitens verschiebt es sich von reiner Forschung zu einer Kombination aus Forschung, Engineering, Produkt und Geschäft.
Im Kern sollte es ein Moonshot-Programm sein, mit einer großen Menge an Top-Down-Planung – doch innerhalb dieser Planung gibt es Raum für Innovation, weil nicht die gesamte Technologie vorbestimmt ist. Bottom-up-Elemente existieren innerhalb eines Top-Down-Rahmens. Eine solche Organisation gab es vorher nicht, aber die Organisation muss sich an die Technologie anpassen, weil die Technologie die Produktionsweise bestimmt; wenn sie nicht zusammenpassen, kann man nicht effektiv produzieren. Wir glauben, dass es sehr wahrscheinlich von Grund auf neu gestaltet werden muss.
Zhang Xiaojun: Während des Führungsputsches bei OpenAI im letzten Jahr war eine Option für Sam Altman, zu Microsoft zu wechseln und ein neues Microsoft-KI-Team zu leiten. Was ist der wesentliche Unterschied zwischen dem und dem CEO von OpenAI zu sein?
Yang Zhilin: Man müsste eine neue Organisation innerhalb einer alten Kultur wachsen lassen – und das ist extrem schwierig.
Zhang Xiaojun: Sie wollen „Chinas OpenAI“ bauen – kann man das so sagen?
Yang Zhilin: Nicht ganz genau. Wir wollen nicht Chinas irgendwas sein, und wir wollen nicht unbedingt OpenAI sein.
Erstens wird echte AGI definitiv global sein. Es gibt so etwas nicht – zumindest nicht langfristig – wie ein AGI-Unternehmen, das aufgrund von Marktschutzmechanismen auf einen regionalen Markt beschränkt ist. Globalisierung, AGI und ein Produkt mit einer sehr großen Nutzerbasis zu haben: Diese drei sind letztlich notwendige Bedingungen.
Zweitens, sollte es OpenAI sein? Wenn man sich 2017–2018 ansieht, hatte OpenAI einen schrecklichen Ruf. Wenn Leute in unserem Kreis nach Jobs suchten, zogen sie im Allgemeinen Orte wie Google in Betracht. Viele Leute, die mit Ilya Sutskever, dem Chefwissenschaftler von OpenAI, sprachen, kamen zu dem Schluss, dass der Mann verrückt sei und viel zu selbstbewusst – OpenAI war entweder Verrückte oder Betrüger. Aber sie verpflichteten sich sehr früh, fanden den Nicht-Konsens und fanden, was heute das einzige funktionierende erste Prinzip in der KI ist: Skalierung durch Next-Token-Vorhersage.
Ich glaube, es wird ein Unternehmen geben, das größer ist als OpenAI. Ein wirklich großartiges Unternehmen kann technologischen Idealismus mit einem großartigen Produkt verbinden und gemeinsam mit seinen Nutzern erschaffen – AGI wird letztlich etwas sein, das durch die Zusammenarbeit mit allen seinen Nutzern entsteht. Es geht also nicht nur um Technologie; es erfordert auch Pragmatismus und reale Bestrebungen – letztlich eine perfekte Kombination aus beidem.
Trotzdem sollten wir von OpenAIs technologischem Idealismus lernen. Wenn alle denken, du seist normal – wenn dein Traum einer ist, den jeder haben könnte – dann trägt er nichts zur Summe aller Träume der Menschheit bei.
Teil 4
Der erste Schritt des Moonshots ist „Langer Kontext“ – was ist der zweite?
„Als nächstes kommen zwei große Meilensteine“
Zhang Xiaojun: Zurück zu dem Moment, als Sie sich entschieden, das Unternehmen zu gründen – haben Sie die erste Finanzierungsrunde sofort nach Ihrer Rückkehr nach China gestartet?
Yang Zhilin: Es begann im Februar (letzten Jahres) in den USA, teilweise remote. Am Ende machten inländische Investoren die Mehrheit aus.
Zhang Xiaojun: Hat die erste Runde 100 Millionen Dollar eingebracht?
Yang Zhilin: Die erste Runde war nicht so hoch; spätere Runden überstiegen diese Zahl. Wir haben 2023 zwei Runden abgeschlossen mit einem Gesamtvolumen von fast 2 Milliarden RMB.
Dies ist jetzt die dritte Runde. Wir haben die Finanzierung nicht formell bekannt gegeben, daher kann ich mich dazu derzeit nicht äußern.
Zhang Xiaojun: Manche Leute sagen, dass seit der zweiten Hälfte des Jahres 2023 niemand mehr bereit war, in Foundation-Model-Unternehmen zu investieren. Liegen sie falsch?
Yang Zhilin: Es gibt sie noch. Man kann tatsächlich den Stimmungswandel sehen, aber es ist nicht so, dass niemand investiert – zumindest im Moment gibt es ein ziemlich großes Investitionsinteresse auf dem Markt.
Zhang Xiaojun: Neben Kapital und Leuten, welche anderen wichtigen Entscheidungen haben Sie 2023 getroffen?
Yang Zhilin: Zu entscheiden, was man tun will. Das ist der Vorteil von Unternehmen wie uns – eine technische Vision für Entscheidungen auf höchster Ebene zu haben.
Wir machen langen Kontext. Das erfordert Urteilsvermögen über die Zukunft: Man muss wissen, was grundlegend ist und wohin die Dinge als nächstes gehen. Wiederum sind es erste Prinzipien – der Prozess des „Entfeilens“. Wenn man sich auf das Feilen konzentriert, kann man nur darauf schauen, was OpenAI bereits gemacht hat, und herausfinden, wie man es reproduziert.
Man wird feststellen, dass die verlustfreie Langtextkomprimierung in Kimi dem Produkt ein einzigartiges Erlebnis verleiht. Wenn man englischsprachige Arbeiten liest, hilft es einem, sie bemerkenswert gut zu verstehen. Wenn man heute Claude oder GPT-4 verwendet, wird man nicht unbedingt so gut abschneiden; dies erforderte Vorarbeit. Wir haben über ein halbes Jahr daran gearbeitet. Das ist etwas ganz anderes, als heute einen Trend zum langen Kontext zu erkennen, hastig zwei Teams zusammenzustellen und es mit Höchstgeschwindigkeit zu entwickeln.
Natürlich hat der Marathon erst begonnen; es wird noch mehr Differenzierung geben, und das erfordert, dass man im Voraus antizipiert, was als „eine nicht-konsensuelle Meinung, die sich als wahr erweist" gilt.
Zhang Xiaojun: In welchem Monat wurde diese Entscheidung getroffen?
Yang Zhilin: Februar oder März – es wurde gleich bei der Gründung des Unternehmens entschieden.
Zhang Xiaojun: Warum ist der lange Kontext der erste Schritt der Mondmission?
Yang Zhilin: Weil er grundlegend ist. Er ist der Speicher des neuen Computers.
Der Speicher des alten Computers ist in den letzten Jahrzehnten um mehrere Größenordnungen gewachsen, und dasselbe wird mit dem neuen Computer passieren. Er kann viele der heutigen Probleme lösen. Zum Beispiel benötigen aktuelle multimodale Architekturen immer noch einen Tokenizer, aber mit einem verlustfrei komprimierten langen Kontext braucht man keinen – man kann die rohe Eingabe direkt hineingeben. Weiter gedacht ist es die Grundlage dafür, das neue Rechenparadigma allgemeiner zu machen.
Der alte Computer konnte alles mit Nullen und Einsen darstellen; alles konnte digitalisiert werden. Aber der heutige neue Computer kann das noch nicht – es gibt nicht genug Kontext, also ist er nicht so allgemein. Um ein allgemeines Weltmodell zu werden, braucht man einen langen Kontext.
Zweitens ermöglicht es Personalisierung. Der Kernwert von KI ist personalisierte Interaktion; der Wert landet letztendlich auf Personalisierung, und AGI wird personalisierter sein als die vorherige Generation von Empfehlungsmaschinen.
Aber Personalisierung wird nicht durch Feintuning erreicht – sie wird erreicht, indem man einen sehr langen Kontext unterstützt. Ihre gesamte Historie mit der Maschine ist der Kontext, und dieser Kontext definiert den Personalisierungsprozess. Er kann nicht repliziert werden, und er ermöglicht einen direkteren Dialog – einen Dialog, der Informationen generiert.
Zhang Xiaojun: Wie viel Spielraum gibt es, dies zu skalieren?
Yang Zhilin: Enorm. Einerseits hat die Erweiterung des Fensters selbst noch einen langen Weg vor sich – mehrere Größenordnungen.
Andererseits kann man nicht nur das Fenster erweitern, und man kann nicht nur auf die Zahl schauen; ob das Fenster heute ein paar Millionen Tokens oder mehrere Milliarden umfasst, ist an sich bedeutungslos. Man muss auf die Argumentationsfähigkeit achten, die es innerhalb dieses Fensters ermöglicht, auf die Treue – die Genauigkeit gegenüber der ursprünglichen Information – und auf die Fähigkeit, Anweisungen zu befolgen. Man sollte nicht einer einzelnen Metrik hinterherjagen; man muss Metriken mit Fähigkeiten kombinieren.
Wenn sich diese beiden Dimensionen ständig verbessern, kann man eine Menge erreichen. Es könnte eine Anweisung befolgen, die Zehntausende von Wörtern lang ist, und die Anweisung selbst könnte viele Agenten definieren – hochgradig personalisiert.
Zhang Xiaojun: Sind die Technologien hinter dem langen Kontext und dem Aufholen zu GPT-4 gegenseitig nutzbar? Sind sie dasselbe?
Yang Zhilin: Ich denke nicht. Es geht mehr darum, eine neue Dimension hinzuzufügen – eine Dimension, die GPT-4 nicht hat.
Zhang Xiaojun: Viele Leute sagen, dass die führenden chinesischen Foundation-Modell-Unternehmen alle ungefähr dasselbe tun – im Jahr 2023 GPT-3.5 hinterherjagen, im Jahr 2024 GPT-4. Stimmen Sie dem zu?
Yang Zhilin: Die Verbesserung der allgemeinen Fähigkeiten hat sicherlich wichtige Meilensteine, also hat diese Aussage bis zu einem gewissen Grad recht – als Nachzügler durchläuft man unweigerlich einen Aufholprozess. Aber sie ist auch einseitig. Jenseits der allgemeinen Fähigkeiten gibt es viel Raum, um besondere Fähigkeiten zu entwickeln und in bestimmten Richtungen den Stand der Technik zu erreichen. Langer Kontext ist eine davon. DALL-E 3's Bildgenerierung wird von Midjourney V6 deutlich übertroffen. Also muss man an beiden Fronten arbeiten.
Zhang Xiaojun: Welcher Anteil an Zeit und Ressourcen fließt in allgemeine Fähigkeiten im Vergleich zu neuen Dimensionen?
Yang Zhilin: Sie müssen kombiniert werden. Eine neue Dimension kann nicht getrennt von allgemeinen Fähigkeiten existieren, daher ist es schwierig, ein direktes Verhältnis anzugeben. Aber es sind ausreichende Investitionen erforderlich, um die neue Dimension gut umzusetzen.
Zhang Xiaojun: Werden all diese neuen Dimensionen von Kimi getragen?
Yang Zhilin: Kimi ist sicherlich ein sehr wichtiges Produkt für uns, und wir werden auch einige andere Versuche unternehmen.
Zhang Xiaojun: Was halten Sie von der Aussage von Li Guangmi, dem Gründer von Shixiang, dass die technologische Besonderheit chinesischer Foundation-Modell-Unternehmen heute immer noch nicht sehr hoch ist?
Yang Zhilin: Ich finde es in Ordnung – wir haben heute bereits eine ganze Reihe von Unterschieden geschaffen. Es ist eine Frage der Zeit; in diesem Jahr sollten Sie mehr Dimensionen sehen. Letztes Jahr hat jeder nur das Gerüst aufgebaut und die Dinge erst einmal zum Laufen gebracht.
Zhang Xiaojun: Wenn der erste Schritt der Mondmission der lange Kontext ist, was ist der zweite?
Yang Zhilin: Es wird zwei große Meilensteine vor uns geben. Erstens, ein wirklich einheitliches Weltmodell – eines, das all die verschiedenen Modalitäten vereint, eine wirklich skalierbare und allgemeine Architektur.
Zweitens, KI in die Lage zu versetzen, sich ohne menschliche Dateneingabe weiterzuentwickeln.
Zhang Xiaojun: Wie lange wird es dauern, diese beiden Meilensteine zu erreichen?
Yang Zhilin: Zwei bis drei Jahre – möglicherweise schneller.
Zhang Xiaojun: In drei Jahren werden wir also bereits auf eine Welt blicken, die sich völlig von der heutigen unterscheidet.
Yang Zhilin: Bei der aktuellen Entwicklungsgeschwindigkeit, ja. Die Technologie befindet sich jetzt in einem aufkeimenden, schnell wachsenden Stadium.
Zhang Xiaojun: Können Sie sich vorstellen, was in drei Jahren existieren wird?
Yang Zhilin: Es wird ein gewisses Maß an AGI geben. Viele der Dinge, die wir heute tun, wird KI auch tun können – sogar besser als wir. Aber der Schlüssel liegt darin, wie wir sie nutzen.
Zhang Xiaojun: Und für Sie – für Moonshot AI als Unternehmen – was ist der zweite Schritt?
Yang Zhilin: Wir werden diese beiden Dinge tun. Alle verbleibenden Probleme leiten sich von diesen beiden Faktoren ab. Das Reasoning und die Agenten, über die heute gesprochen wird, sind Nebenprodukte der Lösung dieser beiden Probleme. Es bedarf noch einiger zusätzlicher Verfeinerung, aber es gibt keine grundlegende Hürde.
Zhang Xiaojun: Werden Sie voll auf das Aufholen zu GPT-4 setzen?
Yang Zhilin: GPT-4 ist eine notwendige Station auf dem Weg zur AGI. Der Schlüssel ist, sich nicht damit zufrieden zu geben, GPT-4 lediglich zu erreichen. Erstens muss man fragen, was der wirkliche Nicht-Konsens jetzt ist: Was kommt nach GPT-4? Wie sollten GPT-5 und GPT-6 aussehen? Zweitens muss man sehen, welche besonderen Fähigkeiten man dabei hat – und das ist wichtiger.
Zhang Xiaojun: Andere Foundation-Modell-Unternehmen veröffentlichen ihre
