So bauen Sie Ihr eigenes LLM von Grund auf (Die 5-stufige Pipeline hinter GPT und Claude)

Die meisten Menschen nutzen ChatGPT und Claude jeden Tag, haben aber keine Ahnung, wie sie eigentlich gebaut wurden.

Speichere dir das :)

Eine kleine Gruppe von Menschen versteht die genaue Pipeline, die rohen Internet-Text in ein Modell verwandelt, das schreiben, schlussfolgern und programmieren kann. Und das Verständnis dieser Pipeline verändert für immer, wie du diese Tools nutzt, weil du endlich siehst, was unter der Haube passiert, anstatt es als Magie zu betrachten.

Der Unterschied zwischen diesen beiden Gruppen ist kein Mathematikstudium.

Es ist ein klares mentales Modell.

Hier ist die Wahrheit, die fast niemand einfach erklärt: Jedes Frontier-Modell, GPT, Claude, alle von ihnen, wird durch dieselbe fünfstufige Pipeline gebaut. Die Unternehmen unterscheiden sich in Umfang, Daten und tausend technischen Details, aber die Form des Prozesses ist überall gleich. Lerne die Form, und du verstehst, wie sie alle gemacht werden.

Lass mich vorab ehrlich die Erwartungen klären. Du wirst kein Modell, das mit GPT oder Claude konkurriert, von Grund auf auf deinem Laptop trainieren. Diese Modelle kosten zig Millionen Dollar an Rechenleistung und erfordern riesige Ingenieurteams. Das ist hier nicht das Ziel. Das Ziel ist es, die Pipeline so tiefgreifend zu verstehen, dass du selbst eine winzige funktionierende Version bauen, über das Verhalten der großen Modelle nachdenken und aufhören kannst, dich von alldem mystifizieren zu lassen. Dieses Verständnis ist weit mehr wert, als die meisten Menschen erkennen, und es ist absolut erreichbar.

Hier sind die fünf Stufen, in der richtigen Reihenfolge, genau so, wie sie ablaufen.

Stufe 1: Daten — Das Fundament, auf dem alles aufbaut

Bevor es ein Modell gibt, gibt es Text. Eine enorme Menge davon.

Die erste Stufe ist das Sammeln und Aufbereiten der Daten, von denen das Modell lernen wird. Für ein Frontier-Modell bedeutet dies eine atemberaubende Menge an Text: einen großen Teil des öffentlichen Internets, Bücher, Code-Repositories und mehr. Aber roher Text ist chaotisch, daher besteht die meiste Arbeit in dieser Stufe nicht im Sammeln, sondern im Bereinigen.

Die Daten werden gefiltert, um Müll zu entfernen, doppelte Inhalte werden aussortiert (der gleiche Absatz, der tausendmal erscheint, würde verzerren, was das Modell lernt), und minderwertiges oder schädliches Material wird herausgefiltert. Diese Bereinigung ist wichtiger, als die Leute denken. Das alte Prinzip gilt: Müll rein, Müll raus. Ein Modell, das mit saubereren, qualitativ hochwertigeren Daten trainiert wurde, lernt besser als eines, das mit mehr, aber chaotischeren Daten trainiert wurde. Datenqualität ist einer der wichtigsten und am wenigsten glamourösen Hebel im gesamten Bereich.

Dann kommt der Schritt, der Anfänger überrascht: Tokenisierung. Das Modell kann Text nicht direkt lesen. Der Text wird in Tokens zerlegt, das sind Stücke in der ungefähren Größe eines Wortteils. Das Wort „Tokenisierung“ könnte zu drei oder vier Tokens werden. Jedes Stück Trainingsdaten wird in diese Tokens umgewandelt, und von diesem Punkt an sieht das Modell nur noch Zahlen, die Tokens repräsentieren, niemals Buchstaben. Deshalb zählen Modelle manchmal die Buchstaben in einem Wort falsch: Sie haben nie die Buchstaben gesehen, nur das Token.

Das Ergebnis dieser Stufe ist ein massiver, sauberer, tokenisierter Datensatz. Es wurde noch nichts gelernt. Du hast nur das Rohmaterial vorbereitet.

Was du tun kannst, um diese Stufe zu lernen

• Lerne, was ein Tokenizer tatsächlich tut, indem du Text durch einen laufen lässt und beobachtest, wie er in Tokens zerlegt wird
• Nimm einen kleinen Textdatensatz und übe das Bereinigen: Duplikate entfernen, Müll filtern, Format normalisieren
• Verstehe, warum Datenqualität Datenquantität schlägt, indem du vergleichst, was ein kleines Modell aus sauberen versus chaotischen Daten lernt
• Lies darüber, wie die großen Labore ihre Datenfilterung beschreiben, und achte darauf, wie viel Aufwand darin steckt

Stufe 2: Pretraining — Wo das Modell tatsächlich Sprache lernt

Dies ist die Stufe, die Millionen kostet, und hier lernt das Modell fast alles, was es weiß.

Pretraining hat ein wunderbar einfaches Ziel: das nächste Token vorherzusagen. Dem Modell wird eine Sequenz von Tokens gezeigt und es wird gebeten, das nächste zu erraten. Es rät, der Tipp wird mit dem tatsächlichen nächsten Token verglichen, und die internen Zahlen des Modells (seine Parameter, oft Milliarden davon) werden angepasst, um beim nächsten Mal besser zu raten. Dann macht es das wieder. Und wieder. Über Billionen von Tokens hinweg.

Das ist das gesamte Trainingsziel. Das nächste Token vorhersagen, immer und immer wieder, in kolossalem Maßstab. Und aus diesem absurd einfachen Ziel entsteht etwas Bemerkenswertes. Um gut darin zu werden, das nächste Token in allen menschlichen Texten vorherzusagen, ist das Modell gezwungen, Grammatik, Fakten, logische Muster, Programmiersyntax und die Struktur von Argumenten zu lernen, weil all das ihm hilft, besser vorherzusagen. Niemand hat ihm explizit Grammatik beigebracht. Es hat Grammatik gelernt, weil Grammatik ihm hilft, das nächste Wort zu erraten.

Das Ergebnis des Pretrainings nennt man ein Basis-Modell. Es ist eine mächtige Sprachmaschine, aber sie ist roh. Ein Basis-Modell weiß nicht, dass es ein hilfreicher Assistent sein soll. Stell ihm eine Frage und es könnte einfach deinen Satz fortsetzen oder eine Liste ähnlicher Fragen generieren, weil es nur gelernt hat, Text plausibel fortzusetzen. Es hat ein riesiges Wissen und null Manieren. Es ist ein unglaublich fähiges Instrument, dem nicht gesagt wurde, welchen Job es hat.

Diese Stufe zu verstehen, ist der wichtigste Durchbruch in diesem ganzen Artikel. Sobald du verstehst, dass der Kern dieser Modelle die Vorhersage des nächsten Tokens in massivem Maßstab ist, ergeben sowohl ihre Sprachgewandtheit als auch ihre Halluzinationen vollkommenen Sinn. Sie sind darauf gebaut, plausibel fortzusetzen, nicht die Wahrheit zu sagen. Wahrheit ist etwas, das die späteren Stufen und dein eigenes Engineering hinzufügen müssen.

Was du tun kannst, um diese Stufe zu lernen

• Verinnerliche das Ziel der Vorhersage des nächsten Tokens, bis du es einem Freund in einem Satz erklären kannst
• Trainiere ein winziges Sprachmodell auf einem kleinen Datensatz (es gibt bekannte Anfänger-Tutorials dafür), um den Kreislauf aus erster Hand zu spüren
• Verstehe die Beziehung zwischen Parametern, Daten und Rechenleistung und warum die Skalierung aller drei die Modelle verbesserte
• Achte darauf, wie diese Stufe erklärt, warum Modelle sowohl sprachgewandt sind als auch warum sie selbstbewusst Dinge erfinden

Stufe 3: Supervised Fine-Tuning — Dem Modell beibringen, nützlich zu sein

Jetzt nimmst du dieses brillante, manierlose Basis-Modell und bringst ihm bei, welchen Job es hat.

Das Basis-Modell kennt Sprache, weiß aber nicht, dass es Fragen hilfreich beantworten soll. Supervised Fine-Tuning, meist als SFT abgekürzt, behebt das. Du zeigst dem Modell Tausende von Beispielen für das Verhalten, das du dir wünschst: eine Frage gepaart mit einer guten Antwort, eine Anweisung gepaart mit einer korrekten Reaktion, ein Problem gepaart mit einer klaren Lösung.

Das Modell wird mit diesen Beispielen auf die gleiche Weise trainiert wie beim Pretraining, indem es Tokens vorhersagt, aber jetzt sind die Daten kuratierte Demonstrationen genau dessen, wie ein hilfreicher Assistent reagieren sollte. Es lernt das Format des Nützlichseins: Wenn eine Frage gestellt wird, produziere eine hilfreiche Antwort, anstatt den Text fortzusetzen oder abzuschweifen.

Die Qualität dieser Beispiele ist enorm wichtig, und sie werden oft von Menschen geschrieben oder sorgfältig kuratiert. Das sind weitaus weniger Daten als beim Pretraining, manchmal Tausende oder Zehntausende von Beispielen statt Billionen von Tokens, aber sie sind von hoher Qualität, bewusst gewählt und gezielt. Eine relativ kleine Menge an exzellenten Demonstrationsdaten verwandelt ein rohes Basis-Modell in etwas, das sich wie ein Assistent verhält.

Nach dem SFT hast du ein Modell, das wirklich nützlich ist. Es folgt Anweisungen, beantwortet Fragen und bleibt bei der Sache. Für viele Zwecke ist dies bereits ein funktionierender Assistent. Aber es ist noch nicht so hilfreich, harmlos und verfeinert wie die Modelle, die du tatsächlich benutzt, und dafür sind die letzten beiden Stufen da.

Was du tun kannst, um diese Stufe zu lernen

• Verstehe den Unterschied zwischen einem Basis-Modell und einem feinabgestimmten Modell, indem du Beispiele liest, wie jedes reagiert
• Erstelle oder untersuche einen kleinen Anweisungsdatensatz: Frage-Antwort-Paare, die das gewünschte Verhalten demonstrieren
• Versuche, ein kleines offenes Modell auf eine fokussierte Aufgabe feinabzustimmen und beobachte, wie sich sein Verhalten ändert
• Achte darauf, wie sehr die Qualität der Demonstrationsbeispiele im Vergleich zu ihrer Quantität zählt

Stufe 4: Reward Modeling — Dem Modell beibringen, wie „gut“ aussieht

Dies ist die Stufe, die die meisten Erklärungen überspringen, und sie ist das clevere Herzstück dessen, wie moderne Modelle so poliert werden.

Hier ist das Problem, vor dem die Labore standen. Nach dem SFT gibt ein Modell gute Antworten, aber „gut“ ist allein mit Beispielen schwer zu definieren. Für die meisten Fragen gibt es nicht die eine richtige Antwort; es gibt bessere und schlechtere. Wie bringst du einem Modell bei, die bessere Antwort zu bevorzugen, wenn du keine Regel dafür schreiben kannst?

Die Lösung ist elegant. Du lässt das Modell mehrere verschiedene Antworten auf denselben Prompt generieren. Dann schauen sich Menschen diese Antworten an und bewerten sie: Diese ist besser als jene. Du sammelst eine große Anzahl dieser menschlichen Präferenzvergleiche. Und dann, anstatt sie direkt zu verwenden, trainierst du ein zweites Modell, genannt Reward Model, dessen einzige Aufgabe es ist, sich jede Antwort anzusehen und vorherzusagen, wie ein Mensch sie bewerten würde.

Überlege dir, was das bewirkt. Du kannst nicht Menschen jede Antwort bewerten lassen, die das Hauptmodell jemals produziert; das wäre nicht skalierbar. Aber du kannst ein Reward Model an einer Stichprobe menschlicher Urteile trainieren, und jetzt hast du einen automatisierten Stellvertreter für menschliche Präferenzen, der Millionen von Antworten bewerten kann. Das Reward Model ist die Brücke zwischen „was Menschen mögen“ und „etwas, das ein Computer optimieren kann“.

Das Reward Model spricht nie mit Benutzern. Es ist ein Richter hinter den Kulissen. Aber es ist der Schlüssel, der die letzte Stufe freischaltet, weil es dir einen Weg gibt, das Hauptmodell zu Antworten zu drängen, die Menschen tatsächlich bevorzugen, in einem Maßstab, den kein menschliches Team jemals erreichen könnte.

Was du tun kannst, um diese Stufe zu lernen

• Verstehe, warum das Bewerten von Antworten (dies ist besser als das) einfacher und skalierbarer ist als das Schreiben perfekter Antworten
• Erfasse die Kernidee: Ein Reward Model lernt, menschliches Urteilsvermögen zu imitieren, damit es Antworten automatisch bewerten kann
• Lies darüber, wie Präferenzdaten durch menschliche Vergleiche gesammelt werden
• Sieh, wie diese Stufe die Unordnung des menschlichen Geschmacks mit etwas verbindet, das ein Trainingsprozess nutzen kann

Stufe 5: Reinforcement Learning — Das Modell zu dem polieren, was du benutzt

Die letzte Stufe nimmt alles bisher Gebaute und verfeinert das Modell zu dem hilfreichen, vorsichtigen Assistenten, mit dem du tatsächlich interagierst.

Diese Stufe wird normalerweise als RLHF bezeichnet, Reinforcement Learning from Human Feedback (bestärkendes Lernen aus menschlichem Feedback). So fügen sich die Teile zusammen. Du nimmst dein feinabgestimmtes Modell aus Stufe 3 und das Reward Model aus Stufe 4. Das feinabgestimmte Modell generiert Antworten. Das Reward Model bewertet sie. Und das feinabgestimmte Modell wird durch Reinforcement Learning dazu gedrängt, Antworten zu produzieren, die besser bewertet werden. Es ist ein Kreislauf: generieren, bewerten, verbessern, wiederholen.

Da das Reward Model endlos bewerten kann, kann das Hauptmodell weit über das hinaus üben und sich verbessern, was direkte menschliche Beispiele jemals bieten könnten. Über viele Runden lernt es, hilfreicher, kohärenter, besser im Befolgen von Nuancen und besser darin zu sein, Dinge abzulehnen, die es nicht tun sollte. Dies ist die Stufe, die den Modellen ihren Schliff, ihr gutes Urteilsvermögen und einen Großteil ihres Sicherheitsverhaltens verleiht.

Eine moderne Variante, die man kennen sollte: Ein Teil des menschlichen Feedbacks kann durch Feedback ersetzt oder ergänzt werden, das gemäß einer schriftlichen Reihe von Prinzipien generiert wurde, ein Ansatz, der manchmal RLAIF oder konstitutionelle Methoden genannt wird. Der Geist ist derselbe: Anstatt sich nur auf Menschen zu verlassen, um alles zu bewerten, skalierst du das Feedback, das das Verhalten des Modells formt, geleitet von klar formulierten Werten.

Nach dieser Stufe hast du das fertige Produkt. Ein Modell, das durch Pretraining sprachgewandt, durch Fine-Tuning nützlich und durch Reinforcement Learning verfeinert und abgestimmt ist. Das ist es, womit du sprichst, wenn du ChatGPT oder Claude öffnest. Fünf Stufen, von denen jede auf der vorherigen aufbaut.

Was du tun kannst, um diese Stufe zu lernen

• Verstehe den Kreislauf: Das Modell generiert, das Reward Model bewertet, das Modell verbessert sich in Richtung höherer Bewertungen
• Erfasse, warum dies dem Modell ermöglicht, weit über die Grenzen direkter menschlicher Beispiele hinaus zu üben
• Lies über den Unterschied zwischen dem Lernen aus menschlichem Feedback und dem Lernen aus KI-Feedback, das von Prinzipien geleitet wird
• Sieh, wie diese letzte Stufe die Hilfsbereitschaft, das Urteilsvermögen und das Sicherheitsverhalten erzeugt, das du als Benutzer erlebst

Die gesamte Pipeline in einem Atemzug

Lass mich alles zusammenfassen, damit es sitzt.

Du sammelst und bereinigst einen Berg von Text und verwandelst ihn in Tokens. Du trainierst ein Modell, das nächste Token in all dem vorherzusagen, und aus diesem einfachen Ziel entsteht ein Basis-Modell, das Sprache versteht, aber keine Manieren hat. Du stimmst es mit kuratierten Beispielen fein ab, damit es lernt, sich wie ein hilfreicher Assistent zu verhalten. Du sammelst menschliche Rankings seiner Antworten und trainierst ein Reward Model, um menschliches Urteilsvermögen zu imitieren. Und schließlich nutzt du dieses Reward Model, um den Assistenten durch Reinforcement Learning zu verfeinern, bis er poliert, hilfreich und abgestimmt ist.

Daten, Pretraining, Fine-Tuning, Reward Modeling, Reinforcement Learning. Fünf Stufen. So wird jedes Frontier-Modell gemacht.

Die ehrliche Wahrheit über den Bau deines eigenen LLM

Du wirst die Frontier-Labore nicht von deinem Schlafzimmer aus übertreffen, und das war nie der Punkt.

Der Punkt ist das Verständnis. Sobald diese Pipeline in deinem Kopf klar ist, hörst du auf, ein passiver Benutzer dieser Tools zu sein, und wirst jemand, der über sie nachdenkt. Du verstehst, warum sie halluzinieren (Vorhersage des nächsten Tokens). Du verstehst, warum Prompting funktioniert (du formst, was vorhergesagt wird). Du verstehst, warum sich manche Modelle abgestimmter anfühlen als andere (die Qualität der Stufen vier und fünf). Du verstehst, warum deine eigenen Daten in deinen eigenen Fine-Tuning-Experimenten so wichtig sind. Dieses Verständnis ist das Fundament, auf dem die fähigsten KI-Entwickler stehen.

Und hier ist der wirklich bestärkende Teil: Du kannst selbst eine winzige funktionierende Version jeder dieser Stufen in kleinem Maßstab bauen, um zu lernen. Leute trainieren Miniaturmodelle, stimmen kleine offene Modelle fein ab und experimentieren ständig mit Präferenzdaten. Du wirst nicht Claude bauen. Aber du kannst etwas bauen, das dir genau beibringt, wie Claude gebaut wurde, und dieses Wissen zahlt sich für den Rest deiner Karriere in diesem Bereich aus.

Die meisten Menschen werden diese Modelle jahrelang benutzen und nie verstehen, wie sie gemacht wurden.

Du hast gerade die ganze Pipeline gelesen. Du bist bereits fast jedem voraus, der jeden Tag in diese Tools tippt.

Die einzige Frage ist, ob du selbst eine kleine Version bauen und Verständnis in etwas verwandeln wirst, das du tatsächlich tun kannst.

Die fünf Stufen stehen direkt über dir. Wähle Stufe eins und fang an.

Wenn du das nützlich fandest, folge mir @eng_khairallah1 für mehr KI-Inhalte wie diesen. Ich poste jede Woche Analysen, Kurse und Tools.

Ich hoffe, das war nützlich für dich, Khairallah ❤️