Die vorherrschende Erzählung derzeit ist, dass Open Source das Unternehmen frisst. Die Leistungslücke zwischen den besten geschlossenen und offenen Modellen ist auf niedrige einstellige Prozentpunkte geschrumpft. Ein Drittel der Fortune 500 hat verifizierte Konten auf Hugging Face, chinesische Labore veröffentlichen alle paar Wochen Modelle mit offenen Gewichten, die an die Spitzenklasse heranreichen, und die Inferenzanbieter liefern ab.
Gleichzeitig betreiben wir bei Decagon inzwischen etwa 90 % unserer Workloads mit Open-Source-Modellen anstatt mit OpenAI oder Anthropic. Dies entspricht dem Trend der meisten Hypergrowth-App-Unternehmen, und wir sehen, dass auch die großen Unternehmen, mit denen wir zusammenarbeiten, sich in diese Richtung bewegen.
Und dennoch bewegt sich der Unternehmensausgaben insgesamt in die entgegengesetzte Richtung. Open-Source-Modelle sind auf nur noch 11 % der LLM-Ausgaben von Unternehmen gefallen, gegenüber 19 % vor einem Jahr.
Der Trend verläuft tatsächlich in die andere Richtung als die gängige Erzählung. Warum ist das so und was bedeutet das für die Zukunft?
Zunächst etwas Kontext, warum wir zu 90 % auf Open Source setzen. Es lag nicht an den Kosten, und es lag auch nicht daran, dass unsere Kunden es verlangten (obwohl sie nichts dagegen haben). Es lag daran, dass wir keine andere Wahl hatten.
Wenn man KI-Agenten im Produktionseinsatz für den Kundenservice betreibt, macht die Latenz das Produkt oder bricht es. Eine Konversation, bei der jeder Schritt 8 Sekunden dauert, ist kein Produkt, das jemand nutzen wird. Also braucht man kleine, schnelle Modelle. Jeder Modellaufruf muss nicht die Hauptstadt Litauens oder die Physik der Oberstufe kennen.
Aber kleine Modelle von der Stange sind nicht gut genug für die Qualitätsanforderungen, die unsere Kunden an uns stellen. Sie erreichen diese nur durch umfangreiches Feintuning auf die genaue Aufgabe. Die führenden Labore bieten diese Kombination nicht wirklich an. Man kann ihre besten Modelle nicht so feintunen, wie wir es brauchen, und ihre kleinen Modelle stehen nicht zur freien Verfügung. Klein + feingetunt bedeutet offene Gewichte. Die Kosteneinsparungen sind real, aber zweitrangig, und das Wohlfühlen der Unternehmen mit selbst gehosteten Modellen ist ein netter Nebeneffekt, nicht der Grund.
Warum ist also ein Unternehmen wie wir zu 90 % auf Open Source angewiesen, während die Zahl in der breiten Unternehmenslandschaft sinkt?
Die Antwort ist die Reife des Anwendungsfalls. Wenn ein Anwendungsfall neu ist, möchte man das intelligenteste Allzweckmodell, das man bekommen kann. Man kennt die Form des Problems noch nicht, also zahlt man einen Aufpreis für Intelligenz, die man am Ende vielleicht gar nicht braucht. Das ist der richtige Kompromiss in dieser Phase. Aber sobald der Anwendungsfall vollständig ausgearbeitet ist, wenn man die Verteilung der Eingaben, die benötigten Verhaltensweisen und die zu verhindernden Fehlermodi kennt, kehrt sich der Kompromiss um. Jetzt ist allgemeine Intelligenz Overhead, und man möchte das kleinste, schnellste Modell, das darauf feingetunt ist, seine spezifische Aufgabe extrem gut zu erledigen.
Kundenservice ist zufällig einer der offensichtlichsten KI-Anwendungsfälle in der Branche. Gut verstandene Arbeitsabläufe, enormes Gesprächsvolumen, enge Qualitätsvorgaben. Das bedeutet, dass Unternehmen wie wir einfach weiter auf der Kurve vorangeschritten sind als der durchschnittliche Unternehmenseinsatz.
Und das ist die Auflösung des Paradoxons. Der Grund für den Rückgang des Open-Source-Anteils ist nicht, dass Open Source verliert. Es liegt daran, dass KI in Unternehmen als Ganzes ganz am Anfang der Reifekurve steht. Letztes Jahr haben Unternehmen aufgehört zu bauen und angefangen zu kaufen, und Tausende von brandneuen Anwendungsfällen wurden auf einmal gestartet. Neue Anwendungsfälle laufen auf Spitzenmodellen, also explodierte der Anteil der geschlossenen Modelle. Die 11 % sind ein Nennerproblem: Der Pool unreifer Anwendungsfälle wächst schneller als der Pool reifer.
Wenn das stimmt, dann ist jeder Anwendungsfall, der heute auf einem Spitzenmodell prototypisiert wird, eine zukünftige Open-Source-Migration. Wenn die Einsätze reifen, werden Unternehmen das tun, was wir getan haben: destillieren, feintunen, spezialisieren. Die führenden Labore werden weiterhin die Entdeckung besitzen. Open Source wird zunehmend die Produktion besitzen.
Dies wird jedoch länger dauern, als die Leute denken. Die meisten Anwendungsfälle sind einfach noch nicht an dem Punkt, an dem die „Form“ des Agenten so weit finalisiert ist, dass es sinnvoll ist, mit dem Feintuning von Open-Source-Modellen zu beginnen.
Feintuning erfordert Aufwand, und die meisten Organisationen haben nicht die Ressourcen oder das Fachwissen, um es durchzuführen. Der Anwendungsfall müsste einen sehr hohen ROI haben und bereits vollständig in großem Maßstab eingesetzt werden, damit es sich lohnt. Man braucht auch genügend Daten, um sicherzustellen, dass die kleineren Modelle bei einer bestimmten Aufgabe auf dem gleichen Niveau wie die Spitzenmodelle abschneiden können.
Ansonsten ist es einfach viel einfacher, eines der führenden Closed-Source-Modelle einzustecken. Man muss sich keine Gedanken über den Besitz der Infrastruktur machen und hat die Freiheit, iterativ und experimentell vorzugehen.
Daher wird der Anteil der LLM-Ausgaben für Open Source irgendwann nach oben ausschlagen, aber das wird noch viele Jahre dauern.
