Für die zeitsparenden Bauherren und Investoren, die von den besten Tech- und Business-Gesprächen lernen wollen, ohne die Stunden zu investieren, die es braucht, um ihnen allen zu folgen.
Die acht besten Episoden dieser Woche, zusammengefasst an einem Ort, jede vollständige Sendung nur einen Klick entfernt. Abonnieren Sie unbedingt Fireside Alpha, um tägliche Zusammenfassungen und Analysen neuer Episoden zu erhalten.
Die größten Themen dieser Woche:
- Jensen Huang sagt, die Chipindustrie müsse noch fünf- bis zehnmal größer werden, bevor der KI-Aufbau abgeschlossen sei, und datiert die Blase auf „irgendwann, nur nicht heute". ▶ Ansehen · 00:32:01
- Charlie Kawwas (Präsident, Broadcom) hat einen Kunden, der von 1,5 GW KI-Silizium in diesem Jahr auf vertraglich vereinbarte 6,5 GW im nächsten Jahr und auf über 10 GW im Jahr darauf hochskaliert. ▶ Ansehen · 00:16:40
- Sassine Ghazi (CEO, Synopsys) bewertet das KI-Chipdesign heute auf Stufe L4, wobei das Frontend bereits auf sechs bis acht Agenten läuft – nachdem er zwei Jahre lang falsch lag, als er sagte, es sei noch fünf bis sechs Jahre entfernt. ▶ Ansehen · 00:12:56
- Andy Hock (Chief Strategy Officer, Cerebras) sagt, OpenAI habe sich bereit erklärt, 750 Megawatt Rechenleistung von Cerebras zu kaufen, und die schnellere Codex-Option in seinem Codierungsprodukt laufe auf Cerebras. ▶ Ansehen · 00:49:58
- Pat Gelsinger und das HBM-Panel inklusive SK hynix stellen fest, dass der Speicher fast 90% Margen für ein Geschäft erzielt, das früher nur „ein gutes Jahr von vier" hatte, und bezeichnen es dennoch als schlechten Speicher. ▶ Ansehen · 0:03:11
- Der SemiAnalysis-Desk argumentiert, dass Anthropic bereits profitabel ist, mit mehr als 80% des ARR auf der margenstarken API-Seite und einem Betriebsgewinn im dritten Quartal, der möglicherweise über 1 Milliarde Dollar liegt.
- Scott Wu zeigt, dass über 90% des Codes von Cognition jetzt von Devin geschrieben werden und der Agent die Mehrheit seiner eigenen Sitzungen startet. ▶ Ansehen · 5:31
- Mansour Karam von Aria Networks sagt, dass dieselbe Million Tokens 0,20 $ oder 20 $ kosten können, eine 100-fache Spanne, und die Schicht, die dies entscheidet, ist das Netzwerk. ▶ Ansehen · 0:03:38
Jensen Huang · Axios
Vollständiger Artikel: Jensen Huang on the AI Doomers: The Bubble Comes Someday, Just Not in the Next Five Years
Jensen Huang, Mitbegründer und CEO von NVIDIA, bei Axios „Behind the Curtain" mit Mike Allen von einer neuen Chipfabrik in Fort Worth aus, darüber, warum die KI-Blase real, aber Jahre entfernt ist und was zuerst gebaut werden muss.
Die Chipindustrie muss in den nächsten zehn Jahren fünf- bis zehnmal größer werden. Huangs Schätzung beruht auf gleichzeitigen Engpässen bei Speicher, Datenspeicher, optischen Verbindungen, Packaging und TSMC-Kapazität.
„Ich glaube, wir brauchen wahrscheinlich eine Halbleiterindustrie, die irgendwo zwischen fünf- und zehnmal größer ist als heute."
▶
Die Blase kommt „irgendwann", nicht in den nächsten fünf Jahren. Allen drängte ihn zur ältesten Frage der Halbleiterindustrie: ob ein so großer Boom zwangsläufig zu einem Einbruch führt.
„Die Blase wird irgendwann kommen. Es ist nur nicht heute. Wissen Sie, wir stehen ganz am Anfang des Aufbaus."
▶
NVIDIAs China-Verkäufe sind „heute annähernd null". Huang sagte den Investoren, sie sollten mit keinen rechnen, solange der chinesische Markt geschlossen bleibt.
„Unsere China-Verkäufe sind heute annähernd null. Und ich habe all unseren Investoren gesagt, sie sollen keine China-Verkäufe erwarten."
▶
Die Zahl der Arbeitsplätze im verarbeitenden Gewerbe ist in den letzten Jahren um etwa 50% gestiegen. Huang führt diesen Anstieg auf den physischen Bau der KI-Rechenzentren zurück, die Tokens generieren.
„Die Zahl der Arbeitsplätze im verarbeitenden Gewerbe ist in den letzten Jahren um etwa 50% gestiegen, weil diese Computer in diese KI-Rechenzentren müssen, die die Tokens, die Intelligenz, generieren."
▶
Jemand, der KI nutzt, nimmt deinen Job, nicht die KI selbst. Huangs Anti-Untergangs-Linie trennt die Automatisierung einer Aufgabe von der Eliminierung eines gesamten Jobs.
„KI wird nicht alle unsere Jobs zerstören. Jemand, der KI nutzt, wird unsere Jobs übernehmen."
▶
Hundert Milliarden bis eine Billion Agenten, die ständig laufen. Im Vergleich zu etwa 100 Millionen Menschen, die derzeit zu einem beliebigen Zeitpunkt einen Computer nutzen.
„Wir werden hundert Milliarden, eine Billion Agenten haben, die ständig laufen. Intelligente Agenten, weniger intelligente Agenten, spezialisierte Agenten, Super-Agenten, alle möglichen Arten von Agenten, die ständig laufen."
▶
Charlie Kawwas · RAISE Summit
Vollständiger Artikel: Broadcom (Charlie Kawwas): How Custom Silicon Went From Zero to $100bn
Charlie Kawwas, Präsident der Halbleiter-Lösungssparte von Broadcom, auf der Bühne des RAISE Summit, der Tony Kim von BlackRock erklärt, wie kundenspezifisches Silizium von null auf $100 Mrd. kam und warum die größten KI-Labore Nvidias Allzweck-Rack verlassen.
Nvidias Allzweck-Rack bringt zwei Steuern mit sich: eine Effizienzsteuer und eine Margensteuer. Kawwas legt die Kostenstruktur dar, die ein Spitzenlabor erbt, wenn es Nvidias vorgefertigte Compute-Plattform kauft.
„Dieses Allzweck-Computing kommt mit einer Steuer. Die Steuer ist erstens die Effizienz dieser Compute-Plattform, was bedeutet, dass sie für alle gebaut ist. Wenn Sie eine spezifische Arbeitslast in Ihrem KI-Spitzenmodell haben, raten Sie mal, dann zahlen Sie diese zusätzliche Steuer. Und die andere Steuer sind die hohen Margen, die damit einhergehen."
▶
Jede Chip-Generation verdreifacht den Speicher und liefert fast die 3-fache Rechenleistung der vorherigen. Kawwas sagte dies, während er dem Moderator tatsächliche Chips aus aufeinanderfolgenden Jahren zeigte, zwei Speicherwürfel gegenüber sechs.
„Von letztem Jahr zu diesem Jahr erhalten Sie jetzt dreimal mehr Speicher. Da haben Sie zwei Speicherwürfel. Hier haben Sie sechs Speicherwürfel. Und die Rechenleistung dazwischen ist fast 3x stärker."
▶
Vier der fünf großen KI-Labore bauen mit Broadcom kundenspezifische Plattformen. Die fünf sind OpenAI, Anthropic, Google, Meta und xAI, die laut Kawwas' Zählung etwa 90% der weltweiten KI-Ausgaben ausmachen.
„Die großen Fünf in den USA, die heute vielleicht 90% der Ausgaben weltweit tätigen, sind OpenAI, Anthropic, Google mit Gemini, Meta und xAI... Unter diesen Fünf sind buchstäblich 80, 90 plus Prozent des Marktes. Und vier von fünf haben erkannt, dass die Nvidia-Technologie so gut ist, aber sie können nicht diese Allzweck-Compute-Plattform kaufen, die auf Rack-Ebene kundenspezifisch ist."
▶
Co-Design findet auf zwei Ebenen statt: dem XPU und dem gesamten Rack. Kawwas beantwortet die Frage, warum ein Labor dieses kundenspezifische Silizium nicht von der Stange kaufen kann und wo Broadcom auf ein offenes Rack drängt.
„Es gibt zwei Teile dieser Haute Couture. Einer ist genau das tiefe Co-Design für die XPU, das Sie beschrieben haben. Der zweite ist auf Rack-Ebene. Wir müssen es also nicht nur auf XPU-Ebene für ihre LLMs und ihre spezifischen Anwendungsfälle tun, sondern wir befassen uns auch intensiv damit, wie wir sicherstellen, dass das gesamte Rack offen ist."
▶
Ein Kunde geht von 1,5 GW in diesem Jahr zu vertraglich vereinbarten 6,5 GW im nächsten Jahr auf über 10 GW im Jahr darauf. Gefragt, wohin die KI-Infrastruktur als nächstes geht, antwortete Kawwas in Bezug auf die Leistung für einen einzelnen großen Kunden, nicht in Chip-Anzahlen.
„Für einen der großen Fünf installieren wir dieses Jahr etwa eineinhalb Gigawatt mit einem der Chips, die ich Ihnen gezeigt habe. Nächstes Jahr werden wir wahrscheinlich über fünf installieren. Wir haben bereits fünf vertraglich vereinbart... Im Jahr darauf bin ich mir ziemlich sicher, dass es über 10 sein werden."
▶
Sassine Ghazi · RAISE Summit
Vollständiger Artikel: Synopsys (Sassine Ghazi): Chip Design Has Reached "L4," and Wafer Capacity Is the Ceiling
Sassine Ghazi, CEO von Synopsys, auf der Bühne des RAISE Summit, darüber, wie schnell KI jetzt die Chips selbst entwirft und wo der Aufbau an Wafer-Kapazitätsgrenzen stößt.
Jeder Chip der Welt läuft laut seinem CEO vor seiner Existenz durch Synopsys. Synopsys verkauft die Electronic-Design-Automation-Tools, die Chip-Ingenieure zum Entwurf von Silizium verwenden, jetzt erweitert um die Physik durch die Ansys-Übernahme.
„Es gibt heute keinen Chip, der ohne Synopsys entworfen wird, daher sind wir auf Siliziumebene essenziell und allgegenwärtig in Bezug auf unsere Nutzung."
▶
Der Übergang vom Training zur Inferenz erzwingt eine Individualisierung des gesamten Stacks. Ghazis Darstellung, warum sich ein universeller KI-Chip in GPUs, Broadcom-artige ASICs und kundeneigene Tools von Hyperscalern aufspaltet.
„Um zu dieser Inferenz-Effizienz zu gelangen, müssen Sie den gesamten Stack betrachten... Und hier brauchen Sie sowohl die Individualisierung des Siliziums, die den gesamten Stack hinauf betrachtet, um die richtige Effizienz, Leistung und Kosten zu erreichen."
▶
Rechenzentrums-Margen sind Kosten, und Hyperscaler setzen auf Co-Design, um sie zu senken. Die Ansys-Übernahme, nächste Woche ein Jahr alt, ermöglicht es Synopsys, thermische, fluiddynamische und strukturelle Physik neben der Elektronik zu modellieren.
„Wenn Sie ein Rechenzentrum entwerfen, entwerfen Sie es normalerweise mit vielen Margen, und Margen bedeuten Kosten... Wir sehen, dass viele der Hyperscaler und anspruchsvollen Kunden versuchen, diese Marge durch Co-Design über mehrere technische Bereiche hinweg zu reduzieren."
▶
Ghazi bezeichnete das autonome Chipdesign als fünf bis sechs Jahre entfernt und lag damit zwei Jahre in Folge falsch. Synopsys bewertet die Designautonomie von L1 bis L5 wie selbstfahrende Autos und sieht die Branche heute auf L4, wobei das Frontend bereits auf sechs bis acht Agenten läuft.
„Wenn Sie mich diese Frage vor zwei Jahren gefragt hätten, hätte ich gesagt, das ist etwa fünf, sechs Jahre entfernt, und ich habe die letzten zwei Jahre falsch gelegen, weil es so schnell kommt."
▶
Die Wafer-Kapazität ist die Obergrenze sowohl bei Logik als auch bei Speicher, und Tesla sieht bis 2030 eine Silizium-Knappheit. Der bindende Engpass für den Aufbau ist der physische Fab-Ausstoß, nicht die Nachfrage, was Ghazi erwartet, dass er weiter dagegen drücken wird.
„Die aktuellen Einschränkungen sind durch die Wafer-Kapazität begrenzt, und das ist eine Logik-Wafer-Kapazität sowie Speicher... Wenn Sie Unternehmen wie Tesla hören, die sagen, dass sie bis 2030 angesichts ihrer Ambitionen von Elektroautos bis hin zur Robotik nicht genügend Kapazität haben werden, um die Siliziumnachfrage zu decken, die sie sich vorstellen."
▶
Andy Hock · Cerebras
Vollständiger Artikel: How Cerebras Plans to Kill Nvidia (Andy Hock, Chief Strategy Officer)
Andy Hock, Chief Strategy Officer bei Cerebras, darüber, warum die Industrie weiterhin einen für Grafik gebauten Chip kauft und wie ein einzelner, wafergroßer Prozessor, der ganz blieb, den 750-Megawatt-Compute-Deal von OpenAI antreibt.
Cerebras baut einen Chip und lässt den Wafer ganz, anstatt ihn in Hunderte zu zerteilen. Die Industrie bedruckt einen Wafer, schneidet ihn in kleine Chips und verdrahtet sie über Boards und Rechenzentren wieder zusammen.
„Was wäre, wenn wir einfach so viel Rechenleistung wie möglich auf einem Chip, auf einem großen Chip, zusammenbringen und dann den Rechenelementen erlauben würden, über Silizium miteinander zu kommunizieren, so dass wir nicht eine Reihe kleiner Chips zusammenschalten müssten. [...] Was wäre, wenn wir diesen letzten Schritt einfach wegließen? Was wäre, wenn wir einen großen Chip bauen und ihn dann ganz lassen würden?"
▶
Die Wafer-Scale-Engine enthält fast eine Million Kerne, 900.000 in Produktionsmaschinen. Jeder Kern hat seinen eigenen Pool an schnellem On-Chip-Speicher, alle über Silizium statt über Kupfer und Glasfaser verbunden.
„Das ist die Wafer-Scale-Engine. [...] Sie hat fast eine Million Kerne alle auf einem Gerät und 900.000 in unseren Produktionsmaschinen. Sie sind in einem 2D-Gitter über die gesamte Oberfläche des Wafers angeordnet, und alle diese Kerne sind direkt miteinander verbunden. [...] Dieses Design gibt uns das, was man sich als die KI-Rechenleistung eines Clusters auf einem einzigen Gerät vorstellen kann, und buchstäblich drei Größenordnungen mehr Kommunikationsbandbreite und Speicherbandbreite, als mit traditionellen Chip-Designs möglich ist."
▶
Training ist ein Kostenfaktor, Inferenz ist, wo die Kasse klingelt. Hock unterteilt die KI-Ökonomie in das Bauen des Modells und seinen Betrieb für Endnutzer.
„Training ist ein Kostenfaktor. Hier bauen Sie Ihr Modell auf, hier bringen Sie ihm bei, was es tun soll. Inferenz ist ein Wertschöpfungszentrum. Sobald das Modell das tut, was Sie brauchen, oder das, was für Sie oder Ihre Endnutzer wertvoll ist, ist die Inferenz der Ort, an dem die Kasse klingelt."
▶
Cerebras bedient Gemma 4 mit 1.500 Tokens pro Sekunde, 10x schneller als jede GPU-Implementierung. Das Unternehmen stellte das Google-Modell am Tag des Interviews in die Vorschau und nannte seine Geschwindigkeit im Vergleich zum Feld.
„Wir bedienen Gemma 4 mit 1.500 Tokens pro Sekunde. Es ist 10-mal schneller als jede GPU-Implementierung und 15-mal schneller als so etwas wie Claudes Haiku-Modell. [...] Schnelle Codierungsagenten, bei denen Geschwindigkeit gleich der Produktivität von Softwareentwicklern ist."
▶
OpenAI hat zugestimmt, 750 Megawatt Rechenleistung von Cerebras zu kaufen, und Codex Spark läuft darauf. Die schnellere, teurere Codierungsoption in OpenAIs Produkt basiert auf Cerebras.
„Die öffentlichen Bedingungen des Deals sind, dass sie 750 Megawatt Rechenleistung von Cerebras kaufen werden, um ihre Anwendungen zu betreiben. Das Codierungsmodell, das Cerebras jetzt verwendet, ist Codex Spark, und wir arbeiten mit dem OpenAI-Team zusammen, um in Zukunft weitere Modelle zu integrieren, von ihren GPT-Spitzenmodellen bis hin zu Codierungsmodellen der nächsten Generation."
▶
Cerebras behält seinen gesamten Speicher auf dem Chip, daher umgeht es die HBM-Knappheit. Der High-Bandwidth-Speicher, aus dem GPUs Gewichte beziehen, ist fabrikmäßig begrenzt und kann nicht auf Befehl skaliert werden.
„Dieser Speicher unterliegt Fabrikationsbeschränkungen, Fertigungsbeschränkungen. [...] Sie können nicht einfach einen Knopf drehen und 10x mehr produzieren. Und so ist dieser Speicher derzeit ein Engpass für diese Art von Chips. Für uns ist er das nicht. Wir haben unseren gesamten Speicher auf dem Chip. Er ist genau hier. Er ist nicht Teil dieser Lieferkette."
▶
HBM Panel · RAISE Summit
Vollständiger Artikel: HBM Prints 90% Margins and Everyone on Stage Still Calls It a Bad Memory: Inside AI's Memory Bottleneck
Auf dem RAISE Summit in Paris diskutierten Pat Gelsinger, SK hynix Fellow Hoshik Kim und die Investoren Andrew Homan und Vijay Shilpiekandula, warum HBM etwa 90% Marge erzielt, während alle auf der Bühne es dennoch als schlechten Speicher bezeichnen.
HBM erzielt fast 90% Margen für ein Geschäft, das früher nur ein gutes Jahr von vier hatte. Gelsinger führte Intel durch mehrere Speicherzyklen und investiert jetzt bei Playground Global in diesem Bereich.
„Speicher hatte es noch nie so gut. Wir haben in der Halbleiterindustrie immer gewitzelt, dass man als Speicherfirma ein gutes Jahr von vier hatte. Die anderen drei waren beschissen." Pat Gelsinger, Playground Global
▶
Der ehemalige Intel-CEO nennt HBM „einen lausigen Speicher", während der SK hynix Fellow einen Platz weiter sitzt. Gelsingers Einwand ist physikalischer, nicht kommerzieller Natur: Das Stapeln von DRAM erzeugt ein thermisches Sandwich und bindet die Bandbreite an die Küstenlinie, wo der Speicher auf die GPU trifft.
„HBM ist ein lausiger Speicher. Ich weiß, meine Speicherfreunde werden gleich auf die Bühne kommen, und ihr Baby hässlich zu nennen, ist vielleicht nicht der beste Weg, um Freunde zu gewinnen und Menschen zu beeinflussen." Pat Gelsinger, Playground Global
▶
SK hynix' eigener Fellow sagt, HBM werde die Speicherwand nicht lösen. Kim leitet die Systemarchitekturforschung bei SK hynix, dem Marktführer für HBM.
„Es ist ein guter Speicher, aber es ist nicht die endgültige Antwort. HBM wird das Speicherwand-Problem nicht lösen. Das Speicherwand-Problem ist ein inhärentes KI-Problem, das man nicht vermeiden kann." Hoshik Kim, SK hynix
▶
HBM senkt den Durchsatz einer Fabrik von 12 Waffeln pro Stunde auf vier. Homan griff in die Küche, um zu erklären, warum der Fertigungsdurchsatz verhindert, dass der Engpass schnell verschwindet.
„SK hynix ist ein Waffelbäcker. Sie haben also eine Waffelmaschine, die normalerweise eine Waffel in fünf Minuten backen kann. In diesem Szenario können Sie 12 Waffeln pro Stunde herstellen. Mit HBM dauert es jetzt 15 Minuten, um diese Waffel zu backen. Jetzt können Sie also nur noch vier Waffeln pro Stunde herstellen." Andrew Homan, Maverick Silicon
▶
Apple hat die Preise über seine gesamte Produktlinie hinweg erhöht und ist der anspruchsvollste Speicherkäufer der Welt. HBM liegt 2026 bei einem Angebotsdefizit von etwa 7%, und Homan verwies auf Cupertino für die klarste Lesart, wie lange die Knappheit anhält.
„Apple hat die Preise über seine gesamte Produktlinie hinweg erhöht. Sie sind die anspruchsvollsten Speicherbeschaffungsmaschinen auf dem Planeten, und sie erwarten eindeutig, dass dies eine Weile anhält, sonst hätten sie das nicht getan." Andrew Homan, Maverick Silicon
▶
Laut dem Ex-Intel-CEO stehen noch mehrere Jahre der Speicherknappheit bevor. Gelsinger setzte seinen Zeitplan gegen Kapazitäten, die bereits durch vor drei Jahren getroffene Kapitalentscheidungen festgelegt waren.
„Die Jahre des Überflusses sind noch viele Jahre entfernt. Die Jahre der Speicherknappheit liegen noch mehrere Jahre vor uns." Pat Gelsinger, Playground Global
▶
SemiAnalysis Tokenomics · Ep020
Vollständiger Artikel: SemiAnalysis Tokenomics: Anthropic Is Already Profitable ($1B+ in Q3), and OpenAI Just Clawed Back to Even
Der SemiAnalysis Tokenomics-Desk (Crystal Huang, Max Kan, Joey Brookhart, Moderator Jordan Nanos) verbringt die Stunde mit den Margen von Modell-Laboren: warum Anthropic bereits profitabel ist, wie Abonnements die API subventionieren und wie sich der Umsatz pro Megawatt alle drei Quartale verdoppelt.
Anthropics API macht über 80% des ARR aus, und der operative Gewinn im dritten Quartal könnte 1 Milliarde Dollar übersteigen. Joey Brookhart setzt den Gewinn in der GuV auf Non-GAAP-Basis ohne aktienbasierte Vergütung an.
„Der operative Gewinn war im zweiten Quartal profitabel, könnte im dritten Quartal in der Größenordnung von 1 Milliarde plus profitabel sein." Joey Brookhart
Über 85% API-Bruttomarge für Anthropic, und die 20x-Abonnementpläne könnten negativ sein. Max Kan darüber, wo die Marge von Abonnement versus API tatsächlich liegt.
„Vergessen Sie, dass die Marge schlechter ist als bei der API, von der wir denken, dass sie für Anthropic mindestens 85% plus beträgt. Es könnte für diese 20x-Pläne generell eine negative Marge sein. Und natürlich wollen diese Unternehmen so viel Volumen wie möglich auf die API verlagern." Max Kan
Das Unternehmen im 99. Perzentil gibt 100.000 Dollar pro Mitarbeiter und Jahr für KI aus. Joey Brookhart liest Ramp's Kartendaten als ROI-Prüfung für hohe Codierungsausgaben.
„Die Ramp-Daten zeigen, dass das 99. Perzentil der Unternehmen hunderttausend pro Jahr für KI pro Mitarbeiter ausgibt. Und wenn Sie an den Punkt gekommen sind, an dem Sie so viel ausgeben, erzielen Sie offensichtlich einen ziemlich guten ROI." Joey Brookhart
Enterprise-Pläne blockieren Abonnements und erzwingen eine Abrechnung pro Token, wo die Marge liegt. Max Kan darüber, warum die Labore ihre schwersten Nutzer auf die API umstellen.
„Jeder, der ein Abonnement nutzen kann, sollte es auf jeden Fall nutzen, nur weil es so stark subventioniert ist. OpenAI und Anthropic sind sich dessen sehr bewusst. Wenn sie ihre Enterprise-Pläne haben, lassen sie Sie kein Abonnement nutzen. Sie zwingen Sie, pro Token zu bezahlen, weil sie wissen, dass dort die Marge ist." Max Kan
Die Lesart des Desks: Elon vermietet den Großteil von Colossus zu 3- bis 4-fachem Marktpreis an Anthropic, mit einer 90-Tage-Rückforderungsklausel. Max Kan erläutert die Logik des „Vermiete die Spitze" aus der Sicht des Compute-Eigentümers.
„Ich werde euch genug Rechenleistung dalassen, um zu beweisen, dass ihr in der Lage seid, die Spitze zu erreichen. In der Zwischenzeit werde ich die gesamte zusätzliche Rechenleistung monetarisieren, indem ich sie zu diesen extrem hohen Margen von 3x, vielleicht 4x über dem Marktpreis vermiete. Ich werde sicherstellen, dass diese 90-Tage-Rückforderungsklausel in jedem einzelnen dieser Deals enthalten ist." Max Kan
Die Datenbudgets der Spitzenlabore überschreiten in diesem Jahr 10 Milliarden Dollar, etwa das 10-fache des Vorjahres. Max Kan darüber, was die Modellfähigkeiten tatsächlich begrenzt, wo der Engpass eher in RL-Umgebungen als in roher Rechenleistung liegt.
„Verstärkungslernen ist wahrscheinlich das wichtigste Skalierungsgesetz zur Verbesserung der Modellfähigkeiten heute. Es gibt viele Leute, die glauben, dass das Einzige, was die Modelle daran hindert, buchstäblich alles tun zu können, was ein Mensch am Computer kann, das Vorhandensein ausreichender RL-Umgebungen ist." Max Kan
Scott Wu · RAISE Summit
Vollständiger Artikel (Link unten): Cognition (Scott Wu): The Golden Age of Software Engineerin
Scott Wu, CEO von Cognition und Entwickler des KI-Softwareentwicklers Devin, auf der Bühne des RAISE Summit, mit dem Argument, dass der Produktivitätssprung in seinem eigenen Unternehmen ein Grund sei, das Ingenieurteam zu vergrößern, nicht zu verkleinern.
Über 90 % des Codes von Cognition werden jetzt von Devin eingereicht. Wu zeigte sein internes Diagramm und stellte fest, dass der Agent begonnen hat, eigene Sitzungen aufgrund von Leistungsrückschritten und DataDog-Fehlern auszulösen, ohne menschliches Eingreifen.
„Sie sehen, dass der Prozentsatz des von Devin eingereichten Codes auf über 90 Prozent steigt. Wir nutzen Devin im Grunde jetzt für so ziemlich alles. Noch verrückter ist, dass Devin tatsächlich auch die meisten Devins startet.“
▶
Cognition hat in sechs Monaten 10-mal mehr Software ausgeliefert, mit etwa 40 % mehr Ingenieuren. Wu führte von November bis Ende April ein Experiment in seinem eigenen Unternehmen durch, vergrößerte das Team von etwa 45 auf 60 und führt dies eher auf Modelle und Agenten als auf die Personalstärke zurück.
„Was hat sich genau in den sechs Monaten geändert, das es uns ermöglicht hat, 10-mal mehr auszuliefern und 10-mal mehr zu tun?“
▶
GPT-3.5 konnte 30 Sekunden ununterstützte Arbeit ausführen, die neuesten Modelle bewältigen 16-Stunden-Aufgaben. Wu verwies auf die METR-Studie, die misst, wie lange eine KI eine Aufgabe erledigen kann, bevor sie zum Menschen zurückkehren muss.
„Schauen Sie sich GPT-3.5 an, genau in der Mitte dieser Grafik, 30 Sekunden Arbeit, was übrigens nicht schlecht ist. Und das war der ChatGPT-Moment.“
▶
Im Dezember 2025 war Devin zusätzliche 130 Ingenieure an Bandbreite pro Tausend. Wu stellte die zusätzliche Agentenkapazität als Personal dar, das man einem bestehenden Team geben könnte, bevor er anmerkte, dass sie inzwischen auf 89 bis 90 % der Arbeit gestiegen ist.
„Denken Sie an ein Team von tausend Softwareentwicklern und stellen Sie sich vor, Sie könnten ihnen sagen: Okay, ihr bekommt zusätzliche Bandbreite im Wert von 130 Softwareentwicklern, um Dinge zu bauen. Damit kann man viel anfangen.“
▶
Jeder Ingenieur ist 10-mal produktiver, und es gibt 10-mal mehr zu bauen. Wus Antwort auf die Angst vor Entlassungen, untermauert von bewusst alltäglichen Beispielen ungebauter Software wie einer funktionierenden Kfz-Zulassungsstelle und abrufbaren Krankenakten.
„Jeder menschliche Softwareentwickler ist zehnmal produktiver, aber rate mal? Wir haben zehnmal mehr Dinge zu bauen.“
▶
Wu rahmte den Vortrag mit einer Frage ein: Was würden Sie mit einer unendlichen Armee von Softwareentwicklern tun? Zu seinen Kunden gehören Goldman Sachs, Mercedes-Benz und Lowe's, die jeweils Zehntausende von Ingenieuren gegen einen nie endenden Rückstand einsetzen.
„Was würden Sie mit einer unendlichen Armee von Softwareentwicklern tun? Ich würde Sie alle bitten, einen Moment innezuhalten und darüber nachzudenken.“
▶
Mansour Karam · RAISE Summit
Mansour Karam, Gründer und CEO von Aria Networks, auf der RAISE Summit-Bühne mit Dylan Patel von SemiAnalysis, darüber, warum die Ära des „einen Allzweck-Clusters für alles“ zu Ende geht und warum das Netzwerk über die Inferenz-Ökonomie entscheidet.
Training ist ein Kostenfaktor, Serving ähnelt eher dem Vermieten eines Wohnkomplexes. Karam teilt einen KI-Cluster in zwei Geschäfte auf, die sich die Hardware teilen, aber fast keine der wirtschaftlichen Aspekte.
„Training ist im Wesentlichen das Bauen eines Modells. Das ist wie die Entwicklung eines Produkts. Aber beim Serving des Modells sehen die wirtschaftlichen Aspekte eher wie das Vermieten eines Wohnkomplexes in Bezug auf die Finanzierung aus.“
▶
Die Spezialisierung eines Clusters auf eine einzelne Arbeitslast ist einen Faktor 10 oder 100 wert. Karam sieht Raum für neue Unternehmen, die sich um einzelne Anwendungsfälle bilden, die jeweils auf eine Metrik optimiert sind.
„Ich sehe viele Möglichkeiten für neue Unternehmen, die sich gründen, um für einen bestimmten Anwendungsfall zu optimieren, und der Unterschied kann ein Faktor von 10 oder 100 sein, je nachdem, für welche Metrik Sie optimieren möchten.“
▶
Eine Million Token können 0,20 $ oder 20 $ kosten, eine 100-fache Spanne, die durch die Bauweise bestimmt wird. Karam führt die Schwankung darauf zurück, ob die Infrastruktur für günstige Hochdurchsatz-Inferenz oder etwas anderes gebaut wurde.
„Sie können von, sagen wir, 20 Cent bis zu 20 Dollar oder so für eine Million Token gehen. Ich meine, das ist ein 100-facher Unterschied. Wenn Sie wirklich für hochvolumige einfache Inferenz optimieren wollen, können Sie sie sehr günstig anbieten, aber Sie müssen Ihre Infrastruktur entsprechend aufbauen.“
▶
Dylan Patels Aussage: „Geschwindigkeit ist der Burggraben.“ Patel liefert den nachfrageseitigen Grund, warum die schnelle Ecke plötzlich der Ort ist, an den das Geld fließt: Agenten arbeiten in sequentiellen Try-Verify-Schleifen.
„Agenten sind sehr sequentiell und aufgabenorientiert. Etwas ausprobieren, es verifizieren, prüfen, ob es richtig ist, und das in einer Schleife. Das wird am Ende sehr langsam. Und Geschwindigkeit ist der Burggraben. Je schneller Sie sind, desto mehr ist Geschwindigkeit der Burggraben.“ Dylan Patel, SemiAnalysis
▶
Ein einzelner Transceiver mit einem Staubkorn blockiert jeden Benutzer im Cluster. Eine einzelne Inferenzabfrage durchläuft nacheinander mehrere Netzwerke, und das langsamste Glied gibt das Tempo für alle vor.
„Wenn Sie Paketverluste haben oder einen Transceiver, der ein Staubkorn hat … dann müssen alle anderen warten, und alles ist sequentiell.“
▶
Eine Sekunde in einem Inferenzcluster „ist wie ein Jahrhundert im menschlichen Maßstab.“ Karams Pitch für Aria ist Telemetrie mit Mikrosekundenauflösung, um die Blockaden zu erfassen, die die standardmäßige Ein-Sekunden-Überwachung übersieht.
„Eine Sekunde ist im Kontext eines KI-Clusters, der Inferenz ausführt, wie ein Jahrhundert im menschlichen Maßstab. In einer Sekunde passiert viel. Was Sie also wirklich brauchen, ist, diese Telemetrie mit Mikrosekundenauflösung zu sammeln, damit Sie die Ereignisse erfassen können, die eine Blockade verursachen könnten.“
▶
