Pour les créateurs et investisseurs pressés qui veulent apprendre des meilleures conversations tech et business sans y consacrer des heures.
Les huit meilleurs épisodes publiés cette semaine, résumés en un seul endroit, chaque article complet à portée de clic. Abonnez-vous à Fireside Alpha pour recevoir chaque jour des analyses et des comptes-rendus des nouveaux épisodes.
Les plus gros titres de la semaine :
- Jensen Huang affirme que l'industrie des semi-conducteurs doit encore devenir cinq à dix fois plus grande avant la fin du déploiement de l'IA, et date la bulle à « un jour, mais pas aujourd'hui ». ▶ Regarder · 00:32:01
- Charlie Kawwas (Président, Broadcom) a un client qui passe de 1,5 GW de silicium IA cette année à 6,5 GW contractés l'année prochaine, puis à plus de 10 GW l'année d'après. ▶ Regarder · 00:16:40
- Sassine Ghazi (CEO, Synopsys) évalue la conception de puces IA au niveau L4 aujourd'hui, le front-end fonctionnant déjà avec six à huit agents, après avoir eu tort pendant deux ans en pensant que cela était à cinq ou six ans. ▶ Regarder · 00:12:56
- Andy Hock (Directeur Stratégique, Cerebras) déclare qu'OpenAI a accepté d'acheter 750 mégawatts de calcul Cerebras, et que l'option Codex plus rapide de son produit de codage fonctionne sur Cerebras en sous-couche. ▶ Regarder · 00:49:58
- Pat Gelsinger et le panel HBM incluant SK hynix notent que la mémoire affiche des marges proches de 90 % pour un secteur qui avait l'habitude d'avoir « une bonne année sur quatre », et la qualifient encore de mauvaise mémoire. ▶ Regarder · 0:03:11
- Le bureau de SemiAnalysis avance qu'Anthropic est déjà rentable, avec plus de 80 % de son ARR du côté API à haute marge et un bénéfice d'exploitation au T3 dépassant peut-être le milliard de dollars.
- Scott Wu montre que plus de 90 % du code de Cognition est désormais commité par Devin, et que l'agent lance déjà la majorité de ses propres sessions. ▶ Regarder · 5:31
- Mansour Karam d'Aria Networks dit qu'un même million de tokens peut coûter 0,20 $ ou 20 $, un écart de 100x, et que la couche qui décide est le réseau. ▶ Regarder · 0:03:38
Jensen Huang · Axios
Article complet : Jensen Huang sur les Cassandres de l'IA : La bulle arrivera un jour, mais pas dans les cinq prochaines années
Jensen Huang, co-fondateur et PDG de NVIDIA, dans Axios « Behind the Curtain » avec Mike Allen, depuis une nouvelle usine de puces à Fort Worth, explique pourquoi la bulle de l'IA est réelle mais pas pour tout de suite, et ce qui doit d'abord être construit.
L'industrie des semi-conducteurs doit devenir cinq à dix fois plus grande au cours des dix prochaines années. L'estimation de Huang repose sur des pénuries simultanées de mémoire, de stockage, d'interconnexions optiques, de packaging et de capacité TSMC.
« Je crois que nous avons probablement besoin que notre industrie des semi-conducteurs soit entre cinq et dix fois plus grande qu'elle ne l'est actuellement. »
▶
La bulle arrivera « un jour », pas dans les cinq prochaines années. Allen l'a poussé sur la question la plus ancienne des semi-conducteurs : un boom d'une telle ampleur est-il voué à un effondrement ?
« La bulle arrivera un jour. Mais pas aujourd'hui. Vous savez, nous sommes au tout début du déploiement. »
▶
Les ventes de NVIDIA en Chine sont « approximativement nulles aujourd'hui ». Huang a dit aux investisseurs de ne pas s'attendre à des ventes tant que le marché chinois reste fermé.
« Nos ventes en Chine sont approximativement nulles aujourd'hui. Et j'ai dit à tous nos investisseurs de ne pas s'attendre à des ventes en Chine. »
▶
Les emplois manufacturiers ont augmenté d'environ 50 % ces dernières années. Huang attribue cette hausse à la construction physique des data centers IA qui génèrent des tokens.
« Le nombre d'emplois manufacturiers a augmenté d'environ 50 % ces dernières années parce que ces ordinateurs doivent être installés dans ces data centers IA, qui génèrent les tokens, l'intelligence. »
▶
Ce n'est pas l'IA qui prend votre emploi, mais quelqu'un qui utilise l'IA. La ligne anti-catastrophe de Huang sépare l'automatisation d'une tâche de la suppression d'un emploi entier.
« L'IA ne va pas détruire tous nos emplois. C'est quelqu'un qui utilise l'IA qui va prendre nos emplois. »
▶
Cent milliards à un trillion d'agents fonctionnant en permanence. Contre environ 100 millions de personnes utilisant un ordinateur à un moment donné aujourd'hui.
« Nous allons avoir cent milliards, un trillion d'agents qui fonctionnent en permanence. Des agents intelligents, des agents moins intelligents, des agents spécialisés, des super agents, toutes sortes d'agents différents fonctionnant tout le temps. »
▶
Charlie Kawwas · RAISE Summit
Article complet : Broadcom (Charlie Kawwas) : Comment le silicium sur mesure est passé de zéro à 100 milliards de dollars
Charlie Kawwas, président de la division solutions semi-conducteurs de Broadcom, sur la scène du RAISE Summit, explique à Tony Kim de BlackRock comment le silicium sur mesure est passé de zéro à [100 milliards de dollars](https://x.com/search?q=%24100bn&src=cashtag_click) et pourquoi les plus grands labs d'IA abandonnent le rack polyvalent de Nvidia.
Le rack polyvalent de Nvidia impose deux taxes : une taxe d'efficacité et une taxe de marge. Kawwas expose la structure de coûts qu'un lab de frontières hérite lorsqu'il achète la plateforme de calcul pré-construite de Nvidia.
« Ce calcul généraliste est assorti d'une taxe. La taxe est d'abord l'efficacité de cette plateforme de calcul, c'est-à-dire qu'elle est conçue pour tout le monde. Si vous avez une charge de travail spécifique dans votre modèle d'IA de frontière, devinez quoi, vous payez cette taxe supplémentaire. Et l'autre taxe, ce sont les marges élevées qui l'accompagnent. »
▶
Chaque génération de puce triple la mémoire et offre près de 3 fois la puissance de calcul de la précédente. Kawwas a dit cela en montrant à l'hôte des puces réelles d'années consécutives, deux cubes de mémoire contre six.
« De l'année dernière à cette année, vous obtenez maintenant trois fois plus de mémoire. Là, vous avez deux cubes de mémoire. Ici, vous avez six cubes de mémoire. Et le calcul au milieu est presque 3 fois plus puissant. »
▶
Quatre des cinq grands labs d'IA construisent des plateformes sur mesure avec Broadcom. Les cinq sont OpenAI, Anthropic, Google, Meta et xAI, représentant environ 90 % des dépenses mondiales en IA selon Kawwas.
« Les cinq grands aux États-Unis, qui dépensent aujourd'hui peut-être 90 % des dépenses mondiales, sont OpenAI, Anthropic, Google avec Gemini, Meta et xAI... Parmi ces cinq, il y a littéralement 80, 90 % et plus du marché. Et quatre d'entre eux ont réalisé que la technologie Nvidia est très bonne, mais ils ne peuvent pas acheter cette plateforme de calcul généraliste qui est sur mesure au niveau du rack. »
▶
La co-conception opère à deux niveaux : le XPU et le rack entier. Kawwas répond à la question de savoir pourquoi un lab ne peut pas acheter ce silicium sur mesure en rayon, et où Broadcom pousse pour un rack ouvert.
« Il y a deux parties à cette haute couture. L'une est exactement la co-conception approfondie du XPU que vous avez décrite. La seconde est au niveau du rack. Donc non seulement nous devons le faire au niveau du XPU pour leurs LLM et leurs cas d'usage spécifiques, mais nous nous engageons également en profondeur sur la manière de garantir que l'ensemble du rack soit ouvert. »
▶
Un client passe de 1,5 GW cette année à 6,5 GW contractés l'année prochaine, puis à plus de 10 GW l'année d'après. Interrogé sur la prochaine étape pour l'infrastructure IA, Kawwas a répondu en termes de puissance pour un seul grand client, pas en nombre de puces.
« Pour un des cinq grands, cette année nous installons environ un gigawatt et demi avec l'une des puces que je vous ai montrées. L'année prochaine, nous allons probablement en installer plus de cinq. Nous en avons déjà contracté cinq... L'année d'après, je suis presque sûr que ce sera plus de dix. »
▶
Sassine Ghazi · RAISE Summit
Article complet : Synopsys (Sassine Ghazi) : La conception de puces a atteint le « niveau L4 », et la capacité en wafers est le plafond
Sassine Ghazi, PDG de Synopsys, sur la scène du RAISE Summit, explique à quelle vitesse l'IA conçoit désormais les puces elles-mêmes et où le déploiement bute sur le manque de wafers.
Toutes les puces sur terre passent par Synopsys avant d'exister, selon son PDG. Synopsys vend les outils d'automatisation de conception électronique que les ingénieurs en puces utilisent pour concevoir le silicium, désormais étendus à la physique par l'acquisition d'Ansys.
« Il n'y a aucune puce aujourd'hui qui soit conçue sans Synopsys, donc nous sommes essentiels et omniprésents dans notre utilisation au niveau du silicium. »
▶
Le passage de l'entraînement à l'inférence force la personnalisation sur toute la pile. Le récit de Ghazi sur la raison pour laquelle une puce IA généraliste se fragmente en GPU, en ASIC de type Broadcom et en outils propriétaires des hyperscalers.
« Pour atteindre cette efficacité d'inférence, vous devez considérer l'ensemble de la pile... Et c'est là que vous avez besoin à la fois de la personnalisation du silicium, en remontant toute la pile, afin d'obtenir la bonne efficacité, performance et coût. »
▶
Les marges des data centers sont des coûts, et les hyperscalers les réduisent par la co-conception. L'acquisition d'Ansys, vieille d'un an la semaine prochaine, permet à Synopsys de modéliser la thermique, les fluides et la physique des structures en parallèle de l'électronique.
« Lorsque vous concevez un data center, vous concevez généralement avec beaucoup de marges, et les marges équivalent à des coûts... Nous voyons de nombreux hyperscalers et clients avancés essayer de réduire cette marge en co-concevant à travers plusieurs domaines d'ingénierie. »
▶
Ghazi a estimé la conception de puces autonome à cinq ou six ans, et cela fait deux ans qu'il a tort. Synopsys évalue l'autonomie de conception de L1 à L5 comme la conduite autonome et place l'industrie au niveau L4 aujourd'hui, le front-end fonctionnant déjà avec six à huit agents.
« Si vous m'aviez posé cette question il y a deux ans, j'aurais dit que c'était dans cinq ou six ans, et j'ai eu tort pendant les deux dernières années parce que ça arrive si vite. »
▶
La capacité en wafers est le plafond, tant en logique qu'en mémoire, et Tesla prévoit une pénurie de silicium d'ici 2030. La contrainte limitante du déploiement est la production physique des usines, pas la demande, ce que Ghazi s'attend à voir continuer de peser.
« Les contraintes actuelles sont limitées par la capacité en wafers, et c'est une capacité en wafers logiques, ainsi qu'en mémoire... Quand vous entendez des entreprises comme Tesla dire que d'ici 2030, étant donné leur ambition de la voiture électrique à la robotique, il n'y aura pas assez de capacité pour soutenir la demande de silicium qu'elles envisagent. »
▶
Andy Hock · Cerebras
Article complet : Comment Cerebras prévoit de tuer Nvidia (Andy Hock, Directeur Stratégique)
Andy Hock, directeur stratégique chez Cerebras, explique pourquoi l'industrie continue d'acheter une puce conçue pour les graphiques, et comment un processeur de la taille d'un wafer laissé entier a fini par alimenter le contrat de calcul de 750 mégawatts d'OpenAI.
Cerebras construit une seule puce et laisse le wafer entier au lieu de le découper en centaines de morceaux. L'industrie imprime un wafer, le découpe en petites puces, et les reconnecte à travers des cartes et des data centers.
« Et si on mettait autant de puissance de calcul que possible sur une puce, sur une grosse puce, et qu'on laissait les éléments de calcul communiquer entre eux via le silicium, sans avoir à câbler ensemble des tas de petites puces ? [...] Et si on ne faisait tout simplement pas cette dernière étape ? Et si on construisait une seule grosse puce et qu'on la laissait entière ? »
▶
Le moteur à l'échelle du wafer contient près d'un million de cœurs, 900 000 dans les machines de production. Chaque cœur possède son propre banc de mémoire rapide sur puce, le tout connecté via le silicium plutôt que par du cuivre et de la fibre.
« Voici le moteur à l'échelle du wafer. [...] Il a près d'un million de cœurs sur un seul dispositif, et 900 000 dans nos machines de production. Ils sont disposés dans une grille 2D sur toute la surface du wafer, et tous ces cœurs sont directement connectés les uns aux autres. [...] Cette conception nous donne ce que vous pourriez considérer comme l'équivalent d'un cluster de calcul IA sur un seul dispositif, et littéralement trois ordres de grandeur de bande passante de communication et de mémoire de plus que ce qui est possible avec les conceptions de puces traditionnelles. »
▶
L'entraînement est un centre de coût, l'inférence est là où on fait sonner la caisse enregistreuse. Hock divise l'économie de l'IA entre la construction du modèle et son exécution pour les utilisateurs finaux.
« L'entraînement est un centre de coût. C'est là que vous construisez votre modèle, que vous lui apprenez à faire ce que vous voulez. L'inférence est un centre de valeur. Une fois que le modèle fait ce que vous avez besoin qu'il fasse, ou ce qui est précieux pour vous ou vos utilisateurs finaux, l'inférence est là où vous faites sonner la caisse enregistreuse. »
▶
Cerebras sert Gemma 4 à 1 500 tokens par seconde, soit 10 fois plus que n'importe quelle implémentation GPU. L'entreprise a mis le modèle Google en preview le jour de l'interview et a cité sa vitesse par rapport à la concurrence.
« Nous servons Gemma 4 à 1 500 tokens par seconde. C'est 10 fois plus rapide que n'importe quelle implémentation GPU et 15 fois plus rapide que quelque chose comme le modèle Haiku de Claude. [...] Des agents de codage rapides, où la vitesse est égale à la productivité des ingénieurs logiciels. »
▶
OpenAI a accepté d'acheter 750 mégawatts de calcul Cerebras, et Codex Spark fonctionne dessus. L'option de codage plus rapide et plus chère dans le produit OpenAI est en sous-couche Cerebras.
« Les conditions publiques de l'accord sont qu'ils vont acheter 750 mégawatts de calcul par Cerebras pour alimenter leurs applications. Le modèle de codage qui utilise Cerebras maintenant est Codex Spark, et nous travaillons avec l'équipe OpenAI pour mettre en place d'autres modèles à l'avenir, depuis leurs modèles de frontière GPT jusqu'aux modèles de codage de nouvelle génération. »
▶
Cerebras conserve toute sa mémoire sur la puce, évitant ainsi la pénurie de HBM. La mémoire à large bande passante dont les GPU tirent les poids est limitée par la fabrication et ne peut pas être mise à l'échelle sur commande.
« Cette mémoire est soumise à des limites de fabrication, des limites de production. [...] Vous ne pouvez pas simplement tourner un bouton et produire 10 fois plus. Et donc cette mémoire est un goulot d'étranglement actuellement pour ces types de puces. Pour nous, ce n'est pas le cas. Nous avons toute notre mémoire sur la puce. Elle est ici. Elle ne fait pas partie de cette chaîne d'approvisionnement. »
▶
Panel HBM · RAISE Summit
Article complet : Le HBM affiche des marges de 90 % et tout le monde sur scène le qualifie encore de mauvaise mémoire : Dans les coulisses du goulot d'étranglement mémoire de l'IA
Au RAISE Summit à Paris, Pat Gelsinger, le Fellow Hoshik Kim de SK hynix, et les investisseurs Andrew Homan et Vijay Shilpiekandula ont décortiqué pourquoi le HBM génère des marges d'environ 90 % tandis que tout le monde sur scène le qualifie encore de mauvaise mémoire.
Le HBM génère des marges proches de 90 % pour un secteur qui avait l'habitude d'avoir une bonne année sur quatre. Gelsinger a dirigé Intel à travers plusieurs cycles mémoire et investit désormais dans ce domaine chez Playground Global.
« La mémoire n'a jamais connu une telle période faste. On plaisantait dans l'industrie des semi-conducteurs en disant que si vous étiez une entreprise de mémoire, vous aviez une bonne année sur quatre. Les trois autres étaient nulles. » Pat Gelsinger, Playground Global
▶
L'ancien PDG d'Intel qualifie le HBM de « mémoire médiocre » avec le Fellow de SK hynix assis à côté. L'objection de Gelsinger est physique, pas commerciale : empiler de la DRAM crée un sandwich thermique et limite la bande passante à la ligne de côte où la mémoire rencontre le GPU.
« Le HBM est une mémoire médiocre. Je sais que mes amis de la mémoire sont sur le point de monter sur scène, et traiter leur bébé de laid n'est peut-être pas la meilleure façon de se faire des amis et d'influencer les gens. » Pat Gelsinger, Playground Global
▶
Le propre Fellow de SK hynix dit que le HBM ne résoudra pas le mur de la mémoire. Kim dirige la recherche en architecture système chez SK hynix, le leader du marché HBM.
« C'est une bonne mémoire, mais ce n'est pas la réponse finale. Le HBM ne résoudra pas le problème du mur de la mémoire. Le problème du mur de la mémoire est un problème inhérent à l'IA, que vous ne pouvez pas éviter. » Hoshik Kim, SK hynix
▶
Le HBM fait chuter le débit d'une usine de 12 gaufres par heure à quatre. Homan a utilisé une métaphore culinaire pour expliquer pourquoi le débit de fabrication empêche la pénurie de se résorber rapidement.
« SK hynix est un fabricant de gaufres. Vous avez une machine à gaufres qui peut normalement cuire une gaufre en cinq minutes. Dans ce scénario, vous pouvez faire 12 gaufres par heure. Avec le HBM, il faut maintenant 15 minutes pour faire cette gaufre. Donc vous ne pouvez plus faire que quatre gaufres par heure. » Andrew Homan, Maverick Silicon
▶
Apple a augmenté ses prix sur toute sa gamme, et c'est l'acheteur de mémoire le plus sophistiqué de la planète. Le HBM se trouve dans un déficit d'approvisionnement d'environ 7 % en 2026, et Homan a pointé Cupertino pour l'indication la plus claire de la durée de cette tension.
« Apple a augmenté ses prix sur toute sa gamme de produits. Ce sont les machines d'approvisionnement en mémoire les plus sophistiquées de la planète, et clairement, ils s'attendent à ce que cela dure un certain temps, sinon ils ne l'auraient pas fait. » Andrew Homan, Maverick Silicon
▶
Plusieurs années de pénurie de mémoire encore à venir, selon l'ancien PDG d'Intel. Gelsinger a fixé son calendrier par rapport à une capacité déjà verrouillée par des décisions d'investissement prises il y a trois ans.
« Les années d'abondance sont encore loin. Les années de pénurie de mémoire, nous en avons encore plusieurs devant nous. » Pat Gelsinger, Playground Global
▶
SemiAnalysis Tokenomics · Ep020
Article complet : SemiAnalysis Tokenomics : Anthropic est déjà rentable (1 milliard de dollars + au T3), et OpenAI vient de revenir à l'équilibre
Le bureau de SemiAnalysis Tokenomics (Crystal Huang, Max Kan, Joey Brookhart, animé par Jordan Nanos) passe l'heure sur les marges des labs de modèles : pourquoi Anthropic est déjà rentable, comment les abonnements subventionnent l'API, et le revenu par mégawatt qui double tous les trois trimestres.
L'API d'Anthropic représente 80 % et plus de son ARR, et le bénéfice d'exploitation du T3 pourrait dépasser le milliard de dollars. Joey Brookhart place le bénéfice dans le P&L sur une base non-GAAP, hors rémunération en actions.
« Le bénéfice d'exploitation était positif au T2, pourrait être positif à hauteur de 1 milliard et plus au T3. » Joey Brookhart
Marge brute de l'API d'Anthropic de 85 % et plus, et les plans d'abonnement 20x pourraient être négatifs. Max Kan sur l'endroit où se situe réellement la marge entre abonnement et API.
« Oubliez le fait que la marge soit pire que celle de l'API, que nous estimons à 85 % et plus pour Anthropic au moins. Il se pourrait que ce soit une marge négative en général pour ces plans 20x. Et donc, bien sûr, ces entreprises veulent déplacer autant de volume que possible vers l'API. » Max Kan
L'entreprise au 99e percentile dépense 100 000 $ par employé et par an en IA. Joey Brookhart lit les données de carte de Ramp comme le test de retour sur investissement pour les dépenses de codage élevées.
« Les données de Ramp montrent que le 99e percentile des entreprises dépense cent mille dollars par an en IA par employé. Et si vous en êtes arrivé au point de dépenser autant, vous obtenez évidemment un assez bon retour sur investissement. » Joey Brookhart
Les plans entreprise bloquent les abonnements et imposent une facturation par token, là où se trouve la marge. Max Kan explique pourquoi les labs facturent leurs utilisateurs les plus lourds via l'API.
« Quiconque peut utiliser un abonnement devrait certainement le faire simplement parce que c'est tellement subventionné. OpenAI et Anthropic en sont très conscients. Quand ils proposent leurs plans entreprise, ils ne vous laissent pas utiliser un abonnement. Ils vous forcent à payer par token parce qu'ils savent que c'est là que se trouve la marge. » Max Kan
La lecture du bureau : Elon loue la majeure partie de Colossus à Anthropic à 3x à 4x le prix du marché, avec une clause de rachat sur 90 jours. Max Kan décrit la logique de location de la frontière du point de vue du propriétaire de la puissance de calcul.
« Je vais vous laisser assez de puissance de calcul pour prouver que vous êtes capables d'atteindre la frontière. En attendant, je vais monétiser tout le calcul supplémentaire en le louant via ces contrats de location à marge extrêmement élevée, 3x, peut-être 4x le prix du marché. Je vais m'assurer qu'il y a cette clause de rachat sur 90 jours incluse dans chacun d'entre eux. » Max Kan
Les budgets de données des labs de frontière dépassent les 10 milliards de dollars cette année, soit environ 10 fois l'année dernière. Max Kan sur ce qui limite réellement les capacités des modèles, le goulot d'étranglement étant les environnements d'apprentissage par renforcement plutôt que la puissance de calcul brute.
« L'apprentissage par renforcement est probablement la loi d'échelle la plus importante pour améliorer les capacités des modèles aujourd'hui. Beaucoup de gens pensent que la seule chose qui empêche les modèles de pouvoir faire littéralement tout ce qu'un humain peut faire sur un ordinateur est de disposer d'environnements d'apprentissage par renforcement suffisants. » Max Kan
Scott Wu · RAISE Summit
Article complet (lien ci-dessous) : Cognition (Scott Wu) : L'âge d'or du génie logiciel
Scott Wu, PDG de Cognition et créateur de l'ingénieur logiciel IA Devin, sur la scène du RAISE Summit, affirmant que le bond de productivité au sein de sa propre entreprise est une raison d'augmenter l'équipe d'ingénieurs, pas de la réduire.
Plus de 90 % du code de Cognition est désormais commis par Devin. Wu a montré son tableau interne et a noté que l'agent a commencé à déclencher ses propres sessions à partir de régressions de performance et d'erreurs DataDog, sans intervention humaine.
« Vous voyez le pourcentage de code commis par Devin monter à plus de 90 %. Nous utilisons essentiellement Devin pour presque tout maintenant. Ce qui est encore plus fou, c'est que Devin fait aussi la majorité du lancement des Devins. »
▶
Cognition a livré 10 fois plus de logiciels en six mois avec environ 40 % d'ingénieurs en plus. Wu a mené une expérience de novembre à fin avril dans sa propre entreprise, faisant passer l'équipe d'environ 45 à 60 personnes, et attribue cela aux modèles et agents plutôt qu'au nombre d'employés.
« Qu'est-ce qui a exactement changé au cours de six mois qui nous a permis de livrer 10 fois plus et de faire 10 fois plus ? »
▶
GPT-3.5 pouvait effectuer 30 secondes de travail sans assistance, les derniers modèles réalisent des tâches de 16 heures. Wu a cité l'étude METR, qui mesure la durée d'une tâche qu'une IA peut accomplir avant de devoir revenir à un humain.
« Regardez GPT-3.5, en plein milieu de ce graphique, 30 secondes de travail, ce qui n'est pas mal, d'ailleurs. Et c'était le moment ChatGPT. »
▶
En décembre 2025, Devin représentait une bande passante supplémentaire de 130 ingénieurs pour mille. Wu a présenté la capacité ajoutée de l'agent comme un effectif que vous pourriez confier à une équipe existante, avant de noter qu'elle a depuis augmenté pour atteindre 89 à 90 % du travail.
« Pensez à une équipe de mille ingénieurs logiciels et imaginez que vous puissiez leur dire : d'accord, vous recevez une bande passante supplémentaire équivalente à 130 ingénieurs logiciels pour aller construire des choses. Vous pouvez faire beaucoup avec ça. »
▶
Chaque ingénieur est 10 fois plus productif, et il y a 10 fois plus à construire. La réponse de Wu aux craintes de licenciements, appuyée par des exemples volontairement banals de logiciels non construits, comme un DMV qui fonctionne et des dossiers médicaux accessibles.
« Chaque ingénieur logiciel humain est dix fois plus productif, mais devinez quoi ? Nous avons dix fois plus de choses à construire. »
▶
Wu a encadré son discours par une question : que feriez-vous avec une armée infinie d'ingénieurs logiciels ? Ses clients incluent Goldman Sachs, Mercedes-Benz et Lowe's, chacun employant des dizaines de milliers d'ingénieurs face à un arriéré qui ne se résorbe jamais.
« Que feriez-vous avec une armée infinie d'ingénieurs logiciels ? Je demanderais à chacun d'entre vous de prendre une seconde et de simplement y réfléchir. »
▶
Mansour Karam · RAISE Summit
Mansour Karam, fondateur et PDG d'Aria Networks, sur la scène du RAISE Summit avec Dylan Patel de SemiAnalysis, sur la raison pour laquelle l'ère du « cluster polyvalent pour tout » touche à sa fin et pourquoi le réseau décide de l'économie de l'inférence.
L'entraînement est un centre de coûts, le service ressemble davantage à la location d'un immeuble d'appartements. Karam divise un cluster IA en deux activités qui partagent le matériel mais presque aucune des économies.
« L'entraînement consiste essentiellement à construire un modèle. C'est comme construire un produit. Mais ensuite, servir le modèle, l'économie ressemble beaucoup plus à la location d'un immeuble d'appartements en termes de financement. »
▶
Spécialiser un cluster pour une seule charge de travail vaut un facteur de 10 ou 100. Karam voit de la place pour de nouvelles entreprises se formant autour de cas d'utilisation uniques, chacun optimisé pour une métrique.
« Il y a beaucoup d'opportunités que je vois autour de nouvelles entreprises qui se forment pour optimiser un cas d'utilisation donné, et la différence peut être un facteur de 10 ou 100, selon la métrique que vous essayez d'optimiser. »
▶
Un million de tokens peut coûter 0,20 $ ou 20 $, un écart de 100x déterminé par la façon dont vous construisez. Karam relie cette variation au fait que l'infrastructure a été construite pour une inférence bon marché à haut débit ou autre chose.
« Vous pouvez aller de, disons, 20 cents à environ 20 $ ou quelque chose comme ça pour un million de tokens. Je veux dire, c'est comme une différence de 100x. Si vous voulez vraiment optimiser pour une inférence simple à haut débit, vous pouvez la servir très bon marché, mais vous devez construire votre infrastructure en gardant cela à l'esprit. »
▶
La phrase de Dylan Patel : « la vitesse est le fossé. » Patel fournit la raison côté demande pour laquelle le coin rapide est soudainement là où va l'argent : les agents fonctionnent en boucles séquentielles d'essai-vérification.
« Les agents sont très séquentiels, orientés tâches. Essayer quelque chose, le vérifier, voir si c'est correct, et vous faites cela en boucle. Cela finit par être très lent. Et la vitesse est le fossé. Plus vous allez vite, la vitesse est le fossé. » Dylan Patel, SemiAnalysis
▶
Un seul émetteur-récepteur avec un grain de poussière bloque tous les utilisateurs du cluster. Une seule requête d'inférence traverse plusieurs réseaux en séquence, et le lien le plus lent donne le rythme pour tout le monde.
« Si vous avez une perte de paquets, ou si vous avez un émetteur-récepteur avec un grain de poussière... alors tout le monde doit attendre, et tout est séquentiel. »
▶
Une seconde à l'intérieur d'un cluster d'inférence « est comme un siècle à l'échelle humaine. » L'argument de vente de Karam pour Aria est une télémétrie à résolution microseconde pour détecter les blocages que la surveillance standard d'une seconde manque.
« Une seconde, dans le contexte d'un cluster IA exécutant de l'inférence, est comme un siècle à l'échelle humaine. Il se passe beaucoup de choses en une seconde. Et donc ce dont vous avez vraiment besoin, c'est de collecter cette télémétrie à une résolution de microseconde, afin de capturer ces événements qui pourraient causer un blocage. »
▶
