Wir beginnen zu sehen, was passiert, wenn ein Unternehmen lernt, sich selbst zu steuern.
In den letzten sechs Monaten haben die Ingenieure bei Replit die Code-Ausgabe fast verdreifacht. Die Überprüfungszeiten blieben stabil. Rücknahmen und Produktvorfälle sind gleich geblieben. Qualitätskennzahlen verbesserten sich, und Releases haben sich beschleunigt. Alle typischen Kompromisse, die man erwarten würde, sind nicht eingetreten.
Während der Code der sichtbare Teil ist, ist das, was unter der Oberfläche passiert, viel interessanter.
Agenten untersuchen jetzt Produktionsvorfälle, überprüfen Pull Requests, beantworten Fragen, analysieren Geschäftsdaten, priorisieren Support-Tickets, recherchieren Verkaufskonten und verbessern die Systeme, die Replit Agent selbst antreiben.
Es fühlt sich an wie eine einzelne übergeordnete Intelligenz, die sich durch jeden Mitarbeiter zieht, auch wenn sie es nicht ist. Es ist ein wachsendes System von Agenten, die im gesamten Unternehmen agieren: Sie nehmen Ziele von Menschen entgegen, sammeln Kontext, führen Arbeiten aus, überprüfen Ergebnisse und eskalieren, wenn menschliches Urteilsvermögen erforderlich ist.
Wir glauben, dass dies den Beginn einer neuen Art von Organisation darstellt: des selbstfahrenden Unternehmens.
Ein selbstfahrendes Unternehmen ist nicht eines ohne Menschen. Menschen wählen immer noch das Ziel. Sie entscheiden, welche Probleme wichtig sind, treffen schwierige Abwägungen, üben Geschmack aus und übernehmen Verantwortung für das Ergebnis.
Aber zunehmend führen sie nicht jeden Schritt aus, der erforderlich ist, um dorthin zu gelangen.
Der Wandel begann Ende letzten Jahres. Wie viele Menschen, die im KI-Bereich arbeiten, kehrten wir von der Weihnachtspause zurück und hatten das Gefühl, dass sich etwas Grundlegendes verändert hatte. Modelle konnten Arbeiten über viel längere Zeiträume aufrechterhalten.
Aufgaben, die wiederholt fehlgeschlagen waren, wie Alert-Triage und Ursachenanalyse, begannen zu funktionieren. KI begann, einige unserer hartnäckigsten Bugs zu lösen. Also hörten wir auf, Agenten als Werkzeuge zu behandeln, die in einem Editor oder Chatfenster leben. Wir haben sie vorsichtig in das Gefüge des Unternehmens selbst eingewoben.
Sobald die Engineering-Abteilung den Wert bewiesen hatte, verselbstständigte sich die Übernahme. Team für Team begann, seine mühsamsten Aufgaben auszulagern und sich Zeit für das strategische und kreative Denken zurückzuholen, das das Geschäft wirklich voranbringt. Die Mitarbeiter fühlen sich nicht, als wären sie automatisiert worden. Sie fühlen sich, als wären sie befördert worden.
Dies ist die Geschichte, wie KI die Art und Weise, wie wir bei Replit arbeiten, völlig verändert hat.
Engineering sah die Auswirkungen zuerst
Ende Januar haben wir die Infrastruktur hochgefahren, um schnell mit internen Agent-Anwendungsfällen zu experimentieren. Wir nutzten unsere Agent-Harness, MicroVMs und die Infrastruktur für entfernte Dateisysteme, sodass jeder Ingenieur Schwärme von Agenten parallel orchestrieren konnte. Dann haben wir das Ganze hinter Zugriffsrichtlinien, Token-Proxys, Audit-Logs und unserem ZeroTrust-Netzwerk abgesichert. Zu diesem Zeitpunkt fühlten wir uns sicher, dem Agenten Zugriff auf all die Dinge zu geben, die wir für unsere Arbeit nutzen: GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk und mehr.
Mit Kontext über Systeme hinweg sahen wir einen großen Produktivitätssprung. Experimente, die zuvor fehlgeschlagen waren, wurden einfach. Die unmittelbarste Auswirkung zeigte sich bei den Coding-Statistiken.
Wir befanden uns in der Sprint-Woche vor dem Release von Agent 4 im März, in der wir normalerweise einen großen Anstieg sehen. Meetings verschwinden, der Umfang ist bekannt, und das Engineering wechselt in den reinen Ausführungsmodus (oft bis zu 16 Stunden am Tag). Aber dieses Mal war es anders. Unsere Produktivitätskurve stieg nach oben an, wie wir es noch nie gesehen hatten, was auf die Einführung unseres neuen internen agentischen Systems zurückzuführen ist. Von Anfang Januar bis Ende Juni gab es einen 5,8-fachen Anstieg der beigetragenen Codezeilen.
Codezeilen pro Woche geändert, bestehende vs. neue Agent-Workflows
Ein Teil dieses Anstiegs ist auf gute Einstellungen zurückzuführen. Unser neuer Agent beschleunigt die Zeit bis zur Produktivität, was großartig ist, aber wir können den Einstellungseffekt für sauberere Daten entfernen. Wenn wir eine konstante Kohorte von Autoren betrachten, sehen wir 2,9-mal so viel Code wie zuvor. Traditionell gilt es als ausgezeichnet, wenn man die Leistung pro Ingenieur konstant hält, während man ein Team vergrößert. Wir haben die Rate pro Ingenieur gerade verdreifacht und gleichzeitig das Team verdoppelt.
Sie fragen sich vielleicht, wer all diesen neuen Code überprüft und ob wir einen neuen Engpass im Überprüfungsprozess geschaffen haben. Unsere Code-Review-Latenz ist flach, hauptsächlich weil wir unseren Agenten mit der Code-Überprüfung beauftragt haben. Er kann jetzt Risikostufen bewerten und nur bei Bedarf einen zweiten menschlichen Prüfer hinzuziehen. Das bedeutet, dass 30 % (und wachsend) der menschlichen PR-Überprüfungszeit eingespart wurden.
Da unser Agent mehr Code schreibt und überprüft, sollten wir uns um die Qualität sorgen. Wenn wir uns die PR-Rücknahmequoten (links) und die eröffneten Vorfälle ansehen, sind die Trends flach. Das bedeutet, dass wir uns relativ gesehen tatsächlich verbessern.
Ein Grund dafür ist, dass diese Prozesse ebenfalls agentengestützt sind. Menschliche Code-Überprüfungen profitieren von einem agentischen Co-Prüfer, sodass mehr Fehler gefunden werden. Untersuchungen von Vorfällen (bedeutende Bugs oder tatsächliche Vorfälle) werden von einem Agenten unterstützt, der versucht, die Ursache zu finden, sodass die durchschnittliche Zeit bis zur Schadensbegrenzung (MTTM) sinkt.
Der letzte Test ist, ob die zusätzlichen Code-Eingaben einen echten Wertbeitrag darstellen. Letztendlich liefert das Engineering Funktionen für die Nutzer. Wir verfolgen Projekte in Linear, damit die Vertriebs- und Marketingteams wissen, wann sie mit Nutzern über neue Funktionen kommunizieren müssen. Sie können sehen, dass die Abschlussrate von Projekten zusammen mit unserem Codierungsvolumen stark angestiegen ist.
Ein selbstfahrendes Engineering-Team kann mehr ausliefern und gleichzeitig die Qualität steigern.
Unser Agent der Agenten ermöglicht Loop-Engineering in großem Maßstab
Wenn wir näher heranzoomen, bekommen wir eine Vorstellung davon, wie das aussieht. Wenn Ingenieure Wege finden, Schleifen zu erzeugen, indem sie eine Flotte von Agenten losschicken, um eine überprüfbare Aufgabe zu erledigen, sehen wir die dramatischste Veränderung. Jeder Mitarbeiter erhält Zugang zu einem Manager-Agenten, der mehrere Agenten erzeugen kann, was die Orchestrierung von Agenten ermöglicht, die in Schleifen für Sie arbeiten. Die Schleifen führten zu sehr einzigartig aussehenden PR-Grafen, wie diesen:
Ein Ingenieur hat eine lange blockierte Migration unseres CSS-Systems abgeschlossen und seine Erkenntnisse geteilt. Ein anderer Ingenieur automatisierte eine Migration, die es uns ermöglichte, das Produkt zu lokalisieren. Wieder ein anderer automatisierte die Wartung instabiler Tests. Unser CTO hat endlich einen unserer schwierigsten Netzwerkfehler in Bezug auf PSC und fd-Shutdown mit einem Schwarm von Agenten geknackt. Alle unsere Annahmen darüber, was möglich ist, haben sich geändert.
Das aufregendste Beispiel für selbstfahrendes Arbeiten kommt von unserem KI-Team. Sie haben ein kontinuierliches Lernsystem gebaut, das Nutzerfeedback analysiert, Verbesserungen vorschlägt und eine Kombination aus Benchmarks und A/B-Tests verwendet, um die Erfolge zu validieren. Replit Agent verbessert sich selbst!
Die Build-vs.-Buy-Diskussion hat sich verändert
Unser neuer interner Agent hat auch die Gespräche darüber verändert, ob wir Software selbst bauen oder kaufen. Wir testen regelmäßig neue KI-Tools. Der Kauf von Lösungen kann uns helfen, schneller zu werden, und wir bewerten ständig den Markt. Aber je mehr wir selbst bauen, desto weniger müssen wir das tun. Unser interner Agent übertrifft jetzt Produkte, die wir testen und die als marktführend gelten. Wir haben gerade eine SaaS-Lösung mit siebenstelligem Volumen verlassen, weil unsere interne App, die vollständig in Replit gebaut wurde, überlegen war und die Mitarbeiter dorthin gewechselt waren.
Plötzlich fühlen sich die Werkzeuge an, als wären sie für uns gebaut. Die tiefe Integration in unsere Wissensbasen und die Anpassungen, die wir vorgenommen haben, lassen andere Lösungen unterlegen erscheinen.
Was uns noch mehr überraschte, war, dass unser interner Agent auch vertikalspezifische Produkte übertraf, die wir bewertet haben. Ein Tool zur Unterstützung von Ingenieuren bei der Triage von Alerts und der Ursachenanalyse von Vorfällen lieferte ähnliche Qualität, aber zu den zehnfachen Kosten im Vergleich zu unserem Agenten. Ein Tool, das automatisierte Penetrationstests durchführt, fand weniger Schwachstellen als unsere interne Version bei zehnfach höheren Kosten. Beide unserer Versionen wurden problemlos in Produktion genommen, wodurch die MTTM bei Vorfällen reduziert und kritische Systeme gegen Angriffe gehärtet wurden.
Angesichts dessen, wie viel wir noch lernen, und wie sich die Modelle verbessern, ist klar, dass dies erst der Anfang ist.
Über das Engineering hinaus in das gesamte Unternehmen
Ein selbstfahrendes Unternehmen hört nicht beim Engineering auf. Jede Funktion bei Replit verändert sich.
Die Nutzung verbreitete sich schnell über das Engineering hinaus, hauptsächlich aufgrund einer Slack-Schnittstelle. Der Rest des Unternehmens bemerkte, dass Ingenieure unseren Agenten mit Aufgaben markierten, und probierte es selbst aus. Anfangs war der beliebteste Anwendungsfall das Stellen von Fragen. Durch die Kombination unserer Wissensbasis mit dem Zustand der Codebasis konnte jeder Produkterwartungen klären, ohne auf Input von Engineering warten zu müssen. Diese Mitarbeiter konnten dann als Nachbereitung Texte oder Dokumentationen korrigieren. Es war ein sofortiger Schub, um schneller auf Nutzer reagieren zu können.
Aber das war nur der Anfang. Von dort aus kamen Beiträge neuer Fähigkeiten und Integrationen aus allen Teilen des Unternehmens.
Der erste große Durchbruch kam von unserem Data-Team. Sie gaben dem Agenten eine semantische Schicht über unser Data Warehouse, sodass er weiß, welche Tabellen die Quellen der Wahrheit sind und wie sie zueinander in Beziehung stehen.
Jetzt kann jeder bei Replit Business-Intelligence-Fragen stellen und eine zuverlässige Antwort erhalten. Sie können Diagramme und Präsentationen aus Live-Daten erstellen (einschließlich aller Diagramme in diesem Beitrag). Das Data-Team verbringt seine Zeit damit, tiefer in die schwierigsten Probleme einzutauchen, anstatt Anfragen zu bearbeiten. Kürzlich konnte ein Produktmanager eine komplexe Launch-Analyse selbst durchführen, weil unser Agent Ereignisse in der Codebasis versteht, wie sie in unserer Customer-Data-Plattform auftauchen und wie sie mit komplexen Abonnementzuständen verknüpft werden können.
Der Vertrieb fand denselben Hebel. Das Sales-Development-Team nutzt den Agenten, um produktqualifizierte Leads zu finden und anzureichern, wobei es auf internes Wissen zurückgreift, das generischere Tools nicht sehen können, sodass die Kontaktaufnahme mit mehr Kontext erfolgt. Account Executives nutzen ihn, um sich auf Kundengespräche vorzubereiten, um zu verstehen, wer den größten Nutzen zieht, welche Projekte am aktivsten sind und wie die Nutzung von Credits im Vergleich zu ihrem Vertrag verläuft. All dies wird dann in Branded Slides verpackt, die auf das Konto zugeschnitten sind. Ein selbstfahrendes Vertriebsteam hat mehr und qualitativ hochwertigere Touchpoints mit seinen Kunden.
Unser Marketingteam kann den Agenten nutzen, um Produktspezifikationen von Grund auf mit einem einzigen Prompt zu entwerfen, basierend auf Gesprächen und Dokumenten über Produkte in Engineering und Produkt. Dies gibt ihnen die Möglichkeit, früher mit der Arbeit an Launches zu beginnen und auf dem Laufenden zu bleiben, ohne an jedem Meeting teilnehmen zu müssen. Sie haben mehr Zeit zum Planen und für Kreativität, was sicherstellt, dass unsere Releases eine größere Wirkung haben, wenn sie auf dem Markt sind.
Unser Support-Team hat dem Agenten Fähigkeiten gegeben, Probleme zu untersuchen und standardmäßige Playbooks zu befolgen. Er kann wählen, ob er eine Antwort in unserem Standard-Kundendienstton geben oder an das Engineering eskalieren soll, zusammen mit einer Zusammenfassung des Tickets und der Untersuchung. Ein selbstfahrendes Support-Team schließt die schwierigsten Tickets (diejenigen, die an Menschen eskaliert werden) 60 % schneller. Nutzer können schneller wieder mit dem Bauen beginnen.
In jedem Beispiel wurde der Mensch nicht wegrationalisiert. Sie wurden befördert. Selbstfahrendes Arbeiten verwandelt Ausführende in Direktoren, und die Menschen, die erfolgreich sind, sind diejenigen, die in Ergebnissen denken und die Richtung vorgeben. Das ist die wertvollste Arbeit, die es jetzt gibt.
—
Wohin geht es als Nächstes?
Uns selbst produktiver zu machen ist aufregend, aber was die Menschen bei Replit wirklich motiviert, ist die Demokratisierung der Technologie.
Wir möchten diese neue Arbeitsweise all unseren Nutzern zugänglich machen. Wir arbeiten hart daran, sicherzustellen, dass wir dies mit den Richtlinien, Berechtigungen, Sicherheits- und Kostenkontrollen tun können, die für eine skalierte Bereitstellung erforderlich sind. Die aktivsten Nutzer von Replit sind Unternehmer und Unternehmensnutzer, die echte Unternehmen aufbauen. Selbstfahrendes Arbeiten erfordert Sicherheitsmaßnahmen, die skalieren können, um diesen Nutzern gerecht zu werden.
Wir arbeiten hart daran, das jetzt zu bauen.
Angesichts all der obigen Diagramme werden Sie nicht lange warten müssen.
