私たちは、企業が自らを運営することを学び始めたときに何が起こるかを見始めています。
過去 6 ヶ月間で、Replit のエンジニアはコード出力をほぼ 3 倍にしました。レビュー時間は安定しています。ロールバックとプロダクトインシデントは横ばいです。品質指標は改善し、リリースは加速しています。通常予想されるようなトレードオフは一切発生していません。
コードは目に見える部分ですが、水面下で起こっていることはもっと興味深いです。
エージェントは現在、プロダクションインシデントの調査、プルリクエストのレビュー、質問への回答、ビジネスデータの分析、サポートチケットのトリアージ、セールスアカウントの調査、そして Replit Agent 自身を動かすシステムの改善を行っています。
それはまるで、すべての従業員に通じる単一のマスターインテリジェンスのように感じられますが、実際はそうではありません。これは、社内で動作する拡大するエージェントシステムであり、人々から目標を受け取り、コンテキストを収集し、作業を実行し、結果を確認し、人間の判断が必要な場合はエスカレーションします。
私たちは、これが新しい種類の組織、すなわち「セルフドライビングカンパニー」の始まりを表していると考えています。
セルフドライビングカンパニーとは、人がいない会社ではありません。人は依然として目的地を選びます。どの問題が重要かを決め、難しいトレードオフを行い、センスを発揮し、結果に対して責任を負います。
しかし、その目的地に到達するために必要なすべてのステップを、人が実行するわけではありません。
この変化は昨年末に始まりました。AI に携わる多くの人々と同様に、私たちもクリスマス休暇明けに、何か根本的な変化が起きたと感じて戻ってきました。モデルがより長い期間にわたって作業を継続できるようになったのです。
アラートのトリアージや根本原因調査など、これまで繰り返し失敗していたタスクが機能し始めました。AI は私たちの最も厄介なバグのいくつかを解決し始めました。そこで私たちは、エージェントをエディターやチャットウィンドウの中に閉じ込められたツールとして扱うのをやめました。慎重に、それを会社の組織そのものに織り込んだのです。
エンジニアリングがその価値を証明すると、導入は自然に広がりました。チームごとに、最も退屈な作業をエージェントに任せ、戦略的で創造的な思考に時間を割くようになりました。人々は自分が自動化されたとは感じていません。むしろ、昇進したように感じています。
これは、Replit において AI が私たちの働き方を完全に変えた物語です。
エンジニアリングが最初にその影響を目の当たりにしました
1 月下旬、私たちは内部エージェントのユースケースを迅速に実験するためのインフラを立ち上げました。エージェントハーネス、マイクロ VM、リモートファイルシステムインフラを活用し、どのエンジニアでも並列でエージェントの群れをオーケストレーションできるようにしました。そして、これらすべてをアクセスポリシー、トークンプロキシ、監査ログ、ZeroTrust ネットワークの背後にロックしました。その時点で、私たちはエージェントに仕事で使うすべてのもの（GitHub、GCP、Azure、Linear、Notion、Slack、ZenDesk など）へのアクセスを安全に与えられるようになりました。
システム間のコンテキストを得たことで、生産性が飛躍的に向上しました。以前は失敗していた実験が簡単になりました。最も直接的な影響は、コーディングの統計に現れました。
3 月の Agent 4 リリース前のスプリント週間では、通常は大きなスパイクが見られます。会議はなくなり、スコープは明確になり、エンジニアリングは純粋な実行モード（しばしば 1 日 16 時間）に移行します。しかし、今回は違いました。私たちの生産性曲線は、これまで誰も見たことのないような上昇を見せました。これは、新しい内部エージェントシステムの導入に起因します。1 月上旬から 6 月下旬にかけて、貢献されたコード行数は 5.8 倍に増加しました。
週あたりの変更コード行数（既存 vs 新エージェントワークフロー）
この増加の一部は、優れた採用によるものです。新しいエージェントは生産性向上までの時間を短縮します。これは素晴らしいですが、よりクリーンなデータを得るために採用効果を除去することもできます。一貫した著者集団を維持した場合、コード量は以前の 2.9 倍になります。通常、チームを拡大しながらエンジニアあたりのアウトプットを維持することは優れた成果とみなされます。私たちは、チームを 2 倍にしながら、エンジニアあたりのレートを 3 倍にしました。
この新しいコードを誰がレビューしているのか、そしてレビュープロセスに新たなボトルネックが生まれていないか、疑問に思うかもしれません。コードレビューのレイテンシーは横ばいです。その理由は、エージェントをコードレビューに活用しているからです。エージェントはリスクレベルを評価し、必要な場合にのみ人間のレビュアーを追加で呼び出すことができます。これにより、人間の PR レビュー時間の 30%（そして増加中）が節約されています。
エージェントがより多くのコードを書き、レビューしているとなると、品質が心配になります。PR のロールバック率（左）と発生したインシデントを見ると、傾向は横ばいです。つまり、相対的には実際に改善していることになります。
その理由の一つは、これらのプロセスもエージェントの支援を受けているからです。人間によるコードレビューにはエージェントによる共同レビュアーが付くため、より多くのバグが発見されます。インシデント調査（意味のあるバグや実際のインシデント）は、根本原因を特定しようとするエージェントの支援を受けており、平均解決時間（MTTM）は短縮しています。
最終的なテストは、追加のコード入力が実際の価値出力を表しているかどうかです。結局のところ、エンジニアリングはユーザーに機能を提供しています。私たちは Linear でプロジェクトを追跡し、セールスチームとマーケティングチームが新機能についてユーザーにいつ連絡すべきかを把握しています。プロジェクト完了率は、コーディング量とともに急上昇しています。
セルフドライビングエンジニアリングチームは、より多くのものを出荷しながら、同時に品質を向上させることができます。
私たちのエージェント・オブ・エージェントが、大規模なループエンジニアリングを可能にしています
ズームインすると、これがどのようなものかを理解できます。エンジニアがループを生成する方法を見つけ、検証可能なタスクを完了するためにエージェントの艦隊を送り出すと、最も劇的な変化が見られます。すべての従業員は、複数のエージェントを生成できるマネージャーエージェントにアクセスできます。これにより、あなたの代わりにループで動作するエージェントのオーケストレーションが可能になります。ループは、次のような非常にユニークな PR グラフを生み出しました。
あるエンジニアは、長い間停滞していた CSS システムの移行を完了し、その学びを共有しました。別のエンジニアは、製品のローカライズを可能にする移行を自動化しました。さらに別のエンジニアは、不安定なテストのメンテナンスを自動化しました。私たちの CTO は、PSC と fd シャットダウンに関連する最も難しいネットワークバグの一つを、エージェントの群れを使ってついに解決しました。何が可能かについての私たちの仮定はすべて変わりました。
最もエキサイティングなセルフドライビングの例は、AI チームからもたらされました。彼らは、ユーザーフィードバックを分析し、改善案を提案し、ベンチマークと A/B テストの組み合わせを使用して成果を検証する継続的学習システムを構築しました。Replit Agent は自己改善しています！
ビルド vs バイの会話が変わりました
新しい内部エージェントは、ソフトウェアをビルドするか購入するかという会話も変えました。私たちは定期的に新しい AI ツールを試しています。ソリューションを購入することでスピードアップできますし、市場も常に評価しています。しかし、ビルドすればするほど、購入する必要性は減ります。私たちの内部エージェントは、現在市場をリードしていると見なされている製品をテストした結果、それを上回っています。私たちは、7 桁の SaaS ソリューションを解約しました。なぜなら、Replit で完全に構築された内部アプリの方が優れており、従業員が移行していたからです。
突然、ツールが私たちのために作られているように感じられます。ナレッジベースとの深い統合と、私たちが行ったカスタマイズにより、他のソリューションは見劣りします。
さらに驚いたのは、内部エージェントが評価した特定の垂直製品にも勝ったことです。エンジニアがアラートをトリアージし、インシデントの根本原因を特定するためのツールは、同程度の品質でしたが、エージェントで実行するコストの 10 倍のコストがかかりました。自動化された侵入テストを実行するツールは、10 倍のコストで、内部バージョンよりも少ない脆弱性しか発見しませんでした。どちらのバージョンも簡単に本番環境に導入され、インシデントの MTTM を削減し、重要なシステムを攻撃から強化しました。
私たちがまだ学んでいること、そしてモデルが改善されていることを考えると、これはまだ始まりに過ぎないことは明らかです。
エンジニアリングを超えて、ビジネス全体へ
セルフドライビングカンパニーはエンジニアリングで止まりません。Replit のすべての機能が変化しています。
利用はエンジニアリングから急速に広がりました。主に Slack インターフェースのおかげです。他の部門は、エンジニアがエージェントにタスクをタグ付けしているのを目にし、自分たちも試してみました。最初は、最も人気のあったユースケースは質問をすることでした。ナレッジベースとコードベースの状態を組み合わせることで、誰もがエンジニアリングの入力を待たずに製品の期待値を明確にできました。その後、それらの従業員はコピーやドキュメントを修正することができました。これは、ユーザーにより迅速に対応できるようにするための即時の後押しとなりました。
しかし、それは始まりに過ぎませんでした。そこから、新しいスキルと統合の貢献が会社のあらゆる部分から寄せられるようになりました。
最初の大きなブレークスルーは、データチームからもたらされました。彼らはエージェントにデータウェアハウス上のセマンティックレイヤーを提供しました。これにより、どのテーブルが信頼できる情報源であり、それらがどのように相互に関連しているかをエージェントが理解できるようになりました。
現在、Replit の誰でもビジネスインテリジェンスの質問をして、信頼できる回答を得ることができます。ライブデータからチャートやプレゼンテーションを作成できます（この投稿のすべてのチャートを含む）。データチームは、要求に対応するのではなく、最も難しい問題に深く取り組むことに時間を費やしています。最近、ある PM は複雑なローンチ分析をセルフサービスで実行できました。エージェントがコードベース内のイベント、それらがカスタマーデータプラットフォームにどのように現れるか、そして複雑なサブスクリプション状態とどのように結合するかを理解しているからです。
セールスも同じレバレッジを見出しました。セールス開発チームは、エージェントを使用して製品適格リードを発見し、エンリッチしています。より汎用的なツールでは見えない内部知識を活用するため、アウトリーチはより多くのコンテキストで届きます。アカウントエグゼクティブは、顧客との会話の準備にこれを使用し、誰が最も価値を得ているか、どのプロジェクトが最もアクティブか、クレジット使用量が契約とどのように一致しているかを理解しています。これらはすべて、アカウントにカスタマイズされたブランドスライドにまとめられます。セルフドライビングセールスチームは、より多くの、より質の高い顧客とのタッチポイントを持っています。
マーケティングチームは、エージェントを使用して、エンジニアリングと製品全体にわたる会話やドキュメントに基づいて、単一のプロンプトでプロダクトスペックをゼロからドラフトできます。これにより、すべてのミーティングに参加しなくても、ローンチに向けてより早く動き出し、最新情報を把握できます。計画と創造性により多くの時間を割くことができ、リリースが世に出たときに大きなインパクトをもたらすことが保証されます。
サポートチームは、エージェントに問題を調査し、標準的なプレイブックに従うスキルを与えました。エージェントは、標準的なカスタマーサービス口調で回答を提供するか、チケットと調査の要約とともにエンジニアリングにエスカレーションするかを選択できます。セルフドライビングサポートチームは、最も難しいチケット（人間にエスカレーションされたもの）を 60% 早く解決します。ユーザーはより早くビルドに戻ることができます。
すべての例において、人間は自動化されませんでした。彼らは昇進しました。セルフドライビングは、実行者をディレクターに変えます。そして、結果を考え、方向性を設定する人々が成功しています。それが今、最も価値のある仕事です。
—
次はどこへ？
私たち自身の生産性を高めることはエキサイティングですが、Replit の人々を本当に動機づけているのは、テクノロジーの民主化です。
私たちは、この新しい働き方をすべてのユーザーに提供したいと考えています。これを大規模に展開するために必要なポリシー、パーミッション、セキュリティ、コスト管理を確実に実現できるよう、懸命に取り組んでいます。Replit の最もアクティブなユーザーは、実際のビジネスを構築している起業家やエンタープライズユーザーです。セルフドライビングには、それらのユーザーに対応できる安全対策が必要です。
私たちは今、その構築に懸命に取り組んでいます。
上記のすべてのグラフを考慮すると、あなたは長く待つ必要はないでしょう。
