Bir şirketin kendi kendini işletmeyi öğrenmesinin neler getireceğini görmeye başlıyoruz.
Son altı ayda, Replit'teki mühendisler kod çıktısını neredeyse üç katına çıkardı. İnceleme süreleri sabit kaldı. Geri dönüş ve ürün olayları aynı seviyede kaldı. Kalite metrikleri iyileşti ve sürümler hızlandı. Bekleyebileceğiniz tüm tipik ödünleşimler yaşanmadı.
Kod görünen kısım olsa da, yüzeyin altında olan biten çok daha ilginç.
Ajanlar artık üretim olaylarını araştırıyor, çekme isteklerini inceliyor, soruları yanıtlıyor, iş verilerini analiz ediyor, destek biletlerini triyajlıyor, satış hesaplarını araştırıyor ve Replit Agent'ın kendisini güçlendiren sistemleri iyileştiriyor.
Öyle olmasa da, her çalışana işlenmiş tek bir ana zeka gibi hissettiriyor. Bu, şirket genelinde faaliyet gösteren, genişleyen bir ajanlar sistemi: insanlardan hedefler alıyor, bağlam topluyor, iş yapıyor, sonuçları kontrol ediyor ve insan muhakemesi gerektiğinde durumu üst seviyeye taşıyor.
Bunun yeni bir organizasyon türünün başlangıcını temsil ettiğini düşünüyoruz: kendi kendini yöneten şirket.
Kendi kendini yöneten bir şirket, insansız bir şirket değildir. İnsanlar hâlâ varış noktasını seçiyor. Hangi sorunların önemli olduğuna karar veriyor, zor ödünleşimler yapıyor, zevklerini kullanıyor ve sonuçların sorumluluğunu üstleniyor.
Ancak giderek artan bir şekilde, oraya ulaşmak için gereken her adımı kendileri gerçekleştirmiyorlar.
Bu değişim geçen yılın sonlarında başladı. Yapay zeka alanında çalışan birçok kişi gibi, biz de Noel tatilinden temel bir şeyin değiştiğini hissederek döndük. Modeller, çok daha uzun vadelerde çalışmayı sürdürebiliyordu.
Daha önce defalarca başarısız olan uyarı triyajı ve temel neden araştırması gibi görevler çalışmaya başladı. Yapay zeka, en inatçı hatalarımızdan bazılarını çözmeye başladı. Bu yüzden ajanlara, bir editör veya sohbet penceresinin içinde yaşayan araçlar gibi davranmayı bıraktık. Onları dikkatlice şirketin dokusuna işledik.
Mühendislik değeri kanıtladıktan sonra, benimseme kendi kendine ivme kazandı. Ekip üstüne ekip, en sıkıcı işlerini devretmeye başladı ve işi gerçekten ilerleten stratejik ve yaratıcı düşünce için zaman kazandı. İnsanlar otomatize edildiklerini hissetmiyor. Terfi ettirildiklerini hissediyorlar.
Bu, yapay zekanın Replit'te çalışma şeklimizi tamamen değiştirmesinin hikayesidir.
Mühendislik etkiyi ilk gördü
Ocak sonunda, dahili ajan kullanım durumlarını hızlıca denemek için altyapıyı devreye aldık. Ajan koşum takımımızdan, mikroVM'lerden ve uzak dosya sistemi altyapımızdan yararlandık, böylece herhangi bir mühendis paralel olarak ajan sürülerini yönetebilirdi. Ardından tüm bunları erişim politikaları, token proxy'leri, denetim günlükleri ve ZeroTrust ağımızın arkasına kilitledik. Bu noktada, ajana işlerimizi yapmak için kullandığımız her şeye erişim izni vermenin güvenli olduğunu hissettik: GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk ve daha fazlası.
Sistemler arasında bağlamla birlikte, üretkenlikte büyük bir sıçrama gördük. Daha önce başarısız olan deneyler kolaylaştı. En acil etki kodlama istatistiklerinde oldu.
Mart ayında Agent 4 sürümünden önceki sprint haftasındaydık ve genellikle büyük bir artış görürüz. Toplantılar kaybolur, kapsam bilinir ve mühendislik saf yürütme moduna geçer (genellikle günde 16 saate kadar). Ancak bu sefer farklıydı. Verimlilik eğrimiz, daha önce hiçbirimizin görmediği bir şekilde yukarı doğru büküldü ve bu, yeni dahili ajan sistemimizin benimsenmesine bağlanabilir. Ocak başından Haziran sonuna kadar, katkıda bulunulan kod satırlarında 5,8 kat artış oldu.
Haftalık değiştirilen kod satırları, mevcut ve yeni ajan iş akışları
Bu artışın bir kısmı iyi işe alımlara bağlanabilir. Yeni ajanımız üretkenliğe geçiş süresini hızlandırıyor, bu harika, ancak daha temiz veriler için işe alım etkisini kaldırabiliriz. Tutarlı bir yazar grubunu koruyarak, daha önce olduğundan 2,9 kat daha fazla kod görüyoruz. Geleneksel olarak, bir ekibi büyütürken mühendis başına çıktıyı sabit tutmak mükemmel kabul edilir. Ekibi ikiye katlarken mühendis başına oranı üçe katladık.
Bu yeni kodun tamamını kimin incelediğini ve inceleme sürecinde yeni bir darboğaz yaratıp yaratmadığımızı merak ediyor olabilirsiniz. Kod inceleme gecikmemiz sabit, bunun büyük ölçüde nedeni ajana kod inceleme işini yaptırmamız. Artık risk seviyelerini değerlendirebiliyor ve yalnızca gerektiğinde ikinci bir insan incelemecisini dahil edebiliyor. Bu, insan PR inceleme süresinin %30'unun (ve büyüyen) kurtarıldığı anlamına geliyor.
Ajanımız daha fazla kod yazıp incelerken, kalite konusunda endişelenmeliyiz. PR geri dönüş oranlarına (sol) ve açılan olaylara bakarsak, eğilimler sabit. Bu, göreceli olarak aslında iyileştiğimiz anlamına geliyor.
Bunun bir nedeni, bu süreçlerin de ajan destekli olması. İnsan kod incelemeleri, ajan yardımcı incelemecinin avantajına sahiptir, bu nedenle daha fazla hata yakalanır. Olay incelemeleri (anlamlı hatalar veya gerçek olaylar), temel nedeni bulmaya çalışan bir ajan tarafından desteklenir, böylece ortalama hafifletme süresi (MTTM) düşer.
Son test, ek kod girdilerinin gerçek değer çıktısını temsil edip etmediğidir. Günün sonunda, mühendislik kullanıcılara özellikler sunuyor. Satış ve pazarlama ekiplerinin yeni özellikler hakkında kullanıcılarla ne zaman iletişim kuracağını bilmesi için Linear'da projeleri takip ediyoruz. Proje tamamlama oranının, kodlama hacmimizle birlikte keskin bir şekilde arttığını görebilirsiniz.
Kendi kendini yöneten bir mühendislik ekibi, aynı anda kaliteyi artırırken daha fazla ürün çıkarabilir.
Ajanlar ajanımız, ölçekte döngü mühendisliğini mümkün kılıyor
Yakınlaştırmak bize bunun nasıl göründüğüne dair bir fikir veriyor. Mühendisler, doğrulanabilir bir görevi tamamlaması için bir ajan filosu göndererek döngüler oluşturmanın yollarını bulduğunda, en çarpıcı değişimi görüyoruz. Her çalışan, sizin adınıza döngüler halinde çalışan ajanların orkestrasyonunu sağlayan, birden çok ajanı doğurabilen bir yönetici ajana erişebilir. Döngüler, bunlar gibi çok benzersiz görünen PR grafikleriyle sonuçlandı:
Bir Mühendis, CSS sistemimizin uzun süredir bekleyen bir geçişini tamamladı ve öğrendiklerini paylaştı. Başka bir mühendis, ürünü yerelleştirmemizi sağlayan bir geçişi otomatikleştirdi. Bir başkası ise tutarsız test bakımını otomatikleştirdi. CTO'muz, bir ajan sürüsüyle PSC ve fd kapanmasıyla ilgili en zor ağ hatalarımızdan birini nihayet çözdü. Mümkün olanla ilgili tüm varsayımlarımız değişti.
En heyecan verici kendi kendini yönetme örneği, yapay zeka ekibimizden geliyor. Kullanıcı geri bildirimlerini analiz eden, iyileştirmeler öneren ve kazanımları doğrulamak için bir dizi kıyaslama ve A/B testi kullanan bir sürekli öğrenme sistemi kurdular. Replit Agent kendini geliştiriyor!
Oluşturma ve satın alma kararı değişti
Yeni dahili ajanımız, yazılımı oluşturup oluşturmama veya satın alma konusundaki konuşmaları da değiştirdi. Düzenli olarak yeni yapay zeka araçlarını deneriz. Çözümler satın almak daha hızlı ilerlememize yardımcı olabilir ve ayrıca pazarı sürekli değerlendiriyoruz. Ancak ne kadar çok inşa edersek, bunu o kadar az yapmamız gerekecek. Dahili ajanımız artık test ettiğimiz ve pazar lideri olarak görülen ürünlerden daha iyi performans gösteriyor. Yedi haneli bir SaaS çözümünü yeni iptal ettik çünkü tamamen Replit'te oluşturulan dahili uygulamamız üstündü ve çalışanlar ona geçmişti.
Birdenbire, araçlar bizim için yapılmış gibi hissettiriyor. Bilgi tabanlarımızla derin entegrasyon ve yaptığımız özelleştirme, diğer çözümlerin yetersiz hissettirmesine neden oluyor.
Bizi daha da şaşırtan şey, dahili ajanımızın değerlendirdiğimiz dikey odaklı ürünleri de geride bırakmasıydı. Mühendislerin uyarıları triyajlamasına ve olayların temel nedenini bulmasına yardımcı olan bir araç, benzer kalitede ancak ajanımızda çalıştırmanın 10 katı maliyetle geldi. Otomatik penetrasyon testi yapan bir araç, dahili sürümümüze göre 10 kat daha yüksek maliyetle daha az güvenlik açığı buldu. Her iki sürümümüz de kolaylıkla üretime alındı, olaylarda MTTM'yi düşürdü ve kritik sistemleri saldırılara karşı güçlendirdi.
Hâlâ ne kadar çok şey öğrendiğimiz ve modellerin nasıl geliştiği göz önüne alındığında, bunun sadece bir başlangıç olduğu açık.
Mühendisliğin ötesinde tüm işe yayılıyor
Kendi kendini yöneten bir şirket Mühendislikte durmaz. Replit'teki her fonksiyon değişiyor.
Kullanım, çoğunlukla bir Slack arayüzü sayesinde hızla Mühendislik dışına yayıldı. Şirketin geri kalanı, mühendislerin ajana görevler atadığını fark etti ve kendileri denemeye karar verdi. Başlangıçta en popüler kullanım alanı soru sormaktı. Bilgi tabanımızı kod tabanının durumuyla birleştirerek, herkes mühendislik girdisini beklemeden ürün beklentilerini netleştirebilirdi. Bu çalışanlar daha sonra takip olarak kopyayı veya belgeleri düzeltebilirdi. Bu, kullanıcılara daha hızlı yanıt verebilme yeteneğinde anında bir artıştı.
Ama bu sadece bir başlangıçtı. Oradan itibaren, şirketin her yerinden yeni beceriler ve entegrasyonlar katkıları gelmeye başladı.
İlk büyük açılım veri ekibimizden geldi. Ajana, veri ambarımızın üzerinde anlamsal bir katman verdiler, böylece hangi tabloların gerçeğin kaynağı olduğunu ve birbirleriyle nasıl ilişkili olduklarını biliyor.
Artık Replit'teki herkes iş zekası soruları sorabilir ve güvenilir bir yanıt alabilir. Canlı verilerden (bu yazıdaki her grafik dahil) grafikler ve sunumlar oluşturabilirler. Veri ekibi, istekleri karşılamak yerine zamanını en zor problemlerin derinliklerine inerek geçiriyor. Geçenlerde, bir Ürün Yöneticisi, ajanımız kod tabanındaki olayları, bunların müşteri veri platformumuzda nasıl göründüğünü ve bunların karmaşık abonelik durumlarıyla nasıl birleştirileceğini anladığı için karmaşık bir lansman analizini kendi başına gerçekleştirebildi.
Satış da aynı kaldıracı buldu. Satış geliştirme ekibi, ajana daha genel araçların göremediği dahili bilgilerden yararlanarak ürün nitelikli potansiyel müşterileri bulmak ve zenginleştirmek için kullanıyor, böylece erişim daha fazla bağlamla hedefe ulaşıyor. Hesap yöneticileri, en çok değeri kimin aldığını, hangi projelerin en aktif olduğunu ve kredi kullanımının sözleşmelerine göre nasıl olduğunu anlamak için müşteri görüşmelerine hazırlanmak amacıyla kullanıyor. Tüm bunlar daha sonra hesaba göre özelleştirilmiş markalı slaytlar halinde paketleniyor. Kendi kendini yöneten bir satış ekibi, müşterileriyle daha fazla ve daha kaliteli temas noktasına sahiptir.
Pazarlama ekibimiz, ajana mühendislik ve ürün genelindeki ürün konuşmalarına ve belgelerine dayanarak tek bir komutla sıfırdan ürün özellikleri taslağı hazırlatmak için kullanabilir. Bu, onlara her toplantıda bulunmalarına gerek kalmadan lansmanlar üzerinde daha erken çalışmaya başlama ve güncel kalma yeteneği verir. Planlama ve yaratıcı olmak için daha fazla zamanları olur, bu da sürümlerimizin dünyaya çıktıklarında daha büyük bir etkiye sahip olmasını sağlayacaktır.
Destek ekibimiz, ajana sorunları araştırma ve standart oyun kitaplarını izleme becerileri kazandırdı. Standart müşteri hizmetleri sesimizle bir yanıt sunmayı veya biletin ve araştırmanın bir özetiyle birlikte mühendisliğe yükseltmeyi seçebilir. Kendi kendini yöneten bir destek ekibi, en zor biletleri (insanlara yükseltilenleri) %60 daha hızlı kapatır. Kullanıcılar daha çabuk inşa etmeye geri döner.
Her örnekte, insan otomatize edilmedi. Terfi ettirildi. Kendi kendini yönetme, yapanları yöneticiye dönüştürüyor ve gelişenler, sonuçları düşünen ve yön belirleyenler oluyor. Artık en değerli iş budur.
—
Sırada ne var?
Kendimizi daha üretken kılmak heyecan verici, ancak Replit'teki insanları gerçekten motive eden şey teknolojiyi demokratikleştirmek.
Bu yeni çalışma şeklini tüm kullanıcılarımıza sunmak istiyoruz. Bunu, ölçekte dağıtmak için gereken politika, izinler, güvenlik ve maliyet kontrolleriyle yapabildiğimizden emin olmak için sıkı çalışıyoruz. Replit'in en aktif kullanıcıları, gerçek işler kuran girişimciler ve kurumsal kullanıcılardır. Kendi kendini yönetmenin, bu kullanıcıları karşılayabilecek ölçekte güvenlik önlemlerine ihtiyacı var.
Şu anda bunu inşa etmek için sıkı çalışıyoruz.
Yukarıdaki tüm grafikler göz önüne alındığında, uzun süre beklemenize gerek kalmayacak.
