Chúng ta đang bắt đầu thấy điều gì xảy ra khi một công ty học cách tự vận hành.
Trong sáu tháng qua, các kỹ sư tại Replit đã gần như tăng gấp ba lượng mã lệnh được tạo ra. Thời gian review vẫn ổn định. Tỷ lệ reversion và sự cố sản phẩm không đổi. Các chỉ số chất lượng được cải thiện, và quá trình phát hành được đẩy nhanh. Tất cả những đánh đổi thông thường mà bạn có thể mong đợi đã không xảy ra.
Mặc dù mã lệnh là phần có thể nhìn thấy, nhưng điều đang diễn ra bên dưới bề mặt mới thú vị hơn nhiều.
Các agent hiện đang điều tra sự cố sản xuất, review pull request, trả lời câu hỏi, phân tích dữ liệu kinh doanh, phân loại ticket hỗ trợ, nghiên cứu tài khoản bán hàng và cải thiện các hệ thống cung cấp năng lượng cho chính Replit Agent.
Cảm giác như một trí tuệ tổng thể duy nhất xuyên suốt mọi nhân viên, mặc dù thực tế không phải vậy. Đó là một hệ thống đang mở rộng của các agent hoạt động trên toàn công ty: nhận mục tiêu từ con người, thu thập ngữ cảnh, thực hiện công việc, kiểm tra kết quả và leo thang khi cần phán quyết của con người.
Chúng tôi cho rằng điều này đại diện cho sự khởi đầu của một loại hình tổ chức mới: công ty tự lái.
Một công ty tự lái không phải là công ty không có con người. Con người vẫn chọn điểm đến. Họ quyết định vấn đề nào quan trọng, đưa ra những đánh đổi khó khăn, thực hành gu thẩm mỹ và chịu trách nhiệm về kết quả.
Nhưng ngày càng nhiều, họ không thực hiện mọi bước cần thiết để đạt được điều đó.
Sự thay đổi bắt đầu vào cuối năm ngoái. Giống như nhiều người làm việc trong lĩnh vực AI, chúng tôi trở về sau kỳ nghỉ Giáng sinh với cảm giác rằng một điều gì đó cơ bản đã thay đổi. Các mô hình có thể duy trì công việc trong những khoảng thời gian dài hơn nhiều.
Những tác vụ trước đây liên tục thất bại, như phân loại cảnh báo và điều tra nguyên nhân gốc rễ, bắt đầu hoạt động. AI bắt đầu giải quyết một số lỗi khó nhằn nhất của chúng tôi. Vì vậy, chúng tôi đã ngừng coi các agent như những công cụ sống trong trình soạn thảo hoặc cửa sổ chat. Chúng tôi đã đan chúng, một cách cẩn thận, vào kết cấu của chính công ty.
Một khi bộ phận kỹ thuật chứng minh được giá trị, việc áp dụng đã tự nó trở nên sống động. Hết đội nhóm này đến đội nhóm khác bắt đầu chuyển giao những công việc tẻ nhạt nhất của họ, giành lại thời gian cho tư duy chiến lược và sáng tạo - thứ thực sự thúc đẩy doanh nghiệp. Mọi người không cảm thấy họ bị tự động hóa. Họ cảm thấy mình đã được thăng chức.
Đây là câu chuyện về cách AI đã thay đổi hoàn toàn cách chúng tôi làm việc tại Replit.
Bộ phận Kỹ thuật là những người đầu tiên thấy tác động
Vào cuối tháng 1, chúng tôi đã tăng cường cơ sở hạ tầng để nhanh chóng thử nghiệm các trường hợp sử dụng agent nội bộ. Chúng tôi tận dụng khung agent, microVM và cơ sở hạ tầng hệ thống tệp từ xa để bất kỳ kỹ sư nào cũng có thể điều phối các bầy agent song song. Sau đó, chúng tôi khóa toàn bộ hệ thống phía sau các chính sách truy cập, proxy token, ghi nhật ký kiểm toán và mạng ZeroTrust của mình. Tại thời điểm đó, chúng tôi cảm thấy an toàn khi cấp cho agent quyền truy cập vào tất cả những thứ chúng tôi sử dụng để hoàn thành công việc: GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk, v.v.
Với ngữ cảnh xuyên suốt các hệ thống, chúng tôi đã thấy một bước nhảy vọt về năng suất. Những thử nghiệm trước đây thất bại giờ trở nên dễ dàng. Tác động tức thì nhất là ở các chỉ số coding.
Chúng tôi đang ở trong tuần chạy nước rút trước khi phát hành Agent 4 vào tháng 3, nơi chúng tôi thường thấy một đỉnh điểm lớn. Các cuộc họp biến mất, phạm vi công việc được biết rõ, và bộ phận kỹ thuật chuyển sang chế độ thực thi thuần túy (thường lên tới 16 giờ mỗi ngày). Nhưng lần này thì khác. Đường cong năng suất của chúng tôi uốn cong lên trên theo cách mà chưa ai từng thấy trước đây, điều này có thể bắt nguồn từ việc áp dụng hệ thống agentic nội bộ mới của chúng tôi. Từ đầu tháng 1 đến cuối tháng 6, đã có sự gia tăng gấp 5.8 lần số dòng mã được đóng góp.
Số dòng mã thay đổi mỗi tuần, quy trình làm việc hiện tại so với quy trình agent mới
Một phần của sự gia tăng này có thể là do tuyển dụng tốt. Agent mới của chúng tôi đẩy nhanh thời gian để đạt năng suất, điều này rất tuyệt, nhưng chúng tôi có thể loại bỏ tác động tuyển dụng để có dữ liệu sạch hơn. Giữ một nhóm tác giả nhất quán, chúng tôi thấy lượng mã nhiều gấp 2.9 lần so với trước đây. Theo truyền thống, việc giữ sản lượng đầu ra trên mỗi kỹ sư không đổi khi bạn mở rộng quy mô đội nhóm được coi là xuất sắc. Chúng tôi vừa tăng gấp ba tỷ lệ trên mỗi kỹ sư trong khi tăng gấp đôi đội nhóm.
Bạn có thể tự hỏi ai đang review tất cả mã mới này và liệu chúng ta có tạo ra một điểm nghẽn mới trong quy trình review hay không. Độ trễ review mã của chúng tôi là không đổi, phần lớn là do chúng tôi đã đưa agent vào công việc review mã. Giờ đây, nó có thể đánh giá mức độ rủi ro và chỉ gọi thêm một người review thứ hai khi cần thiết. Điều đó có nghĩa là 30% (và đang tăng lên) thời gian review PR của con người đã được tiết kiệm.
Với agent viết và review nhiều mã hơn, chúng ta nên lo lắng về chất lượng. Nếu nhìn vào tỷ lệ reversion PR (bên trái) và các sự cố được mở, xu hướng là không đổi. Điều này có nghĩa là chúng ta thực sự đang cải thiện trên cơ sở tương đối.
Một lý do là các quy trình này cũng được hỗ trợ bởi agent. Các review mã của con người có lợi ích từ một đồng review agent, vì vậy nhiều lỗi bị phát hiện hơn. Các cuộc điều tra sự cố (lỗi có ý nghĩa hoặc sự cố thực tế) được hỗ trợ bởi một agent cố gắng tìm ra nguyên nhân gốc rễ, do đó thời gian trung bình để giảm thiểu (MTTM) đang giảm xuống.
Bài kiểm tra cuối cùng là liệu đầu vào mã bổ sung có đại diện cho giá trị đầu ra thực sự hay không. Cuối cùng, bộ phận kỹ thuật đang cung cấp các tính năng cho người dùng. Chúng tôi theo dõi các dự án trong Linear để các nhóm bán hàng và tiếp thị biết khi nào nên liên lạc với người dùng về các tính năng mới. Bạn có thể thấy tỷ lệ hoàn thành dự án tăng mạnh cùng với khối lượng coding của chúng tôi.
Một đội ngũ kỹ thuật tự lái có thể xuất xưởng nhiều hơn, đồng thời nâng cao chất lượng.
Agent của các agent của chúng tôi đang cho phép kỹ thuật vòng lặp ở quy mô lớn
Phóng to lên cho chúng ta một ý tưởng về điều này trông như thế nào. Khi các kỹ sư tìm ra cách tạo ra các vòng lặp, gửi một đội agent đi hoàn thành một nhiệm vụ có thể xác minh, chúng tôi thấy sự thay đổi ấn tượng nhất. Mỗi nhân viên đều có quyền truy cập vào một agent quản lý có thể sinh ra nhiều agent, cho phép điều phối các agent làm việc trong các vòng lặp thay mặt bạn. Các vòng lặp dẫn đến một số biểu đồ PR rất độc đáo, như thế này:
Một kỹ sư đã hoàn thành việc di chuyển hệ thống CSS bị đình trệ từ lâu và chia sẻ những bài học của mình. Một kỹ sư khác đã tự động hóa một cuộc di chuyển cho phép chúng tôi bản địa hóa sản phẩm. Một kỹ sư khác nữa đã tự động hóa việc bảo trì các bài kiểm tra không ổn định. CTO của chúng tôi cuối cùng đã giải quyết được một trong những lỗi mạng khó nhằn nhất liên quan đến PSC và tắt fd với một bầy agent. Tất cả các giả định của chúng tôi về những gì có thể đã thay đổi.
Ví dụ tự lái thú vị nhất đến từ nhóm AI của chúng tôi. Họ đã xây dựng một hệ thống học tập liên tục phân tích phản hồi của người dùng, đề xuất cải tiến và sử dụng kết hợp các điểm chuẩn và thử nghiệm A/B để xác thực các cải tiến. Replit Agent đang tự cải thiện!
Cuộc trò chuyện về xây dựng so với mua đã thay đổi
Agent nội bộ mới của chúng tôi cũng đã thay đổi các cuộc trò chuyện về việc chúng tôi xây dựng hay mua phần mềm. Chúng tôi thường xuyên thử nghiệm các công cụ AI mới. Mua giải pháp có thể giúp chúng tôi đi nhanh hơn, và chúng tôi cũng liên tục đánh giá thị trường. Nhưng chúng tôi càng xây dựng nhiều, chúng tôi sẽ càng ít phải làm điều này. Agent nội bộ của chúng tôi hiện vượt trội hơn các sản phẩm chúng tôi thử nghiệm được coi là dẫn đầu thị trường. Chúng tôi vừa hủy một giải pháp SaaS trị giá bảy con số vì ứng dụng nội bộ của chúng tôi, được xây dựng hoàn toàn trên Replit, vượt trội hơn và nhân viên đã chuyển sang sử dụng.
Đột nhiên, các công cụ cảm thấy như được xây dựng cho chúng tôi. Sự tích hợp sâu với các cơ sở kiến thức của chúng tôi và tùy chỉnh chúng tôi đã thực hiện khiến các giải pháp khác trở nên kém hơn.
Điều khiến chúng tôi ngạc nhiên hơn nữa là agent nội bộ của chúng tôi cũng đánh bại các sản phẩm theo chiều dọc cụ thể mà chúng tôi đã đánh giá. Một công cụ giúp kỹ sư phân loại cảnh báo và điều tra nguyên nhân sự cố cho kết quả chất lượng tương tự nhưng với chi phí gấp 10 lần so với chạy nó trên agent của chúng tôi. Một công cụ chạy kiểm tra thâm nhập tự động tìm thấy ít lỗ hổng hơn so với phiên bản nội bộ của chúng tôi với chi phí cao hơn 10 lần. Cả hai phiên bản của chúng tôi đều được đưa vào sản xuất một cách dễ dàng, giảm MTTM trong các sự cố và củng cố các hệ thống quan trọng chống lại các cuộc tấn công.
Với những gì chúng tôi vẫn đang học hỏi và cách các mô hình đang cải thiện, rõ ràng đây mới chỉ là sự khởi đầu.
Vượt ra ngoài kỹ thuật và vào toàn bộ doanh nghiệp
Một công ty tự lái không dừng lại ở bộ phận Kỹ thuật. Mọi chức năng tại Replit đều đang thay đổi.
Việc sử dụng nhanh chóng lan rộng ra khỏi bộ phận Kỹ thuật, chủ yếu là nhờ giao diện Slack. Phần còn lại của công ty nhận thấy các kỹ sư gắn thẻ agent của chúng tôi với các nhiệm vụ và đã tự mình thử nghiệm. Ban đầu, trường hợp sử dụng phổ biến nhất là đặt câu hỏi. Bằng cách kết hợp cơ sở kiến thức của chúng tôi với trạng thái của cơ sở mã, bất kỳ ai cũng có thể làm rõ kỳ vọng sản phẩm mà không cần chờ đợi ý kiến từ bộ phận kỹ thuật. Những nhân viên đó sau đó có thể sửa bản sao hoặc tài liệu như một bước tiếp theo. Đó là một sự thúc đẩy tức thì trong khả năng phản hồi người dùng nhanh hơn.
Nhưng đó mới chỉ là sự khởi đầu. Từ đó, các đóng góp về kỹ năng và tích hợp mới bắt đầu đến từ tất cả các bộ phận của công ty.
Sự bứt phá lớn đầu tiên đến từ nhóm dữ liệu của chúng tôi. Họ đã cung cấp cho agent một lớp ngữ nghĩa trên kho dữ liệu của chúng tôi, để nó biết bảng nào là nguồn sự thật và chúng liên quan với nhau như thế nào.
Giờ đây, bất kỳ ai tại Replit đều có thể đặt câu hỏi về thông tin kinh doanh và nhận được câu trả lời đáng tin cậy. Họ có thể xây dựng biểu đồ và bài thuyết trình từ dữ liệu trực tiếp (bao gồm mọi biểu đồ trong bài viết này). Nhóm dữ liệu dành thời gian của họ để đi sâu vào những vấn đề khó khăn nhất, thay vì xử lý các yêu cầu. Gần đây, một PM đã có thể tự phục vụ phân tích ra mắt phức tạp vì agent của chúng tôi hiểu các sự kiện trong cơ sở mã, cách chúng hiển thị trong nền tảng dữ liệu khách hàng của chúng tôi và cách kết nối chúng với các trạng thái đăng ký phức tạp.
Bộ phận Bán hàng cũng tìm thấy đòn bẩy tương tự. Nhóm phát triển bán hàng sử dụng agent để tìm kiếm và làm giàu các khách hàng tiềm năng đủ điều kiện về sản phẩm, dựa trên kiến thức nội bộ mà các công cụ chung chung hơn không thể thấy, vì vậy việc tiếp cận có nhiều ngữ cảnh hơn. Các giám đốc tài khoản sử dụng nó để chuẩn bị cho các cuộc trò chuyện với khách hàng nhằm hiểu ai đang nhận được giá trị nhiều nhất, dự án nào đang hoạt động tích cực nhất và cách sử dụng tín dụng theo dõi hợp đồng của họ. Tất cả điều này sau đó được đóng gói thành các slide có thương hiệu được tùy chỉnh cho tài khoản. Một đội ngũ bán hàng tự lái có nhiều điểm tiếp xúc chất lượng cao hơn với khách hàng của họ.
Nhóm tiếp thị của chúng tôi có thể sử dụng agent để soạn thảo thông số kỹ thuật sản phẩm từ đầu chỉ với một prompt duy nhất, dựa trên các cuộc trò chuyện và tài liệu sản phẩm trên toàn bộ bộ phận kỹ thuật và sản phẩm. Điều này cho họ khả năng bắt đầu triển khai các bản ra mắt sớm hơn và luôn cập nhật mà không cần tham gia mọi cuộc họp. Họ có nhiều thời gian hơn để lên kế hoạch và sáng tạo, điều này sẽ đảm bảo các bản phát hành của chúng tôi có tác động lớn hơn khi ra mắt.
Nhóm hỗ trợ của chúng tôi đã cung cấp cho agent các kỹ năng để điều tra các vấn đề và làm theo các kịch bản tiêu chuẩn. Nó có thể chọn đưa ra phản hồi bằng giọng điệu dịch vụ khách hàng tiêu chuẩn của chúng tôi hoặc leo thang lên bộ phận kỹ thuật kèm theo bản tóm tắt ticket và kết quả điều tra. Một đội ngũ hỗ trợ tự lái giải quyết các ticket khó nhất (những ticket được leo thang lên con người) nhanh hơn 60%. Người dùng có thể quay lại xây dựng sớm hơn.
Trong mọi ví dụ, con người không bị tự động hóa ra ngoài. Họ đã được thăng chức. Tự lái biến những người làm thành những người chỉ đạo, và những người đang phát triển mạnh là những người suy nghĩ theo kết quả và định hướng. Đó là công việc có giá trị nhất hiện có.
—
Tiếp theo là gì?
Làm cho bản thân chúng tôi năng suất hơn là điều thú vị, nhưng điều thực sự thúc đẩy mọi người tại Replit là dân chủ hóa công nghệ.
Chúng tôi muốn mang cách làm việc mới này đến tất cả người dùng của mình. Chúng tôi đang làm việc chăm chỉ để đảm bảo có thể thực hiện điều này với các chính sách, quyền, bảo mật và kiểm soát chi phí cần thiết để triển khai ở quy mô lớn. Những người dùng tích cực nhất của Replit là các doanh nhân và người dùng doanh nghiệp đang xây dựng các doanh nghiệp thực sự. Tự lái cần các biện pháp an toàn có thể mở rộng để đáp ứng những người dùng đó.
Chúng tôi đang làm việc chăm chỉ để xây dựng điều đó ngay bây giờ.
Với tất cả các biểu đồ trên, bạn sẽ không phải chờ đợi lâu.
