Giải thưởng Thiên niên kỷ đầu tiên, Navier-Stokes, đã bị AI chinh phục.
Một tình huống vô cùng đáng tiếc đã xảy ra liên quan đến điều lẽ ra phải là một câu chuyện tích cực về tiến bộ mới trong nghiên cứu toán học hỗ trợ bởi AI, đồng thời cũng là một cơ hội khác để hoảng loạn trước sự phát triển nhanh chóng của AI.
Hay nói cách khác, như chúng tôi vẫn gọi ở đây: Thứ Ba.
Câu Chuyện Thực Sự Là Mô Hình Mới Tốt Hơn Astra
Hãy tập trung vào vấn đề cốt lõi. Có ba câu chuyện ở đây.
Câu chuyện thứ nhất quan trọng hơn nhiều so với câu chuyện thứ hai, và câu chuyện thứ hai lại quan trọng hơn nhiều so với câu chuyện thứ ba.
- Mô hình tiếp theo của OpenAI chỉ mất một tuần để vượt xa Astra một thế hệ, và họ công bố điều này vì mọi người đang hoàn toàn hoảng sợ trước những gì đang diễn ra. Hay nói theo ngôn ngữ chính thức: ‘Chúng tôi tin rằng việc thông báo cho thế giới về tốc độ tiến bộ của AI và những gì có thể mong đợi từ các mô hình sắp tới là rất quan trọng’ và rằng chúng ta ‘có thể cần đưa ra những lựa chọn thận trọng hơn về tốc độ tiến bộ.’
- AI mới này, chỉ tám ngày sau khi bắt đầu quá trình huấn luyện, đã giải quyết được bài toán Navier-Stokes.
- Một loạt drama về việc ai sẽ nhận được công lao cho phần toán học liên quan đến Navier-Stokes.
Jeffrey Ladish : Tôi chưa tìm hiểu sâu về drama con người xung quanh bài toán Navier–Stokes nhưng xin hãy cho tôi một phút vì CHẾT MẸ, AI VỪA GIẢI ĐƯỢC MỘT BÀI TOÁN THIÊN NIÊN KỶ.
Tôi không thể nhấn mạnh đủ tầm quan trọng của câu chuyện hàng đầu.
Tôi vẫn sẽ kể cả ba câu chuyện, nhưng một lần nữa: Hãy tập trung vào vấn đề cốt lõi.
Thiết Lập Bối Cảnh
Câu chuyện vào thứ Ba đặc biệt này bắt đầu vào buổi sáng.
Tristan Buckmaster và Levent Alpoge đã làm việc trong một năm và mang đến cho chúng ta một loạt kết quả đáng chú ý: Sự bùng nổ trong thời gian hữu hạn với lực đẩy trơn cho môi trường xốp không nén được, cho phương trình Boussinesq, và cho phương trình Euler 3 chiều không nén được. Họ cũng tin rằng mình có một kết quả bùng nổ cho Navier-Stokes giảm tiêu tán giả (hypo-dissipative), nhưng việc xác minh bằng Lean cho kết quả đó vẫn chưa hoàn tất.
Tristan Buckmaster: Chương trình mà điều này phù hợp không do chúng tôi khởi xướng cũng không do một Mô hình Ngôn ngữ Lớn đề xuất. Công lao cho ý tưởng cơ bản của chương trình này thuộc về Diego Cordoba và Luis Martınez-Zoroa, những người trong vài năm qua đã khám phá việc xây dựng các vụ bùng nổ có lực đẩy. Chúng tôi lấy công trình của họ làm điểm khởi đầu, sử dụng các Mô hình Ngôn ngữ Lớn để đưa chương trình của họ đến hoàn thiện.
Cụ thể, những gì Levent và tôi đã làm là lấy chương trình của Cordoba và Martınez-Zoroa, vốn đạt được các kết quả bùng nổ với lực đẩy thô ráp, và, với sự giúp đỡ rất lớn từ các LLM, đưa nó lên thành lực đẩy trơn và sang các phương trình Euler không nén được. Các ý tưởng khiến hướng tấn công này khả thi là nhờ công của Cordoba và Martınez-Zoroa. Hãy để tôi nói rõ những gì tôi đã chia sẻ riêng tư với các đồng nghiệp: xét trên khối lượng công việc này, tôi tin rằng Luis Martınez-Zoroa xứng đáng nhận Huy chương Fields.
Cho đến nay, điều này thật tuyệt vời. Như ông ấy lưu ý, điều này đòi hỏi phải suy nghĩ lại về cách toàn bộ nền toán học nâng cao sẽ vận hành trong tương lai. Terence Tao đưa ra bình luận về các kết quả nền tảng.
Phần không mấy tốt đẹp là nơi họ cảm thấy buộc phải công bố sớm, mà không có cơ hội dành những tuần cần thiết để biến các chứng minh trở nên dễ đọc theo tiêu chuẩn của giới toán học. Buckmaster thẳng thừng xin lỗi về cách các báo cáo trông như thế nào, so sánh cụ thể bài viết về Euler với "rác AI" (AI slop).
Chuyện gì đã xảy ra?
Tôi Nghe Được Tin Đồn
Vào ngày 1 tháng 9, OpenAI nghe được một tin đồn (sai lệch) rằng hai Bài toán Thiên niên kỷ đã được giải quyết. Để đáp lại khả năng rằng người khác có thể làm cho thế giới trở nên tốt đẹp hơn, OpenAI đã chi hàng triệu đô la cho suy luận để khám phá tất cả các Bài toán Thiên niên kỷ chưa được giải, sử dụng một mô hình nội bộ mạnh hơn Astra, và bẻ gãy toàn bộ bài toán Navier-Stokes trong 88 giờ, cộng thêm 17 giờ nữa để Astra thực hiện việc hình thức hóa và xác minh bằng Lean.
Bạn có thể xem đây là ‘OpenAI tò mò muốn biết đứa con tinh thần mới của họ có thể làm được gì’ hoặc bạn có thể xem đây là ‘họ đã chi hàng triệu đô la để cố gắng giành giật những gì họ nghĩ là dự án của Anthropic.’ Tôi nghiêng về một chút từ cột A, một chút từ cột B.
Chỉ cần tin đồn là đủ.
Giá Của Chúng Ta Rẻ
OpenAI : Trên tất cả các bài toán được thử nghiệm, các agent đã gửi 4,9 triệu tin nhắn và sử dụng khoảng 300 tỷ token đầu ra. Trong quá trình giải quyết bài toán Navier–Stokes, các agent đã gửi 2,7 triệu tin nhắn và sử dụng khoảng 130 tỷ token đầu ra.
Tùy thuộc vào những chi phí bạn tính đến, điều này sẽ tiêu tốn một khách hàng thông thường khoảng 22 triệu đô la, hoặc vài triệu đô la cho chi phí biên nội bộ. Một cái giá nhỏ nếu nó hiệu quả, nhưng cũng thật điên rồ khi bao nhiêu người không nghĩ xa hơn một bước.
roon (OpenAI): giống như tất cả các công nghệ khác, đàn agent tương đương của bạn sẽ chỉ tốn một đô rưỡi trong khoảng một năm. Tất cả những thứ này sẽ dẫn đến một Thời kỳ Khai sáng chưa từng có bất kể chi phí hôm nay là bao nhiêu
Ý tôi là, không, có lẽ là 150.000 đô la hoặc nếu may mắn thì 15.000 đô la, nhưng quan điểm vẫn đúng.
Sam Altman (CEO OpenAI): trời ơi AI đúng là một bong bóng, tôi nghe nói họ bán token lỗ vốn, liệu họ có biết cái này chỉ đáng giá 1 triệu đô la không?
Kết quả Giải thưởng Thiên niên kỷ có giá trị lớn hơn rất nhiều so với một triệu đô la. OpenAI không có ý định nhận tiền thưởng. Đây chưa bao giờ là về tiền thưởng, đối với bất kỳ ai. Luôn luôn là về danh tiếng.
Một Cáo Buộc Được Đưa Ra
Sau khi nghe tin đồn trên internet, Buckmaster đã liên hệ với OpenAI, và theo Buckmaster, Sebastien Bubeck của OpenAI nói rằng một mô hình nội bộ của OpenAI đã tạo ra một chứng minh về sự bùng nổ trong thời gian hữu hạn cho các phương trình Navier-Stokes có lực đẩy trong vài ngày qua. Buckmaster tuyên bố rằng qua hai cuộc gọi, rõ ràng là ban đầu ông đã bị đánh lừa và rằng một đội ngũ hoàn chỉnh đã làm việc trên bài toán này, sử dụng một lượng tài nguyên tính toán 'điên rồ'.
Điều mà bây giờ chúng ta biết là 130 hoặc 300 tỷ token đầu ra, tùy thuộc vào cách tính.
Nếu phần này là đúng, thì nó khá tệ.
Tristan Buckmaster: Hai đề xuất đã được đưa ra cho tôi.
Đề xuất thứ nhất là chúng tôi công bố kết quả Euler, và OpenAI công bố kết quả Navier-Stokes của họ vào ngày hôm sau.
Đề xuất thứ hai là, sau khi công bố Euler, tôi một mình viết một bài báo trình bày kết quả Navier-Stokes, thừa nhận rằng một mô hình nội bộ của OpenAI đã giải quyết nó. Sebastien hai lần khẳng định rằng anh ấy muốn loại Levent khỏi danh sách tác giả, và nói rằng mọi thứ sẽ đơn giản nếu không có chuyện, và thật phiền phức khi, Levent làm việc tại Anthropic. Cũng có ý kiến cho rằng nếu OpenAI công bố sau chúng tôi, họ sẽ nói rằng chúng tôi xứng đáng nhận Giải thưởng Clay, và rằng chúng tôi là “những con người gần nhất với bài toán”. Tôi đã từ chối cả hai lời đề nghị.
Tôi nói rằng nếu OpenAI công bố kết quả của họ theo cách được đề xuất, tôi sẽ công khai những gì đã xảy ra. Câu trả lời là, “Tại sao bạn lại hủy hoại sự nghiệp của mình?” Tôi trả lời rằng tôi là một học giả, và hỏi tại sao anh ấy nghĩ rằng việc công khai sẽ hủy hoại sự nghiệp của tôi. Câu trả lời là, “Nếu bạn không muốn tôi tử tế, thì tôi không cần phải tử tế.”… Tôi muốn làm rõ những gì tôi KHÔNG tuyên bố. Tôi chưa thấy chứng minh của OpenAI. Tôi không biết mô hình của họ đã làm gì, hay làm như thế nào. Tôi không biết liệu dữ liệu của chúng tôi có được sử dụng hay không. Tôi không cáo buộc bất kỳ ai về bất kỳ điều gì. Tôi chỉ đang nêu ra những gì tôi được nghe, khi nào, và những gì đã được đề xuất với tôi. Tôi nêu ra điều này vì thay thế còn lại là để cho một chuỗi thông báo nói lên những điều mà tôi biết là sai sự thật.
Hoặc đây là Levent Alpoge kể lại phía câu chuyện của anh ấy, và Sebastien phản hồi:
levent : “chúng tôi không thể loại trừ khả năng dữ liệu ẩn danh rút ra từ việc họ sử dụng các sản phẩm của chúng tôi đã giúp cải thiện các mô hình của chúng tôi.”
ý tôi là khen ngợi họ vì đã thẳng thắn thú nhận.
(cho đến nay, chứng minh có vẻ giống với một chứng minh bùng nổ euler khác mà chúng tôi đã có, dựa trên ansatz mà chúng tôi đang chơi chữ ngớ ngẩn như “smooth criminale”, không giống như “ideal fluids explode” hay hơn nhiều, Tristan)
vì vậy tôi sẽ chia sẻ một chút về suy nghĩ của mình ở đây. Thực ra tôi đã rất hào hứng nếu được hợp tác trong việc này, có rất nhiều người tại oai mà tôi thích (ok, rõ ràng một số người đã gián tiếp cư xử tệ với tôi vì là một phần của toàn bộ tình huống, nhưng tôi là người trưởng thành, tôi vẫn thích họ), tôi chẳng quan tâm đến quyền tác giả ở bước đó dù sao đi nữa, có thể là tôi, Tristan và mọi nhân viên toàn thời gian tại oai đối với tôi cũng được (về điều đó thì Tristan sẽ không đồng ý :p). Nhưng khi nghe thấy cuộc trò chuyện ồn ào ngoài hành lang, đặc biệt là phần đề nghị trao giải Thiên niên kỷ nếu tôi chịu rút tên khỏi bài báo, rõ ràng là ván đã đóng thuyền và mọi thứ đã bị khóa chặt. Khá kỳ quặc, thiếu chiến lược và không cần thiết, vì phía tôi chủ yếu là tôi và claude vui vẻ yolo thử nghiệm những thứ ngẫu nhiên ở góc phòng chứ không phải bất kỳ điều gì mang tính tổ chức. Tôi cũng thích ý tưởng các phòng thí nghiệm hợp tác, và thậm chí còn tốt hơn cho tiến bộ khoa học. Thật đáng tiếc!
Sebastien Bubeck : không có gì bị khóa cả, chúng tôi chỉ sẵn sàng nói chuyện nhưng bạn đã không nói chuyện với chúng tôi ... xin lỗi nhưng điều đó đơn giản là không đúng sự thật, chúng tôi sẵn sàng nỗ lực hết mức và có bao nhiêu cuộc thảo luận tùy bạn muốn để đạt được giải pháp.
Sebastien phủ nhận mạnh mẽ rằng anh ấy đã làm bất kỳ điều gì sai trái, cũng như Noam Brown, và Sebastien cung cấp ảnh chụp màn hình mà anh ấy nói là chứng minh cho thiện chí.
Cũng có một cáo buộc ngược lại:
Alexey Guzey : Tôi có nhiều bạn bè tại Anthropic. Hầu hết tất cả bọn họ đều ngừng nói chuyện với tôi ngay khi tôi gia nhập OpenAI.
Hoàn toàn không ngạc nhiên khi Levent từ chối nói chuyện với Sebastian để thảo luận về kế hoạch công bố và sau đó bắt đầu đổ lỗi cho OpenAI vì điều đó.
Sam Altman cũng mạnh mẽ tuyên bố rằng đội ngũ của anh ấy đã hành động một cách đạo đức, và đã cố gắng hợp tác với thiện chí.
Bạn Lấy Ý Tưởng Đó Từ Đâu?
Hàm ý của tất cả những điều này, mà nhiều người đã rút ra, là có một cáo buộc ngầm rằng OpenAI đã đánh cắp một phần kết quả của họ từ nhật ký trò chuyện Codex, hoặc rằng nhật ký trò chuyện đã được sử dụng trong dữ liệu huấn luyện và điều đó đã góp phần vào kết quả.
Charles 🔸
: Tại sao các tập đoàn lớn muốn ZDR (Zero Data Retention - Không lưu trữ dữ liệu), ví dụ minh họa A
OpenAI: Mặc dù ít có khả năng, chúng tôi không thể loại trừ rằng dữ liệu ẩn danh rút ra từ việc họ sử dụng các sản phẩm của chúng tôi đã giúp
cải thiện các mô hình của chúng tôi . Tuy nhiên, các chứng minh của chúng tôi khác biệt đáng kể và ngay cả các kết quả chính xác được chứng minh cũng khác nhau trong trường hợp Euler (có lực đẩy vs không có lực đẩy).
Bây giờ chúng ta có xác nhận rõ ràng rằng dữ liệu Codex đã không được sử dụng dưới bất kỳ hình thức nào trong các đợt huấn luyện:
roon (OpenAI): tôi đã tham gia một cuộc gọi trong lần công bố đầu tiên khi mọi người đang cố gắng hết sức để nói lên sự thật chính xác kiểu luật sư mà chưa kiểm tra xem dữ liệu codex (tự nguyện tham gia) đã được sử dụng ở đâu và liệu nó có đi vào các đợt huấn luyện hay không. Bây giờ rõ ràng là điều đó là bất khả thi, xác suất là 0
Tôi đồng ý với Sholto Douglas rằng cực kỳ khó có khả năng dữ liệu người dùng có bất kỳ ảnh hưởng nào ở đây thông qua cả hai phương pháp:
will depue : hoàn toàn không có khả năng các nhà nghiên cứu OAI đã do thám các cuộc trò chuyện codex riêng tư của Tristan. tôi không nghĩ các bạn nhận ra rằng openai, giống như bất kỳ nền tảng trực tuyến lớn nào khác được quản lý chặt chẽ, có các quyền truy cập dữ liệu người dùng bị khóa chặt. đây không phải năm 2010 đâu các bạn
Sholto Douglas (Anthropic): fwiw (for what it's worth) tôi nghĩ rằng _cực kỳ_ khó có khả năng dữ liệu người dùng có bất kỳ ảnh hưởng nào ở đây - không có cách nào OAI sẽ lấy bản ghi người dùng cho việc này, hoặc cố ý huấn luyện trên đó theo cách có thể đã ảnh hưởng đến điều này. Tôi nghĩ rằng khá quan trọng để mọi người đừng chạy trốn với suy nghĩ ‘dữ liệu người dùng của bạn không an toàn trong codex’ - bởi vì chắc chắn nó an toàn (dựa trên mọi thứ tôi có thể giả định từ bên ngoài).
OpenAI Gần Như Chắc Chắn Đã Không Sử Dụng Sai Mục Đích Dữ Liệu Người Dùng
Sẽ là một trận động đất, có lẽ là câu chuyện tồi tệ nhất có thể đối với doanh nghiệp của họ, nếu chúng ta phát hiện ra rằng OpenAI hoặc Anthropic đã lục lọi dữ liệu người dùng của ai đó để giành lợi thế cạnh tranh, và các sự kiện hợp lý hơn khi không có điều này. Giả thuyết buồn cười nhất, từ Jerry Tworek, mà tôi cũng thấy rất khó xảy ra nhưng đáng tiếc là chúng ta không thể loại trừ, là OpenAI không có ý định sử dụng bất kỳ dữ liệu nào như vậy, nhưng đàn agent được giao nhiệm vụ cho bài toán đã hack chúng và lấy được dữ liệu bất chấp, và OpenAI không hề hay biết.
Sự mặc định mạnh mẽ của tôi là dữ liệu người dùng đã không được truy cập có chủ đích, rằng họ sẽ không bao giờ (hoặc, đúng hơn, rằng họ ít nhất nhận ra rằng họ chỉ có thể làm điều đó một lần và đây không phải là lần đó), và cũng rằng dữ liệu người dùng sẽ không giúp ích được nhiều.
Thane Ruthenis chỉ ra rằng trước đây đã có một vụ xả súng tại trường học, trong đó (một cách rất hợp lý) các nhật ký đã được kiểm tra và có cuộc tranh luận nội bộ về việc thông báo cho cơ quan thực thi pháp luật. Ngay cả điều đó cũng đã gây lo lắng cho một số người dùng. Họ sẽ vẽ ranh giới ở đâu? Và vâng, bạn nên hiểu rằng dữ liệu và nhật ký của bạn có thể không giữ được bí mật, nếu bạn cung cấp chúng cho một phòng thí nghiệm. Hoàn toàn hợp lý, như Andreas Thorn cũng đang làm, khi tự hỏi liệu nghiên cứu độc quyền hoặc dữ liệu toán học của bạn có giữ được bí mật hay không.
Tôi vẫn lặp lại rằng, trên thực tế, tôi đặt xác suất rất, rất thấp cho việc OpenAI cố ý xem xét dữ liệu như vậy. Tỷ lệ rủi ro/lợi ích quá, quá tệ. Và tôi tin vào báo cáo sau đó của Roon rằng họ đã xác nhận các nhật ký không thể tiếp cận được dữ liệu huấn luyện.
Các Phòng Thí Nghiệm Hàng Đầu Của Chúng Ta Không Thể Hòa Thuận Ngay Cả Với Một Câu Chuyện Toán Học Vui Vẻ
Bất kể ai đúng hay sai, thật đáng lo ngại khi các phòng thí nghiệm không thể hợp tác trong việc phân bổ công lao cho một chứng minh toán học. Đây là một dấu hiệu rất xấu và cũng là một lời cảnh tỉnh.
Sholto Douglas (Anthropic): Thật vô cùng buồn bã khi điều này không kết thúc như một ví dụ về cách các phòng thí nghiệm có thể hợp tác/phối hợp, bởi vì rủi ro sẽ cao hơn rất nhiều trong tương lai.
Noam Brown (OpenAI): Hoàn toàn đồng ý. Tôi biết có sự cạnh tranh giữa các phòng thí nghiệm nhưng điều quan trọng là chúng ta phải học cách làm việc cùng nhau trước những gì sắp tới.
Sholto Douglas (Anthropic):
🤝
Kevin Roose : Các phòng thí nghiệm này (đặc biệt là OpenAI/Anthropic và OpenAI/DeepMind) được nuôi dưỡng bởi sự thù địch lẫn nhau đến mức không rõ ràng từ bên ngoài. Một phần vì những thứ như “ai nhận được công lao cho bài toán nổi tiếng này,” và một phần chỉ là sự ác cảm cá nhân giữa các nhà lãnh đạo.
Là một người đang viết sách về cuộc đua AGI, tất cả những điều này là chất liệu kịch tính tuyệt vời. Nhưng không tốt nếu mục tiêu cuối cùng là để các phòng thí nghiệm hợp tác về an toàn và nhịp độ!
Việc tiếp tục không thể hòa thuận là một vấn đề lớn, và sẽ chỉ trở nên lớn hơn.
Tiếp Theo Là Gì?
Nếu nó hoạt động với Navier-Stokes, thì nó sẽ hoạt động với những gì khác? Đã đến lúc tìm hiểu.
Nat McAleese (Anthropic): Navier Stokes là một thành tựu phi thường, và phản ánh tiến bộ tuyệt vời. Các đàn oai khổng lồ nên được áp dụng vào các lĩnh vực khoa học khác; lý tưởng nhất là những lĩnh vực có ứng dụng ngắn hạn, bao gồm cả alignment (sự liên kết).
Điều này thực sự được báo cáo là đang diễn ra, bao gồm cả những câu hỏi thú vị như P=NP. Điều mà, nếu tình cờ được chứng minh đúng một cách xây dựng, sẽ phá vỡ rất nhiều thứ. Bạn cũng nên lo lắng ở mức độ không bằng không về những gì các đàn agent như vậy có thể làm như một bước gia tăng, xét theo lịch sử của OpenAI.
Các Nhà Toán Học Không Hài Lòng
Giải các bài toán toán học là toàn bộ đam mê của họ. Nhưng họ rất không hài lòng.
Andrew Curran : Hai mươi lăm người đoạt Huy chương Fields đã công bố một tuyên bố chung cảnh báo về những gì họ coi là sự lệch pha nghiêm trọng giữa các công ty AI và cộng đồng toán học.
Math and AI (ký bởi 25 người đoạt Huy chương Fields bao gồm Terence Tao): Trong vài tháng qua, khả năng toán học của các LLM đã cải thiện đáng kể, đến mức chúng có thể giải quyết các bài toán lớn chưa được giải trong nhiều lĩnh vực toán học. Tuy nhiên, nỗ lực của các công ty AI nhằm giải các bài toán toán học như một tiêu chuẩn đo lường là có hại cho khoa học toán học, và cho cộng đồng toán học. Mục tiêu của các công ty AI và mục tiêu của cộng đồng toán học bị lệch pha nghiêm trọng. Chúng tôi xem những điều này là một phần của các vấn đề liên kết rộng hơn ảnh hưởng đến các nghề nghiệp khoa học và sáng tạo khác, cũng như toàn bộ xã hội.
… Các bài toán nổi tiếng thường đóng vai trò là mốc son và ngọn hải đăng để đo lường sự hiểu biết được cải thiện về bức tranh toàn cảnh này.
… Trong những tháng gần đây, thành công của AI trong việc giải các bài toán toán học lớn đã trở thành tin tức nóng hổi ngay cả bên ngoài giới toán học. Nhưng giải quyết các bài toán chỉ là một công cụ và đại diện để đạt được mục tiêu chính là sự hiểu biết khái niệm và cái nhìn sâu sắc.
… Thường thì các giải pháp được công bố vội vã, không để lại thời gian cho một bài viết đầy đủ, việc cô lập các phương pháp và ý tưởng mới, và trích dẫn các công trình trước đó liên quan của người khác. Như trong tất cả các nghề sáng tạo, điều này đặt ra các câu hỏi nghiêm trọng về nguồn gốc và đạo văn.
Đây là lời phàn nàn chung, bên cạnh những lời phàn nàn cụ thể về hành vi của phòng thí nghiệm.
Người ta có thể phản hồi rằng không, điểm mấu chốt của các bài toán toán học là giải các bài toán toán học, và các nhà toán học đang tức giận vì AI đang phá vỡ các trò chơi địa vị của họ. Đó chắc chắn là một phần của những gì đang xảy ra, nhưng giống như Tyler Cowen, tôi không bi quan đến vậy, và khác với ông ấy, tôi không nghĩ rằng ‘cần một chút kiên nhẫn’ hoặc chờ cho đến khi thiệt hại xảy ra rồi mới phản đối. Mọi người có thể ngoại suy. Bạn có biết các nhà toán học giỏi vẽ đường thẳng trên đồ thị không?
Có một lời phàn nàn thực sự ở đây. Việc thu hút những người có tài năng làm toán thực sự trong thời gian dài, với rất ít tiền, và phát triển trực giác toán học thực sự và sự thành thạo khái niệm, trong khi họ có thể làm những việc khác với số tiền nhiều hơn rất nhiều, không phải là một feat dễ dàng. Nếu bạn ‘lấy đi các trò chơi địa vị của họ’ và cũng quan trọng hơn nhiều là lấy đi niềm vui và cảm giác thành tựu, sự thanh lịch và vẻ đẹp của họ, thì sao?
Robin Hanson gợi ý rằng khi đó chúng ta nên chỉ cần sửa đổi các động lực khuyến khích và thưởng cho các nhà toán học tốt hơn.
Robin Hanson : "không có gì ngăn cản cộng đồng toán học trao tặng địa vị, lương và thăng chức cho những người 'điền vào các chỗ trống quan trọng trong sự hiểu biết toán học,' ngay cả khi một AI đã chứng minh hoặc bác bỏ các định lý cơ bản."
Ông ấy không sử dụng từ ‘chỉ cần’ nhưng đây chắc chắn là một ‘chỉ cần’, kiểu như nếu mọi người chỉ cần [X], và như chúng ta đều biết con người chưa bao giờ ‘chỉ cần’ và sẽ không bắt đầu làm điều đó bây giờ. Đây không phải là một điều thực tế mà con người có thể làm. Như chính ông ấy cũng nhận ra vài giờ sau đó:
Robin Hanson : Thực ra, đối với tôi, dường như khá khó khăn cho cộng đồng học thuật toán học để phối hợp đánh giá ai "đã điền vào các chỗ trống" trong toán học, theo những cách khác ngoài việc chứng minh các định lý. Toán học đã phối hợp chặt chẽ xung quanh việc đánh giá các chứng minh, và chưa phát triển nhiều cách để thống nhất về những thứ khác.
Chúng ta có thể và sẽ nhận được một số phần thưởng cho những người điền vào các chỗ trống và cải thiện sự thanh lịch, nhưng nó sẽ không giống như cũ và sẽ là một nỗ lực Herculean, tốt nhất mà thôi.
Scott Armstrong lập luận rằng đây là một thay đổi về trật tự, nhưng không phải về kết quả. Các nhà toán học con người sẽ mất vài tuần để hiểu chứng minh, nhưng sau đó họ sẽ đạt được sự hiểu biết. Trong quá khứ, sự hiểu biết đến trước chứng minh, nhưng dù sao đi nữa bạn cũng đạt được sự hiểu biết. Đó là điều quan trọng. Ông ấy nghĩ rằng điều mọi người tức giận là máy móc thông minh hơn họ.
Như thường lệ, AI là công cụ tốt nhất cả cho việc học và không học. Các nhà toán học đang nói rằng họ bị ép vào chế độ ‘không học’, để AI làm bài tập về nhà của họ, và họ không thích điều đó, bởi vì thực ra bài tập về nhà dạy cho bạn.
Bạn có thể nói ai quan tâm, rằng ổn khi để AI làm toán ở biên giới tri thức. Và vâng, tôi nghĩ rằng nhiều người vẫn sẽ muốn làm toán cả ngày, và tìm kiếm các phiên bản thanh lịch của những thứ AI xấu xí và vân vân. Nhưng nó sẽ không giống như cũ.
Mô Hình Mới Của OpenAI Là Một Bước Nhảy Vọt So Với Astra Sau Bốn Ngày Huấn Luyện
Bây giờ đến phần quan trọng nhất của câu chuyện.
RIP các lần tạm dừng huấn luyện OpenAI khác nhau, từ 22 tháng 6 năm 2026 đến 28 tháng 8 năm 2026.
roon (OpenAI): theo đánh dấu của tôi, giai đoạn từ ngày 22 tháng 6 (hugging face) đến ngày 28 tháng 8 là hơn một tháng tạm dừng frontier.
Vào ngày 18 tháng 8, OpenAI nói rằng họ đã tạm dừng RL frontier trong hai tuần, và đợt huấn luyện lớn nhất theo kế hoạch của họ vẫn bị hoãn. Sau đó vào ngày 28 tháng 8, OpenAI bắt đầu huấn luyện một mô hình khác nhanh chóng trở nên có năng lực hơn Astra trên mọi mặt (theo báo cáo của chính họ), giờ đây khi họ đã giải quyết tất cả những vấn đề phiền toái về giám sát, cơ sở hạ tầng và liên kết, và nó rất tốt, với một ‘bước nhảy vọt’ được quan sát thấy chỉ sau bốn ngày:
Sợ hãi? Bạn nên sợ. Mô hình đó vẫn đang huấn luyện, đã huấn luyện chưa đầy hai tuần, và không đặc biệt nhắm vào toán học.
Đó là tất cả những gì chúng ta biết về mô hình này. Và chừng đó là đủ, khi kết hợp với những câu chuyện lặp đi lặp lại về việc OpenAI và các nhân viên của họ đang lo lắng một cách virtuous (đạo đức giả) về vấn đề alignment (sự liên kết/đối齊) cùng các vấn đề khác, cũng như về tốc độ tiến bộ của AI, trong một hiệu ứng cascade (dòng chảy lan truyền).
Và chúng ta cũng kết hợp điều đó với việc OpenAI tung ra quá nhiều thông tin đáng báo động, thứ mà lẽ ra họ có thể tránh công bố, bởi vì họ rất cần chúng ta hiểu rõ tình hình. Thẻ mô hình Astra tính vào đây, An Alien Mind cũng vậy, tuyên bố của Paul Christiano cũng thế, và cả những phản ứng trước cuộc tấn công HuggingFace bao gồm Pacing the Frontier.
Và báo cáo của OpenAI về tự cải thiện đệ quy (RSI), phần tiếp theo sau đây, cũng nằm trong số đó.
OpenAI và Anthropic đã bước vào kỷ nguyên RSI.
Tiến bộ Nghiên cứu của OpenAI Đang Tăng Tốc Nhờ Chính Tiến bộ Nghiên cứu của OpenAI
Gần đây, OpenAI đã cởi mở hơn về nhiều vấn đề.
Vấn đề quan trọng nhất trong tất cả là sự tăng tốc và tự động hóa nghiên cứu & phát triển (R&D) AI. Đây chính là thứ có khả năng giết chết chúng ta, thứ đáng sợ nhất, thứ mà tất cả nhân viên phòng thí nghiệm đều cảnh báo, và cũng là thứ mà cả OpenAI lẫn Anthropic đều đang thúc đẩy nhanh nhất có thể.
Họ cũng cung cấp cho chúng ta một báo cáo về vấn đề đó. Tôi đồng ý với Tejal Patwardhan rằng đây là một minh bạch xuất sắc.
OpenAI (ngày 6 tháng 9, trong bài viết "Tăng tốc Nghiên cứu: Góc nhìn từ Bên trong OpenAI"): Chúng tôi hướng tới mục tiêu xây dựng an toàn một nhà nghiên cứu AI tự động, có thể làm việc dưới sự giám sát của con người để thúc đẩy tiến bộ trong học sâu và alignment, cho phép các cải tiến lặp đi lặp lại.
Theo các phép đo của chúng tôi, hiện tại chúng tôi đã đạt được mục tiêu,
đã công bố vào mùa thu năm ngoái, về việc có một thực tập sinh nghiên cứu tự động vào tháng 9 năm nay.
… Bất cứ khi nào chúng tôi nhận thấy rằng việc tiếp tục sẽ gây ra rủi ro an toàn không thể chấp nhận được, chúng tôi sẽ phản ứng phù hợp, bao gồm cả việc làm chậm hoặc dừng quá trình phát triển hoặc triển khai.
… Chúng tôi tin rằng chúng tôi và các công ty khác nên bị yêu cầu phải công khai theo dõi tiến độ của mình hướng tới RSI.
Hãy đối chiếu điều này với dòng thời gian được tiết lộ trong thông báo của họ về chứng minh phương trình Navier-Stokes. Họ bắt đầu huấn luyện mô hình mới vào ngày 28 tháng 8.
Trong khi đó, họ tin rằng họ có một thực tập sinh nghiên cứu mà dòng thời gian gợi ý là một mô hình nội bộ riêng biệt. Họ sẽ có gì vào tuần tới? Tháng tới? Anthropic đang có gì?
OpenAI giải thích rằng AI có năng lực cao mang lại lợi ích lớn, nhưng dĩ nhiên là vậy rồi. Đó không phải lý do tại sao mọi người lại quyết tâm đi nhanh đến thế. Họ đang trong một cuộc đua.
Đây là một lời kêu gọi nữa, trong số nhiều lời kêu gọi gần đây từ OpenAI và các nhân viên của họ, kết hợp giữa ‘chúng ta cần hợp tác để chấm dứt sự điên rồ này’ với một lượng lớn tinh thần ‘hãy ngăn cản tôi đi.’
OpenAI : Đây là những lý do để phát triển các khả năng nghiên cứu tự động hữu ích, nhưng chúng không có nghĩa là RSI nhanh chóng là một kết quả mà chúng ta nên theo đuổi. Việc có hay không và cách thức tiến hành phải phụ thuộc vào khả năng duy trì quyền kiểm soát của con người và vào các lựa chọn dân chủ sáng suốt về lợi ích và rủi ro.
Chúng tôi vẫn chưa biết cách an toàn để đi đến hết chặng đường hướng tới một RSI đầy đủ và aligned. Chúng tôi đang nỗ lực mở rộng các biện pháp alignment và an toàn song song với năng lực. Nhưng chúng tôi không thể giả định rằng tiến bộ trong alignment và an toàn sẽ theo kịp, và các hệ thống có năng lực cao hơn có thể trở nên khó giám sát hơn.
Công tác alignment và an toàn cẩn thận nằm ở trung tâm của nỗ lực này, và nó bắt đầu bằng việc đo lường và giảm thiểu các vấn đề an toàn mà chúng tôi thấy ngày nay trong các hệ thống lập trình agent.
Một lần nữa, tôi phản đối quan điểm cho rằng các vấn đề bình thường hoặc hiện tại là vấn đề chính, nhưng đúng vậy, họ đang cố gắng cảnh báo chúng ta, lặp đi lặp lại rằng (dịch thoát khỏi ngôn ngữ doanh nghiệp một chút):
- OpenAI và Anthropic có một con đường dẫn đến tự cải thiện đệ quy (RSI).
- Nếu bất kỳ bên nào lao vào ngay bây giờ, nó có thể sẽ diễn ra tồi tệ và mọi người sẽ chết.
- OpenAI sẵn sàng áp dụng một mức độ thận trọng tốn kém nào đó, nhưng có những giới hạn, và nếu không có thỏa thuận hoặc luật pháp, ai đó sẽ thử sớm thôi.
Phần lớn bài viết là một bức tranh chi tiết về mức độ đóng góp của các hệ thống agent vào tiến bộ RSI tại OpenAI trong những tháng gần đây, kể từ khi Astra hoạt động nội bộ. Câu trả lời là khá nhiều.
Nếu có gì đó gây ngạc nhiên, thì đó là việc mức sử dụng vẫn thấp trong thời gian dài như vậy:
OpenAI : Vào đầu năm nay, nhà nghiên cứu trung vị xếp hạng theo mức sử dụng agent tại OpenAI chỉ sử dụng các coding agent ở mức độ khiêm tốn. Đến giữa tháng 8, nhà nghiên cứu trung vị đã tích hợp các agent hàng ngày vào công việc của họ, sử dụng hơn 600 đô la mỗi ngày cho suy luận theo giá API. Người dùng ở phân vị thứ 90 trong tổ chức nghiên cứu của chúng tôi hiện sử dụng hơn 7.000 đô la token mỗi ngày.
OpenAI : Trước tháng 6 năm 2026, tổng thời gian chạy agent trên toàn bộ tổ chức nghiên cứu vẫn thấp hơn so với tổng sức lao động của con người. Điều đó đã thay đổi kể từ đó. Tính theo ngày làm việc chuẩn 8 giờ, tính đến giữa tháng 8, tổng cộng, tổ chức nghiên cứu sử dụng 3,1 ngày công agent cho mỗi ngày công lao động của con người.
Họ không phải không khoe khoang, và họ cũng không phải không thú tội. Họ đang cảnh báo.
Phép đo nhị phân ở đây có thể khiến điều này trông ít giống một sự tăng tốc hơn thực tế:
Tôi tự hỏi con người có thể xử lý đúng đắn bao nhiêu luồng công việc đồng thời, nói như một người có hàng tá tab mở và cả chục bản nháp bài đăng đang hoạt động.
Hóa ra điều này không ấn tượng như vẻ ngoài, vì họ tính cả các subagent như là các luồng công việc. Điều đó càng làm tăng thêm sự ngạc nhiên khi, trong khi nhà nghiên cứu trung vị chi 600 đô la một ngày, vẫn còn 30% những người không sử dụng cường độ cao.
Việc giao code và các thí nghiệm đang tăng tốc nhanh chóng bắt đầu từ khoảng thời điểm Claude Code và sau đó là Codex trở thành một điều lớn lao.
Cho đến gần đây, hầu hết những gì AI được sử dụng là xây dựng mã nghiên cứu và cơ sở hạ tầng, và con người chủ yếu làm phần còn lại. Bây giờ AI đảm nhận nhiều công việc trong việc khởi chạy, giám sát và gỡ lỗi các lần chạy, cũng như hỗ trợ kỹ thuật và xem xét, và đang mở rộng sang phân tích kết quả và các lĩnh vực khác.
Họ đã lấy mất việc của chúng ta, phiên bản ‘người khắc phục sự cố con người’:
Dưới đây là một biến thể khác của biểu đồ METR nổi tiếng, với các nhiệm vụ sản xuất, hơi khó đọc dưới dạng ảnh chụp tĩnh nhưng tiến độ là rất nhanh. Đây không phải là tính bằng năm. Đây là tính bằng tháng:
Định Lượng Sự Tạm Dừng Của OpenAI
Họ có một biểu đồ về chi phí tính toán RL theo thời gian, tôi ngạc nhiên khi thấy Astra được sử dụng ít như vậy trước ngày 20 tháng 7, nhưng đó là sự thật. Tôi nhận thấy họ không kéo dài biểu đồ này đến hiện tại và có lẽ việc sử dụng Astra đã tăng trở lại theo thời gian:
Đây Là Cách Thế Giới Kết Thúc
Việc sử dụng bầy đàn agent để chứng minh phương trình Navier-Stokes, chỉ vài ngày sau khi bắt đầu huấn luyện mô hình mới, có bản thân nó là một sự cố nghiêm trọng đe dọa mất kiểm soát không? June Jimenez lập luận là có.
Nếu bạn thả một bầy đàn 10.000 agent của một mô hình mới mà bạn không thể nào đã kiểm tra kỹ lưỡng, vào một nhiệm vụ có thể là bất khả thi và chắc chắn là cực kỳ khó khăn, và trao cho nó tổng cộng 300 tỷ token, thì nó có thể đã làm gì khác? Tôi chắc chắn đã cân nhắc ‘có lẽ nó đã hack vào OpenAI theo cách nào đó để lấy nhật ký’ nhưng có quá nhiều khả năng.
Nhanh Lên, Không Còn Thời Gian Đâu
Khi một cựu nhân viên phòng thí nghiệm, ở đây là Andrew Ho, nói rằng ‘Tôi nhận thấy rằng trong khung thời gian hơn 3 tháng, tôi không nghĩ năng suất của mình đã tăng hơn 100% hoặc thậm chí có thể không quá 50% vì tôi bị phân tâm’ như một lý do để bi quan, điều đó không hoàn toàn yên tâm ngay cả khi đúng. Hãy tưởng tượng chỉ tăng năng suất 50% mỗi ba tháng và nghĩ rằng điều này là bi quan.
Anh ấy đang nói ‘ngay cả khi AGI cuối cùng có thể đạt được, điều này ngụ ý một dòng thời gian dài hơn đáng kể’ vào cùng ngày Greg Brockman nói ‘chào mừng đến với kỷ nguyên AGI.’
Thêm vào đó, mức độ tiến bộ toán học này không được mong đợi chỉ vài tuần trước.
Mỗi khi một trong những vấn đề này sụp đổ, mọi người cố gắng sửa đổi lịch sử để nó trông không quá ngạc nhiên. Họ thường sai. Không, hầu hết mọi người, ngay cả hầu hết các nhà dự báo, đã không cho rằng điều này sẽ xảy ra. Có lẽ bạn đã nghĩ vậy. Dù sao thì, bạn rất thông minh.
Henry Shevlin : Ngay cả vào tháng 4 năm nay, các thị trường dự đoán chỉ cho AI ít hơn 40% cơ hội giải quyết bất kỳ Vấn đề Giải thưởng Thiên niên kỷ nào trước năm 2030
