Bên trong GPT 6 Astra: Cách thức hoạt động của các Transformer vòng lặp

OpenAI mô tả GPT 6 Astra là mô hình có năng lực và được căn chỉnh tốt nhất từ trước đến nay.

Greg Brockman còn đi xa hơn khi cho rằng sẽ hợp lý nếu coi Astra là một dạng ban đầu của trí tuệ nhân tạo tổng quát.

Mô hình này cũng trở thành mô hình đầu tiên vượt qua ngưỡng Critical của OpenAI về an ninh mạng. Theo công ty, nó có thể phát hiện các lỗ hổng chưa từng được biết đến và xây dựng các khai thác hoạt động với sự hướng dẫn hạn chế từ con người.

Những tuyên bố đó rất ấn tượng, nhưng chúng không phải là phần quan trọng nhất của bản phát hành.

Sự thay đổi thực sự nằm ở kiến trúc.

Một mô hình ngôn ngữ thông thường truyền thông tin qua một chuỗi cố định các khối biến đổi và tạo ra token tiếp theo. Astra có thể xử lý trạng thái nội bộ của mình qua cùng các khối tính toán nhiều lần trước khi hiển thị cho người dùng một từ duy nhất.

Nó không chỉ đơn giản tạo ra một chuỗi suy luận dài hơn.

Nó dành nhiều thời gian hơn để suy nghĩ trước khi trả lời.

1 Cách Các Mô Hình Ngôn Ngữ Hiện Đại Hoạt Động

Hãy tưởng tượng gõ:

Everest là...

Mô hình phải dự đoán điều gì sẽ xảy ra tiếp theo.

Cơ chế chú ý của nó xác định phần nào của ngữ cảnh có liên quan. Từ Everest kích hoạt các khái niệm liên quan như núi, độ cao, dãy Himalaya, Nepal, Tây Tạng, leo núi và thám hiểm.

Mô hình sau đó kết hợp các liên kết đó với ngữ cảnh xung quanh. Trong hầu hết các trường hợp, một phần tiếp theo như ngọn núi cao nhất trên Trái Đất trở nên rất khả thi.

Bên trong một bộ biến đổi thông thường, biểu diễn này di chuyển qua một chuỗi các khối. Mỗi khối biến đổi nó một lần và truyền kết quả cho khối tiếp theo.

Nếu một mô hình chứa 40 khối, trạng thái ẩn di chuyển qua tất cả 40 khối theo trình tự. Biểu diễn cuối cùng được chuyển đổi thành phân phối xác suất cho token tiếp theo.

Nhiều khối hơn thường có nghĩa là độ sâu tính toán lớn hơn. Một mô hình sâu hơn có thể thực hiện nhiều biến đổi hơn trước khi đưa ra câu trả lời.

Nhưng việc thêm các khối cũng làm tăng số lượng tham số, yêu cầu bộ nhớ và chi phí đào tạo.

Giả định thông thường rất đơn giản: nếu bạn muốn một mô hình sâu hơn, bạn cần xây dựng một ngăn xếp các lớp lớn hơn.

Một kiến trúc vòng lặp thay đổi nguyên tắc đó.

2 Kiến Trúc Vòng Lặp Thay Đổi Điều Gì

Theo báo cáo từ The Information, GPT 6 Astra sử dụng kiến trúc bộ biến đổi vòng lặp.

OpenAI chưa công bố thông số kỹ thuật hoàn chỉnh, vì vậy cách triển khai chính xác vẫn là bí mật. Nhưng cơ chế tổng quát đã được hiểu rõ từ các nghiên cứu công khai.

Thay vì gửi trạng thái ẩn qua mọi khối chỉ một lần, mô hình có thể trả kết quả cho một khối tính toán và xử lý lại.

Hãy nghĩ về nó như một bản nháp nội bộ.

Mô hình tạo ra một biểu diễn sơ bộ, gửi nó qua cùng các trọng số một lần nữa, tinh chỉnh nó và lặp lại quá trình nhiều lần. Chỉ sau khi vòng lặp hoàn tất, token hiển thị tiếp theo mới xuất hiện.

Số lượng tham số vẫn giữ nguyên. Các trọng số vẫn nằm trong một khối, khả năng tính toán tăng theo số lượng vòng lặp và chỉ token cuối cùng được phát ra.

Chi tiết quan trọng là số lượng tham số không nhất thiết phải tăng.

Cùng một trọng số được sử dụng lại trong mỗi lần truyền.

Điều tăng lên là lượng tính toán.

Trong một bộ biến đổi thông thường, một token di chuyển qua một chuỗi các khối khác nhau. Trong một bộ biến đổi vòng lặp, nó có thể di chuyển qua cùng một cấu trúc chia sẻ nhiều lần.

Mô hình trở nên sâu hơn thông qua tính toán mà không trở nên lớn hơn thông qua số lượng tham số.

Điều này tạo ra một sự đánh đổi mới:

Nhiều tham số hơn yêu cầu nhiều bộ nhớ hơn
Nhiều vòng lặp hơn yêu cầu nhiều tính toán hơn
Một mô hình có thể dành lượng tính toán khác nhau cho các tác vụ khác nhau

Điểm cuối cùng đặc biệt quan trọng. Độ sâu tính toán có thể thay đổi mà không cần tạo ra một mô hình mới.

3 Cách Đào Tạo Độ Sâu Tái Diễn

Chỉ đơn giản đặt một khối biến đổi bên trong một vòng lặp là chưa đủ.

Nếu một mô hình luôn thực hiện chính xác 32 lần truyền trong quá trình đào tạo, nó có thể học cách phụ thuộc vào vị trí của mỗi bước. Lần truyền đầu tiên có thể học một chức năng, lần thứ mười một chức năng khác và lần thứ ba mươi hai có thể trở thành một lớp đầu ra cố định.

Kết quả sẽ là một mạng 32 lớp thông thường được ngụy trang thành một vòng lặp.

Các nhà nghiên cứu giải quyết vấn đề này bằng cách thay đổi số lượng lần truyền tái diễn trong quá trình đào tạo.

Một trong những minh chứng rõ ràng nhất đến từ mô hình độ sâu tái diễn Huginn. Những người tạo ra nó đã đào tạo một mạng 3,5 tỷ tham số trên khoảng 800 tỷ token.

Tại mỗi bước đào tạo, số lượng vòng lặp được lấy mẫu từ một phân phối có giá trị trung bình gần 32. Một ví dụ có thể nhận bốn lần truyền, một ví dụ khác 17, một ví dụ khác 40 và một ví dụ khác gần 90.

Mô hình không thể biết trước lần truyền nào sẽ là lần cuối cùng.

Do đó, nó phải học một điều gì đó tổng quát hơn một chuỗi các thao tác cố định.

Nó phải học cách cải thiện trạng thái nội bộ hiện tại của mình.

Tóm tắt từ Bài báo về Độ Sâu Tái Diễn trên arXiv

Đào tạo qua hàng chục bước tái diễn tạo ra một vấn đề khác: bộ nhớ.

Phương pháp lan truyền ngược tiêu chuẩn sẽ yêu cầu lưu trữ các kích hoạt trung gian từ mọi vòng lặp. Với đủ số lần lặp, chi phí bộ nhớ trở nên rất lớn.

Các nhà nghiên cứu Huginn đã sử dụng một giải pháp thực tế. Lần truyền xuôi có thể chạy qua nhiều vòng lặp, nhưng gradient chỉ được tính qua tám vòng cuối cùng.

Các lần truyền trước đó vẫn ảnh hưởng đến kết quả cuối cùng, nhưng lịch sử kích hoạt đầy đủ của chúng không phải lưu lại trong bộ nhớ.

Điều này tương tự như phương pháp lan truyền ngược cắt ngắn theo thời gian. Sự khác biệt là sự tái diễn xảy ra qua độ sâu tính toán thay vì qua các từ trong một chuỗi.

Số lượng vòng lặp được lấy mẫu tại mỗi bước đào tạo, trong khi gradient chỉ được tính qua tám lần truyền cuối cùng.

Mô hình không được dạy để thực hiện một chuỗi cứng nhắc gồm 32 thao tác.

Nó được dạy để di chuyển trạng thái ẩn của mình về phía một câu trả lời hữu ích bất kể quá trình bị dừng lại khi nào.

Điều đó thay đổi ý nghĩa của độ sâu.

Độ sâu không còn chỉ là một thuộc tính do các kỹ sư chọn trước khi đào tạo. Nó có thể trở thành một biến số trong quá trình suy luận.

4 Tính Toán Thích Ứng Trong Quá Trình Suy Luận

Hầu hết các cơ chế kiểm soát suy luận hiện tại hoạt động ở cấp độ token hiển thị.

Nếu một mô hình được yêu cầu suy nghĩ lâu hơn, nó tạo ra một chuỗi suy luận dài hơn, sử dụng nhiều token đầu ra hơn hoặc tạo thêm văn bản trung gian.

Một kiến trúc vòng lặp cung cấp một cơ chế khác.

Số lượng lần truyền nội bộ có thể thay đổi mà không cần sửa đổi trọng số và không buộc mô hình phải viết một lời giải thích dài hơn.

Một tác vụ đơn giản có thể nhận bốn vòng lặp.

Một chứng minh toán học khó có thể nhận 32.

Một vấn đề lập trình phức tạp có thể nhận 64.

Mô hình vẫn giữ nguyên. Chỉ có lượng tính toán nội bộ thay đổi.

Các trọng số vẫn cố định. Chỉ có số lượng lần truyền nội bộ được sử dụng để xử lý mỗi token thay đổi.

Các thí nghiệm về độ sâu tái diễn công khai đã cho thấy mô hình dự kiến.

Hiệu suất cải thiện nhanh chóng trong các vòng lặp đầu tiên. Sau đó, mức tăng trở nên nhỏ hơn cho đến khi các đường cong tiến đến một điểm bão hòa.

Điều này cho thấy trạng thái ẩn đang hội tụ.

Các lần truyền đầu tiên thực hiện các hiệu chỉnh lớn. Các lần truyền sau tinh chỉnh các chi tiết nhỏ hơn. Cuối cùng, tính toán bổ sung ngừng tạo ra các cải thiện có ý nghĩa.

Một hệ thống trong tương lai có thể phát hiện thời điểm đó một cách tự động.

Thay vì gán cho mọi lời nhắc một số vòng lặp cố định, mô hình có thể tiếp tục xử lý cho đến khi trạng thái ẩn của nó trở nên đủ ổn định. Các token dễ sẽ rẻ. Các token khó sẽ nhận được nhiều tính toán hơn.

Điều đó sẽ tạo ra độ sâu tính toán thích ứng thực sự.

Suy nghĩ lâu hơn sẽ không còn có nghĩa là viết nhiều hơn.

5 Nghiên Cứu và Kết Quả Thực Tế Ban Đầu

Việc sử dụng lại các lớp biến đổi không phải là một ý tưởng mới.

Universal Transformers đã giới thiệu xử lý tái diễn vào năm 2018. ALBERT giảm số lượng tham số bằng cách chia sẻ trọng số qua các lớp. Mixture of Recursions khám phá việc định tuyến token qua các lượng tính toán khác nhau.

Mô hình mở Nanbeige4.2 3B cung cấp một ví dụ đặc biệt trực tiếp.

Cấu hình của nó chứa 22 lớp và num_loops: 2. Trên thực tế, mô hình đi qua các lớp đó hai lần. Nó có số lượng tham số xấp xỉ của một mạng 22 lớp nhưng có độ sâu tính toán xấp xỉ của một mạng 44 lớp.

Cấu hình Nanbeige4.2 3B trên Hugging Face

Hai mươi hai lớp, num_loops: 2 và giấy phép Apache 2.0. Cơ chế này đã có thể thấy trong một cấu hình mô hình mở.

Trong nhiều năm, các thiết kế bộ biến đổi tái diễn vẫn là những ý tưởng nghiên cứu thú vị hơn là cách tiếp cận chủ đạo.

Thành phần còn thiếu là bằng chứng mở rộng quy mô mạnh mẽ.

Vào ngày 1 tháng 9, một nhóm các nhà nghiên cứu đã công bố SMELT, một nghiên cứu được thiết kế để so sánh các bộ biến đổi vòng lặp và thông thường trong các điều kiện tương đương.

Họ kiểm soát số lượng tham số, tính toán đào tạo và kích thước bộ nhớ đệm KV. Trong các ràng buộc đó, các mô hình vòng lặp yêu cầu ít hơn 6,8% đến 18% tính toán đào tạo để đạt cùng mức hiệu suất.

Mức tăng lớn nhất xuất hiện trên mã nguồn.

Tóm tắt từ Bài báo SMELT trên arXiv

Với tính toán, tham số và bộ nhớ đệm KV được khớp, vòng lặp tiết kiệm 6,8% đến 18% tính toán đào tạo, với mức tăng mạnh nhất trên mã nguồn.

Các nhà nghiên cứu cũng quan sát thấy một sự thay đổi trong hành vi chú ý.

Trong các bộ biến đổi thông thường, các token đầu tiên trong một chuỗi thường trở thành bồn chứa sự chú ý. Chúng nhận được một lượng sự chú ý không cân xứng ngay cả khi tầm quan trọng ngữ nghĩa của chúng bị hạn chế.

Sau lần truyền thứ hai qua cùng các khối, sự chú ý của mô hình chuyển sang các token có liên quan hơn.

Vòng lặp thứ hai không chỉ đơn giản lặp lại vòng lặp thứ nhất. Nó sử dụng kết quả của lần truyền đầu tiên làm nền tảng cho xử lý có chọn lọc hơn.

SMELT không chứng minh rằng mọi mô hình trong tương lai nên là tái diễn. Nó cho thấy rằng vòng lặp vẫn cạnh tranh sau khi các điều kiện thí nghiệm chính được khớp.

Câu hỏi không còn là liệu độ sâu tái diễn có thể hoạt động hay không.

Câu hỏi là nó có thể mở rộng đến đâu.

6 Khả Năng Giải Thích và Kiểm Soát

Cùng một đặc điểm kiến trúc làm cho các vòng lặp trở nên hấp dẫn cũng làm phức tạp việc giám sát mô hình.

Với suy luận chuỗi suy nghĩ rõ ràng, ít nhất một số bước trung gian xuất hiện dưới dạng văn bản có thể đọc được. Các nhà nghiên cứu có thể kiểm tra chúng, tìm kiếm các mô hình đáng ngờ và so sánh suy luận được nêu với câu trả lời cuối cùng.

Một mô hình tái diễn có thể thực hiện nhiều xử lý hơn bên trong các kích hoạt ẩn mà không tạo ra bất kỳ văn bản nào.

Buck Shlegeris và Ryan Greenblatt đã lập luận rằng điều này có thể làm giảm tính hữu ích của việc giám sát chuỗi suy nghĩ. Nếu nhiều xử lý hơn chuyển vào tính toán ẩn, lời giải thích hiển thị có thể tiết lộ ít hơn về cách mô hình đạt được kết quả của nó.

Sebastian Raschka đưa ra một quan điểm phản biện quan trọng.

Việc sử dụng lại trọng số không tự động tạo ra nhận thức bí mật hoặc không thể tiếp cận. Các kích hoạt nội bộ vẫn có thể được nghiên cứu bằng các công cụ giải thích. Sự khác biệt chính là mô hình có thể cần ít token trung gian hiển thị hơn vì nhiều tính toán hơn xảy ra trước khi quá trình tạo bắt đầu.

Giám đốc Khoa học của OpenAI, Jakub Pachocki, cũng đã nói rằng đồ thị tính toán của Astra vẫn nằm trong khoảng gấp đôi độ sâu của GPT 4 và vòng lặp đã được giới hạn một cách có chủ ý để bảo toàn khả năng giám sát.

Điều đó cho thấy một triển khai hạn chế hơn là một quá trình tái diễn không giới hạn.

Một chuỗi suy nghĩ không được đảm bảo là một bản ghi trung thực về tính toán nội bộ của mô hình ngay từ đầu. Hệ thống được thưởng vì tạo ra các câu trả lời hữu ích, không phải vì cung cấp một báo cáo chính xác về mặt khoa học của mọi thao tác ẩn.

Nghiên cứu liên quan đến OpenAI, Anthropic và Google DeepMind cho thấy rằng lời giải thích của một mô hình có thể bỏ qua các yếu tố quan trọng, hợp lý hóa một quyết định sau khi thực tế hoặc trình bày một con đường sạch hơn con đường thực sự ảnh hưởng đến kết quả.

Một kiến trúc vòng lặp làm cho sự khác biệt này khó bỏ qua hơn.

Suy luận hiển thị có thể là một giao diện.

Tính toán chính có thể xảy ra bên trong mô hình trước khi bất kỳ văn bản nào xuất hiện.

7 Kết Quả GPT 6 Astra

Kết quả điểm chuẩn ngoạn mục nhất của GPT 6 Astra là điểm số 99,9% trên ARC AGI 3.

Con số đó nghe gần như cuối cùng, nhưng nó phụ thuộc rất nhiều vào cách bài kiểm tra được thực hiện.

Simon Willison nhấn mạnh rằng kết quả 99,9% đến từ bộ khung Provider Adapter tùy chỉnh của OpenAI. Dưới bộ khung ARC Prize tiêu chuẩn, cùng một mô hình đạt 62,7%.

Mô hình không thay đổi.

Môi trường đánh giá đã thay đổi.

Cùng một mô hình tạo ra hai điểm số khác nhau với hai chi phí chạy khác nhau.

Chi phí chạy của OpenAI khoảng 19.000 đô la. Chi phí chạy tiêu chuẩn khoảng 26.000 đô la.

Điểm số cao hơn đáng kể cũng được tạo ra bởi thiết lập rẻ hơn.

Điều đó không nhất thiết làm cho kết quả không hợp lệ. Một bộ chuyển đổi tùy chỉnh có thể tương tác với mô hình hiệu quả hơn hoặc tiết lộ các khả năng mà một khung đánh giá chung bỏ sót.

Nhưng con số tiêu đề không thể được diễn giải một cách riêng rẽ với các điều kiện đã tạo ra nó.

GPT 6 Astra trên ARC AGI 3

Một mô hình, hai bộ khung đánh giá và khoảng cách 37,2 điểm phần trăm.

Các đánh giá khác ít ấn tượng hơn.

Trên Chỉ số Trí tuệ Phân tích Nhân tạo, Astra đạt điểm xấp xỉ ngang bằng với GPT 5.6 Sol và thấp hơn khoảng năm điểm so với Claude Fable 5.1.

Lợi thế thực tế hơn của nó có thể là hiệu quả trên các tác vụ tác nhân, nơi nó có thể đạt hiệu suất cạnh tranh với chi phí thấp hơn.

Các điểm chuẩn cho thấy một mô hình có thể đạt được điều gì. Kiến trúc giúp giải thích những khả năng đó đến từ đâu và chúng có thể phát triển như thế nào.

8 Điều Này Có Ý Nghĩa Gì Đối Với Tương Lai Của AI

Trong nhiều năm, việc mở rộng quy mô mô hình ngôn ngữ chủ yếu có nghĩa là thêm tham số, thêm dữ liệu và xây dựng các ngăn xếp cố định lớn hơn của các khối biến đổi.

Mỗi thế hệ mới trở nên lớn hơn, đắt hơn và đòi hỏi nhiều hơn để chạy.

GPT 6 Astra chỉ ra một con đường khác.

Một mô hình có thể sử dụng lại cùng các tham số, phân bổ nhiều tính toán hơn cho các tác vụ khó và tinh chỉnh biểu diễn nội bộ của nó trước khi tạo ra từ đầu tiên.

Điều này tách biệt kích thước mô hình khỏi độ sâu suy luận của nó.

Thay vì tuân theo một con đường tính toán cố định, hệ thống có thể điều chỉnh lượng công việc theo độ khó của một vấn đề cụ thể.

Điều đó có thể thay đổi cả hiệu suất mô hình và kinh tế của việc sử dụng AI. Cùng một trí thông minh có thể hoạt động ở chế độ nhanh và rẻ cho các yêu cầu đơn giản, sau đó tăng độ sâu tính toán khi một tác vụ thực sự yêu cầu nhiều suy luận hơn.

Sự tái diễn đang quay trở lại với các mô hình ngôn ngữ. Lần này, nó hoạt động không chủ yếu giữa các từ, mà bên trong quá trình tạo ra chúng.

Thế hệ hệ thống tiếp theo có thể không trở nên mạnh mẽ hơn chỉ vì chúng chứa nhiều tham số hơn.

Lợi thế xác định của chúng có thể là biết khi nào một câu trả lời tốt đã được tìm thấy và khi nào đáng để đi vòng quanh vòng lặp nội bộ thêm một lần nữa.

Cách GPT 6 Astra thực sự tư duy