Hồi tháng 2, việc dùng Codex để xây mô hình LEGO cần một kỹ năng tùy chỉnh, hướng dẫn phức tạp và hàng giờ lặp đi lặp lại. Kết quả vẫn không tốt. Tôi đã nghĩ rằng các mô hình không giỏi việc này.
Với GPT-6 Astra, tôi cho nó quyền truy cập vào BrickLink Studio và yêu cầu xây Cổng Vàng. Khoảng mười phút sau, tôi đã có phiên bản đầu tiên, hoàn chỉnh với những chiếc xe nhỏ trên đường. Tôi tiếp tục cải tiến nó sau đó.
Những trải nghiệm như vậy khiến tôi xem xét lại cách mình sử dụng Codex: ứng dụng nào tôi cho nó dùng, tôi chỉ định chi tiết đến đâu, và một tác vụ cần bao nhiêu suy luận. Dưới đây là năm điều tôi học được từ việc sử dụng Astra.
1. Astra có thể sử dụng tất cả ứng dụng của bạn (đôi khi, tốt hơn cả bạn) 2. Astra đảm nhận nhiều hơn việc tư duy sản phẩm 3. Astra xuất sắc với Blender 4. Astra không cần Max để gây ấn tượng 5. Astra liên tục kiểm tra lại công việc của mình
1. Astra có thể sử dụng tất cả ứng dụng của bạn (đôi khi, tốt hơn cả bạn)
Hãy quay lại cây cầu LEGO đó. Tôi đã thấy Astra làm việc trong các ứng dụng khác, vì vậy tôi muốn xem nó xử lý BrickLink Studio, ứng dụng thiết kế mô hình LEGO kỹ thuật số, như thế nào.
Tôi đưa ra một yêu cầu đơn giản:
Prompt: "Sử dụng Studio để xây cầu Cổng Vàng bằng lego"
Đây là phiên bản đầu tiên:
Cây cầu đầu tiên, được render sau đó với ánh sáng studio.
Nó thậm chí còn thêm những chiếc xe nhỏ.
Astra đã tìm ra những bộ phận nào có sẵn trong thư viện tích hợp của Studio, sử dụng Python để lắp ráp mô hình, sau đó mở nó trong Studio để kiểm tra và lặp lại.
Điều làm tôi ngạc nhiên là cách nó kết hợp mã và ứng dụng một cách tự nhiên. Nó đủ nhanh để tôi bắt đầu đặt câu hỏi liệu tự mình làm tác vụ đó có thực sự nhanh hơn không.
Nó cũng khiến tôi xem xét lại các kỹ năng chúng tôi đã xây dựng cho các mô hình trước đó. Khi chúng tôi để Astra chỉnh sửa video cho buổi ra mắt, một số kỹ năng cũ đã cản trở nó. Một thiết lập đơn giản hơn, không có kỹ năng chỉnh sửa video, hoạt động tốt hơn cho tác vụ đó.
Nếu bạn có một kỹ năng được xây dựng xoay quanh điều mà mô hình cũ không thể làm, hãy thử tác vụ đó mà không có nó và xem liệu bạn có còn cần nó không.
Khả năng sử dụng máy tính cũng cho phép Astra kết nối công việc giữa các ứng dụng. Nó có thể tạo ra thứ gì đó ở một nơi, kiểm tra nó ở nơi khác và kết hợp các mảnh lại với nhau. Việc cho nó quyền truy cập đó đã giúp nó xác minh công việc của chính mình và hoàn thành nhiều hơn tác vụ.
Vì vậy, hãy nghĩ về ứng dụng nào bạn sẽ sử dụng cho công việc và cho Astra quyền truy cập vào ứng dụng đó. Đó có thể là Bricklink Studio cho LEGO, Blender cho 3D, hoặc DaVinci Resolve hoặc một trình chỉnh sửa tương tự cho video. Nó không cần phải thực hiện tất cả công việc video qua FFmpeg nếu có một ứng dụng chuyên dụng có thể giúp ích.
Mẹo: Hãy cho Astra các ứng dụng bạn sẽ dùng cho công việc và thử trước mà không có kỹ năng bổ sung. Nó có thể cần ít hướng dẫn hơn bạn nghĩ.
2. Astra đảm nhận nhiều hơn việc tư duy sản phẩm
Trong một bài kiểm tra, tôi muốn xây dựng Thumbnail Studio để giúp tạo tài sản sáng tạo. Tôi đã nhanh chóng nói lan man qua một số ý tưởng và tham khảo các cuộc trò chuyện với đồng nghiệp. Astra đã tìm ra rất nhiều tương tác chi tiết mà bạn mong đợi từ một trình chỉnh sửa hình ảnh trong trình duyệt, bao gồm ⌘-Z và các phím tắt quen thuộc khác, các lớp và khả năng ẩn chúng. Tôi không cần phải mô tả chi tiết như trước đây.
Prompt tôi đưa ra và phiên bản đầu tiên nó xây dựng.
Thumbnail Studio sau khi lặp lại nhiều hơn.
Sau đó, tôi yêu cầu một chế độ Phản hồi Sản phẩm và một tính năng tự động hóa để kiểm tra, xếp hạng và triển khai phản hồi. Điều làm tôi ngạc nhiên là cách Astra suy nghĩ thấu đáo về giao diện phản hồi. Tôi có thể đánh dấu các phần của ứng dụng, ghim nhận xét vào chúng, đặt mức độ ưu tiên, chỉnh sửa phản hồi và đánh dấu là đã giải quyết. Tôi đã không mô tả bất kỳ tương tác nào trong số đó một cách chi tiết.
Prompt tôi đưa ra và chế độ phản hồi nó xây dựng.
Tôi có thể nhanh chóng giao một tác vụ cho một khả năng tôi muốn, và Astra sẽ xử lý trải nghiệm sẽ trông như thế nào. Điều đó giúp tôi dễ dàng hơn nhiều trong việc xây dựng phần mềm cá nhân hóa. Tôi có thể phản ứng với những gì nó xây dựng thay vì lên kế hoạch cho mọi tương tác trước khi bắt đầu.
Các hoạt ảnh trong bài viết WebMCP của tôi và trong bài viết này là một ví dụ khác. Tôi thích hoạt ảnh của Nick Baumann trên X, vì vậy tôi đã đưa cho Astra một Appshot về nó, bài viết tôi đang viết và quyền truy cập vào cơ sở mã Codex. Appshot bao gồm ảnh chụp màn hình và ngữ cảnh từ ứng dụng.
Codex đã đọc bài viết, hiểu bản demo 3D tôi đang đề cập và tái tạo một giao diện 3D hoàn chỉnh mà nó có thể tạo hoạt ảnh. Nó đã suy nghĩ về bố cục, góc máy quay và văn bản giải thích những gì đang xảy ra. Sau đó, nó xây dựng cho tôi một công cụ xem trước nhỏ, nơi tôi có thể phát, tạm dừng, lặp lại hoạt ảnh và xem nó từ các góc độ khác nhau.
Tôi đã không yêu cầu công cụ xem trước đó, nhưng nó giúp việc lặp lại dễ dàng hơn nhiều. Tôi có thể đưa ra phản hồi chi tiết bằng công cụ Chú thích trong trình duyệt trong ứng dụng.
Công cụ xem trước, hoạt ảnh đầu tiên và phiên bản tôi đã xuất bản.
Trong một số trường hợp, hành vi này có thể phản tác dụng với bạn, nếu bạn có những điều rất cụ thể trong đầu, hãy đảm bảo bạn mô tả rõ ràng kỳ vọng của mình.
Tôi cũng dành ít thời gian hơn để chuẩn bị mọi thứ mô hình cần trước khi yêu cầu nó làm gì đó. Để thực hiện so sánh ở trên, tôi yêu cầu Astra xem lại cuộc trò chuyện cũ và khôi phục phiên bản trước đó của hoạt ảnh, tìm một bản ghi màn hình ở đâu đó trên màn hình của tôi và lấy hoạt ảnh cuối cùng từ bài viết X.
Nó đã tìm thấy các mảnh và kết hợp chúng thành một video mà không cần tôi phải chỉ đường cho từng tệp. Tôi có thể mô tả kết quả tôi muốn và để nó tự tìm cách kết hợp mọi thứ lại với nhau.
Khi tôi yêu cầu một trang web để trưng bày các mô hình LEGO của nó, tôi muốn mọi người có thể xem chúng ở dạng 3D và tải xuống các tệp xây dựng. Astra cũng đã thêm một giao diện để tải lên nhiều mô hình hơn. Nó đã chặn giao diện đó bằng Đăng nhập với ChatGPT để chỉ tôi mới có thể sử dụng nó với tư cách quản trị viên.
Tôi vẫn cần biết mình muốn gì và đưa ra hướng đi để tận dụng tối đa Astra. Đối với trang trưng bày, tôi đã đưa cho nó nhiều ví dụ hơn và yêu cầu các hành tinh quay tương tác để có được chủ đề không gian mà tôi đã nghĩ. Nhưng tôi không cần phải quá chi tiết về mọi tính năng. Các tài liệu tham khảo tôi đưa ra càng tốt, Astra càng làm tôi ngạc nhiên với cách nó suy nghĩ cẩn thận về trải nghiệm.
Mẹo: Bạn không cần phải mô tả mọi tương tác ngay từ đầu. Hãy đưa cho Astra ý tưởng và một vài tài liệu tham khảo tốt, nếu bạn muốn nó hoạt động hẹp, hãy nói rõ các yêu cầu, sau đó tinh chỉnh trải nghiệm nó xây dựng.
3. Astra xuất sắc với Blender
Nhóm của chúng tôi đã bị ấn tượng bởi trải nghiệm 3D mà Astra có thể xây dựng với Three.js hoặc thậm chí WebGL thô. Nhưng một điều nổi bật là nó có thể sử dụng Blender tốt như thế nào, cả qua sử dụng máy tính và dòng lệnh. Ngay cả khi kết quả cuối cùng thuộc về trình duyệt, tôi thấy hữu ích khi để Astra xây dựng các phần của nó trong Blender.
Để kiểm tra điều đó, tôi đã đưa cho nó mười bức ảnh chụp nhanh về một quầy bar tại nhà và yêu cầu nó xây dựng lại căn phòng trong Blender. Tôi không đưa ra bất kỳ số đo nào.
Astra rất tỉ mỉ về tỷ lệ. Nó tìm thấy các vật thể tham chiếu trong ảnh, chẳng hạn như sách cocktail, và sử dụng chúng để ước tính tỷ lệ. Nó mô hình hóa từng vật thể riêng lẻ, kiểm tra chúng riêng biệt, đặt chúng vào cảnh và tiếp tục lặp lại. Nó đã xây dựng căn phòng, đồ nội thất, kệ, chai lọ và ly cốc. Nó thậm chí còn làm đúng chiếc ghế ở góc và những sợi dây ngẫu nhiên trong phòng.
Việc có các vật thể riêng lẻ trong Blender cho phép nó kiểm tra và tinh chỉnh từng phần của cảnh. Tôi tiếp tục lặp lại trên chất liệu và ánh sáng, và tôi có thể mở cảnh và nhìn xung quanh từ các góc độ khác nhau.
Quầy bar tại nhà được xây dựng lại trong Blender từ mười bức ảnh.
Mẹo: Nếu bạn đang làm việc trên một dự án có 3D, hãy yêu cầu Astra sử dụng Blender để có kết quả tốt hơn.
4. Astra không cần Max để gây ấn tượng
Mức độ tôi có thể đạt được với suy luận Nhẹ/Thấp là một trong những điều ngạc nhiên lớn nhất. Với mỗi thế hệ mô hình mới, sự cám dỗ để cố gắng sử dụng mức suy luận cao nhất là rất lớn. Đặc biệt nếu đó là những gì bạn đã sử dụng trước đây.
Trong các thí nghiệm Blender của mình, tôi đã có kết quả từ Astra ở mức Thấp mà tôi thích hơn Sol ở mức Max. Astra cũng rất chu đáo trong việc xác minh công việc của mình bất kể mức suy luận, làm cho suy luận Thấp trở nên cực kỳ mạnh mẽ.
Các thí nghiệm Blender của tôi với Sol ở trên và Astra ở dưới, từ Thấp đến Max.
Nếu bạn đã sử dụng Sol ở mức suy luận cao, đừng cho rằng bạn cũng cần tăng Astra lên. Hãy thử một thứ gì đó như Trung bình trước, sau đó thử nghiệm theo cả hai hướng và xem điều gì phù hợp với tác vụ. Nếu bạn cần thêm cảm hứng so sánh, hãy xem Model Observatory của chúng tôi.
Mẹo: Bắt đầu với suy luận Nhẹ/Thấp hoặc Trung bình. Hãy xem những gì bạn nhận được trước khi quyết định bạn cần suy luận nhiều hơn.
5. Astra liên tục kiểm tra lại công việc của mình
Astra có xu hướng kiểm tra xem nó đã thực sự hoàn thành tác vụ chưa. Nếu bạn đang xây dựng một trò chơi, nó có thể bắt đầu chơi thử nó. Yêu cầu nó tối ưu hóa một thứ gì đó và nó có thể thiết lập một môi trường để đo lường xem việc tối ưu hóa có hiệu quả không. Đối với một video, nó có thể kiểm tra từng khung hình riêng lẻ hoặc thậm chí các dạng sóng âm thanh để kiểm tra những gì nó đang làm.
Khi tôi để Astra làm việc trên hình ảnh tiêu đề cho bài viết này, nó đã sử dụng trình duyệt để kiểm tra mã đằng sau trang bài viết trực tiếp của X và xác nhận các yêu cầu về hình ảnh tiêu đề. Nó đã tìm thấy tỷ lệ khung hình 5:2 và ảnh bìa 1200 × 480.
Nó đã kiểm tra mã của trang trực tiếp trước khi xác nhận định dạng tiêu đề.
Điều đó có thể hữu ích, nhưng tôi cần phải rõ ràng về mức độ tôi muốn nó đi. Nếu bạn muốn một nguyên mẫu mà bạn sẽ tự chơi thử, hãy nói điều đó. Nếu bạn muốn nó chơi qua trò chơi và sửa những gì nó tìm thấy, cũng hãy nói điều đó. Đối với một lần kiểm tra cuối cùng, bạn có thể yêu cầu nó thực hiện một lượt kiểm tra mà bạn quan tâm, sau đó báo cáo những gì nó tìm thấy và bất cứ điều gì chưa được giải quyết.
Mẹo: Hãy nói cho Astra biết kết quả hoàn chỉnh sẽ như thế nào, bạn muốn nó xác minh điều gì và khi nào nó nên trả lại công việc.
Hãy thử tác vụ mà bạn đã từ bỏ
Tôi đã dành hàng giờ để cố gắng bắt Codex xây dựng các mô hình LEGO và nghĩ rằng nó không giỏi việc đó. Với Astra, tôi đã có phiên bản đầu tiên của cây cầu trong khoảng mười phút.
Hãy cho nó các ứng dụng bạn sẽ sử dụng cho công việc và một vài tài liệu tham khảo tốt. Bắt đầu với suy luận Nhẹ hoặc Trung bình. Nói cho nó biết kết quả hoàn chỉnh sẽ như thế nào và bạn muốn nó xác minh điều gì, sau đó xem nó đi được bao xa trước khi thêm hướng dẫn.
Nếu bạn có một tác vụ bạn đã thử với một mô hình cũ và đã từ bỏ, hãy thử lại với Astra.
