Một video có thể là điểm khởi đầu cho một thế giới mà bạn có thể thay đổi. Hãy đưa đoạn tham chiếu cho một coding agent, để nó phân tích từng khung hình và yêu cầu nó tái dựng lại cảnh đó dưới dạng code procedural. Sau đó, bạn có thể thay đổi góc máy, ánh sáng, vật liệu hoặc chuyển động và render lại.
Đó chính là ý tưởng đằng sau Video 2 GLSL, quy trình từ tham chiếu đến shader mà tôi đang phát triển xoay quanh shader-skills. Điều thú vị nhất là phần lớn quy trình này có thể được áp dụng lại cho video tiếp theo.
https://x.com/gokayfem/status/2111907592129671505
Hai mảnh ghép hoạt động cùng nhau
shader-skills cung cấp cho các coding agent một thư viện gồm các kỹ thuật đồ họa, ví dụ thực tế và một quy trình để xây dựng cũng như kiểm tra các shader procedural. Video 2 GLSL bổ sung thêm một tác vụ dựa trên tham chiếu: nghiên cứu một đoạn clip, rút ra bản đặc tả, dựng cảnh, rồi so sánh kết quả với clip gốc.
Skill này hỗ trợ Claude Code, Codex, Cursor, Gemini và các coding agent khác. Các thành phần có thể tái sử dụng của nó bao gồm hình khối, noise, vật liệu, địa hình, công trình kiến trúc, mặt nước, mây, ánh sáng và màu sắc. Bạn có thể dùng chúng cho một cảnh hoàn toàn mới, một thử nghiệm tương tác hoặc để tái tạo lại một video.
Đối với mục tiêu Video 2 GLSL độc lập, sản phẩm đầu ra là một fragment shader duy nhất tương thích với Shadertoy. Hình học được mô tả bằng toán học, bề mặt mang tính procedural và hoạt ảnh được điều khiển bởi thời gian. Video tham chiếu cung cấp bản đặc tả về mặt thị giác; các khung hình của nó không được phát lại bên trong shader.
Bắt đầu bằng việc biến video thành bản đặc tả
Bước đầu tiên là trích xuất khung hình một cách đáng tin cậy. Một URL hoặc tên file video cung cấp rất ít thông tin để agent làm việc. Nó cần phải xem xét những gì thực sự xuất hiện và cách chúng thay đổi theo thời gian.
Prompt có thể tái sử dụng sẽ yêu cầu tạo một file REFERENCE.md trước khi viết code dựng cảnh: các thông tin về clip, timeline của cú máy, danh sách đối tượng, tỷ lệ chủ thể, chuyển động, khung hình camera, ánh sáng và bảng màu được lấy mẫu. Nó cũng yêu cầu agent chỉ ra những gì không thể tái tạo chính xác và đề xuất phương án thay thế để chờ phê duyệt.
Các quan sát sẽ thay đổi tùy theo từng clip. Một cảnh quay nhân vật cần chú ý đến điểm tiếp xúc, sải bước và chuyển động phụ. Một cảnh kiến trúc cần tỷ lệ, phối cảnh và đường di chuyển của camera. Một cảnh mặt nước cần tập trung vào chuyển động bề mặt, phản xạ và độ sâu. Cùng một quy trình phân tích đó sẽ mang lại cho mỗi loại cảnh một điểm khởi đầu cụ thể.
Cung cấp cho agent các khối dựng đồ họa đã được kiểm thử
Một công thức trông có vẻ hợp lý vẫn có thể tạo ra distance field không an toàn, noise thiếu ổn định hoặc màu sắc sai lệch. Những lỗi này càng khó cô lập hơn khi chúng nằm lẫn trong một cảnh lớn.
shader-skills hiện bao gồm 186 hàm trải dài trên 20 module GLSL. Agent có thể tìm kiếm một kỹ thuật, gọi hàm thư viện theo tên và sử dụng bundler để gộp các dependency vào một shader hoàn chỉnh duy nhất.
Thư viện bao gồm các signed distance function cho hình khối, các toán tử để kết hợp chúng, noise và pattern procedural, các hàm hỗ trợ raymarching, shading, bầu khí quyển và biến đổi màu sắc. Các template minh họa cách những thành phần này phối hợp với nhau trong các cảnh hoàn chỉnh.
Quá trình kiểm định bao gồm việc biên dịch trong WebGL2 và các thuộc tính số học trên GPU: dấu và giới hạn của distance-field, đạo hàm của noise, vòng lặp màu (color round trips) và các hành vi có thể kiểm tra khác. Các ví dụ đã render giúp bổ sung thêm khâu kiểm tra trực quan. Những bài kiểm tra này giúp các thành phần trở nên đáng tin cậy hơn; tuy nhiên, cảnh cuối cùng vẫn cần được rà soát kỹ lưỡng.
Xây dựng vòng lặp phản hồi xung quanh renderer
Quy trình làm việc đi qua các giai đoạn: blockout và căn chỉnh thời gian, chuyển động, chi tiết chủ thể, chi tiết môi trường, ánh sáng và màu sắc, đối chiếu tham chiếu, và hiệu năng. Mỗi cột mốc đều tạo ra một thứ gì đó hữu hình để đánh giá.
Video tham chiếu và bản render nên được so sánh ở cùng một thời điểm và khung hình. Dùng toàn bộ khung hình để đánh giá bố cục, dùng ảnh cắt để kiểm tra hình dáng đối tượng và vật liệu, và dùng chuỗi khung hình để đánh giá chuyển động. Một bức ảnh tĩnh đẹp mắt có thể che giấu lỗi trượt chân, cú nhảy camera đột ngột hoặc một tương tác xảy ra quá sớm.
Prompt yêu cầu việc đánh giá phải được lặp lại nhiều lần: xác định năm điểm khác biệt lớn nhất, khắc phục chúng và render lại. Các phép đo lường sẽ hỗ trợ quá trình rà soát này. Kích thước chủ thể và vị trí đường chân trời giúp chẩn đoán lỗi camera; màu sắc lấy mẫu giúp đánh giá color grading; các probe chuyển động giúp phát hiện sự đứt gãy.
Tốc độ lặp lại đóng vai trò then chốt ở đây. Bản preview độ phân giải thấp và chế độ xem đối tượng riêng lẻ cho phép bạn điều chỉnh tỷ lệ trước khi bắt tay vào những bản render tốn kém. Hãy kiểm tra silhouette và tỷ lệ đối tượng trước khi trau chuốt vật liệu và ánh sáng.
Chia nhỏ các cảnh phức tạp theo trách nhiệm
Những cảnh lớn có thể hưởng lợi từ việc giao cho nhiều agent xử lý các phần riêng biệt: chủ thể, môi trường, đạo cụ, chuyển động hoặc ánh sáng. Việc phân chia nên dựa trên nhu cầu thực tế của cảnh.
Các interface dùng chung giúp đảm bảo tính tương thích giữa các phần công việc. Hãy thống nhất về tỷ lệ, tọa độ, thời gian và mã định danh vật liệu, giao cho mỗi agent quyền quản lý file của riêng mình và yêu cầu cung cấp bằng chứng từ các bản render thực tế. Một orchestrator có thể tích hợp các phần lại và đánh giá hình ảnh tổng thể so với bản tham chiếu.
Bài học có thể tái sử dụng ở đây chính là cấu trúc đánh giá: luôn phải có người đánh giá toàn bộ cảnh quay. Một tòa nhà chi tiết hay một nhân vật chân thực vẫn có thể bị đặt sai chỗ trong tổng thể bố cục.
Những gì các thử nghiệm đã chứng minh
Công việc cho đến nay bao gồm một chuỗi cảnh đảo bay lơ lửng với các hành động thay đổi liên tục, một chuỗi cảnh ngôi làng có sự tương tác và một vòng lặp con phố vô tận. Yêu cầu của chúng rất khác nhau: thời điểm diễn ra sự kiện, các điểm tiếp xúc cố định, chuyển cảnh camera và sự lặp lại chính xác — mỗi yếu tố đòi hỏi một logic dựng cảnh riêng. Mức độ hoàn thiện và chất lượng hình ảnh của chúng cũng không đồng đều.
Dù vậy, xuyên suốt tất cả, cùng một quy trình vẫn tỏ ra hữu ích: trích xuất, đo lường, lắp ráp, render, so sánh và hiệu chỉnh. Repo cũng chứa các ví dụ procedural về thành phố, địa hình và mặt nước, trong khi các thử nghiệm tương tác riêng biệt khám phá những hình thái hữu cơ và hình ảnh hố đen.
Điều gì có thể chỉnh sửa và điều gì vẫn còn bỏ ngỏ
Khi một cảnh đã tồn tại dưới dạng code, bạn có thể mở ra các control cho vị trí camera, hướng ánh sáng, bảng màu, thời gian và chi tiết procedural. Thử nghiệm con phố đã chứng minh khả năng tạo ra các góc máy thay thế từ cùng một bối cảnh đã dựng.
Những góc máy mới đó cũng bộc lộ giới hạn của việc tái dựng. Một bản tham chiếu chỉ cho thấy một phần của thế giới. Các bề mặt bị khuất buộc phải được suy luận, và một video do AI tạo ra có thể chứa hình học biến đổi liên tục hoặc chuyển động thiếu nhất quán. Việc khớp hoàn hảo từ một góc nhìn không đồng nghĩa với việc ta đã có một cảnh hoàn chỉnh và chính xác.
Hiệu năng là một kết quả phụ thuộc vào từng cảnh cụ thể. Hình học raymarched chi tiết, thảm thực vật, bóng đổ và phản xạ có thể rất ngốn tài nguyên. Hãy đo thời gian render từng khung hình trên máy mục tiêu, kiểm tra ở nhiều thời điểm khác nhau trong cảnh quay và báo cáo những mục tiêu chưa đạt được song song với các khác biệt về mặt thị giác còn sót lại.
Video 2 GLSL là một quy trình sáng tạo nội dung có thể tái sử dụng. Độ tin cậy của nó trên các nguồn footage ngẫu nhiên vẫn cần được đánh giá rộng rãi hơn. Công việc hiện tại mang lại cho chúng ta vài thử nghiệm cụ thể và một phương pháp chung để tiếp tục cải tiến.
Thử ngay với bản tham chiếu của bạn
Với Claude Code, hãy thêm marketplace và cài đặt plugin:
claude plugin marketplace add gokayfem/shader-skills
claude plugin install shader-skills@shader-skills
Với các agent được hỗ trợ khác:
npx skills add gokayfem/shader-skills
Hãy sử dụng prompts/video-to-shader-prompt.md, cung cấp một clip tham chiếu, tên file đầu ra và máy mục tiêu, đồng thời chỉ rõ những gì bắt buộc phải giữ lại hoặc có thể bỏ qua. Hãy xem lại bản phân tích trước khi bắt tay vào triển khai.
Tôi muốn tiếp tục thúc đẩy dự án này hướng tới một phương pháp đáng tin cậy để biến các tham chiếu thị giác thành những cảnh procedural có thể chỉnh sửa. Mỗi lần tái dựng nên để lại những công cụ tốt hơn, bài kiểm tra tốt hơn và các kỹ thuật mà lần tiếp theo có thể tái sử dụng.
Repository: github.com/gokayfem/shader-skills
