Hypit là gì?
Hypit là một dự án mã nguồn mở cho phép các AI Agent tạo video. Bạn cung cấp video tham chiếu, hình ảnh nhân vật và yêu cầu cho Codex, sau đó Agent có thể sử dụng Hypit để tổ chức việc tạo tài nguyên, chỉnh sửa, phụ đề và hiệu ứng hình trong hình (picture-in-picture), cuối cùng xuất ra video hoàn chỉnh.
Nó cũng lưu lại một tệp dự án có thể chỉnh sửa được. Nếu bạn muốn thay đổi phụ đề hoặc điều chỉnh hiệu ứng hình trong hình sau này, bạn có thể tái sử dụng các tài nguyên đã tạo và tiếp tục chỉnh sửa chúng.
Địa chỉ mã nguồn mở: hypit-ai/hypit
Trước tiên, hãy xem thành phẩm. Bên trái là video gốc của "Chao Ge Shuo Che" (Anh Chao Nói Về Xe), còn bên phải là bản sao của tôi sử dụng nhân vật "Han Li".
Video này được thực hiện bằng API Minimax H3 của riêng tôi. Nếu bạn sử dụng API chính thức hoặc SeedDance, kết quả sẽ còn tốt hơn nữa.
Dưới đây, chúng ta sẽ bắt đầu từ khâu cài đặt và đi qua toàn bộ quy trình vận hành một cách chi tiết. Việc cấu hình mô hình có hai hướng: sử dụng dịch vụ tích hợp sẵn nếu bạn có tín dụng Hypit, hoặc kết nối API của riêng bạn nếu không có. Ví dụ này thực tế tuân theo hướng sử dụng API tự sở hữu.
- Làm rõ vai trò: Hypit, Codex và các Mô hình Tạo sinh đảm nhiệm những công việc gì?
Chúng ta cần làm rõ trách nhiệm cụ thể của từng công đoạn trong quy trình để tránh nhầm lẫn:
- Vai trò của Codex: Là trợ lý thực thi mã và kỹ thuật, Codex phân tích các yêu cầu bằng ngôn ngữ tự nhiên từ người dùng, kiểm tra và cấu hình môi trường phát triển cục bộ, đọc và phân rã cấu trúc kịch bản phân cảnh (storyboard) của video tham chiếu, tạo và sửa đổi các tệp mã nguồn dự án, đồng thời tổ chức các lệnh gọi đến các engine nền tảng để hoàn tất quy trình tự động hóa.
- Vai trò của các Mô hình Hình ảnh & Video: Chịu trách nhiệm cụ thể trong việc tạo ra các tài nguyên hình ảnh tĩnh và cảnh quay động. Trong ví dụ này, mô hình hình ảnh tạo ra khung hình đầu tiên của một chàng trai mặc trang phục cổ đại trong phòng livestream hiện đại, trong khi mô hình video biến khung hình đầu tiên đó thành hoạt ảnh streamer đang nói chuyện và tạo ra các cảnh quay giao thông ngoại cảnh dựa trên prompt.
- Vai trò của Engine Hypit: Là trung tâm điều phối cốt lõi, Hypit ghi nhận tất cả các phụ thuộc của tài nguyên đã tạo, xác định thứ tự cảnh quay và đồng hồ chuyển cảnh, kiểm soát thời điểm hiển thị và diện mạo của phụ đề, quản lý vị trí, lớp phủ và mặt nạ bo góc của hiệu ứng hình trong hình, và gọi renderer nền tảng để tổng hợp video cuối cùng khi các tài nguyên đã sẵn sàng.
Để phù hợp với điều kiện thực tế của độc giả khác nhau, hướng dẫn này tách biệt rõ ràng việc cấu hình mô hình tạo sinh thành hai hướng độc lập:
- Hướng A: Bạn có tín dụng khả dụng trong tài khoản Hypit và trực tiếp gọi các mô hình được lưu trữ tích hợp sẵn thông qua dịch vụ HypiHub chính thức.
- Hướng B: Bạn không có tín dụng nền tảng Hypit và cấu hình, kết nối rõ ràng các giao diện API của bên thứ ba do bạn tự sở hữu.
Bạn chỉ cần chọn một hướng (A hoặc B) phù hợp với điều kiện của mình để hoàn tất cấu hình, sau đó hợp nhất vào quy trình sản xuất và điều phối chung.
- Chuẩn bị và Thông số kỹ thuật Tài nguyên
Trước khi bắt đầu, hãy chuẩn bị Codex, một video tham chiếu rõ ràng và một hình ảnh tham chiếu nhân vật mục tiêu mà bạn muốn thay thế.
Hình ảnh tham chiếu nhân vật lý tưởng nhất là ảnh chụp đơn lẻ một người với các đặc điểm khuôn mặt nổi bật, ánh sáng đều và chi tiết quần áo/tóc rõ ràng. Vì hình ảnh tham chiếu không chứa thông tin chuyển động, đừng giả định rằng mô hình sẽ tự động sao chép cái nhún vai, cử chỉ tay, v.v. của host gốc chỉ từ một bức ảnh tĩnh.
Nếu bạn dự định công khai kết quả và không muốn sử dụng giọng nói của host gốc, hãy thu âm audio thoại thay thế trước khi tiến hành sản xuất chính thức. Thay đổi audio thuyết minh sẽ làm thay đổi khoảng nghỉ phát âm và độ dài phân đoạn, đòi hỏi phải căn chỉnh lại các điểm cắt và thời gian phụ đề.
- Cài đặt
Thực thi lệnh cài đặt Skill toàn cục chính thức:
npx skills add hypit-ai/hypit -g
Tham khảo Kho lưu trữ Hypit để biết các điểm vào cài đặt, và Sổ tay Hướng dẫn Nhanh Chính thức để biết các bước quy trình chi tiết.
Hướng A: Có Tín dụng Hypit, Sử dụng Dịch vụ Tích hợp Sẵn
Nếu bạn có tín dụng, bạn có thể để Codex sử dụng trực tiếp các dịch vụ tích hợp sẵn của Hypit mà không cần cấu hình API của riêng mình.
Vui lòng sử dụng các dịch vụ tích hợp sẵn của Hypit để giúp tôi đăng nhập, kiểm tra các mô hình và tín dụng khả dụng. Hãy cho tôi biết mức tiêu thụ ước tính trước, sau đó mới bắt đầu quá trình tạo.
Hướng B: Không Có Tín dụng Hypit, Sử dụng API Của Riêng Bạn
Lần này tôi đã tuân theo hướng sử dụng API tự sở hữu: sử dụng Google để tạo hình ảnh và MiniMax H3 Max của ZenMux để tạo video.
Tôi đã nhờ Codex cấu hình các giao diện trước, xác nhận rằng các mô hình có thể được gọi, và sau đó tiếp tục quá trình sản xuất.
Sử dụng API Google để tạo hình ảnh và MiniMax H3 Max của ZenMux để tạo video. Vui lòng giúp tôi hoàn tất cấu hình và kiểm tra tính khả dụng. Giải thích chi phí trước nếu cần thử nghiệm trả phí.
Gửi Video Gốc và Hình ảnh Han Li cho Codex
Tiếp theo, tôi gửi liên kết video của "Chao Ge Shuo Che" cùng với hình ảnh Han Li cho Codex, chỉ định sao chép chỉ 20 giây đầu tiên.
Vui lòng sao chép 20 giây đầu tiên của video này, thay thế nhân vật bằng hình ảnh Han Li mà tôi đã cung cấp. Giữ nguyên bố cục gốc, nhịp điệu cắt cảnh, phụ đề và hiệu ứng hình trong hình. Giữ nguyên âm thanh gốc. Hoàn tất mọi thao tác trong cùng một dự án Hypit.
Hãy làm rõ phạm vi sao chép; nếu không, đối với một video gốc dài hơn 10 phút, Codex có thể lên kế hoạch xử lý toàn bộ thời lượng.
Kiểm Tra Khung Hình Đầu Tiên Trước Khi Tạo Video
Tôi đã nhờ Codex phân rã các cảnh quay và tạo bốn khung hình đầu tiên: Han Li trong phòng livestream, giao thông thành phố lúc hoàng hôn, Mercedes màu trắng trong đường hầm, và giao thông đường phố ban ngày.
Bước này chủ yếu để kiểm tra xem nhân vật trông có đúng không, trang phục có chính xác không và các cảnh quay có bị lệch lạc hay không. Nếu khung hình đầu tiên chưa đạt yêu cầu, hãy chỉnh sửa chúng trước khi tiếp tục tạo video động.
Vui lòng hiển thị các khung hình đầu tiên của bốn cảnh quay trước. Giữ nguyên khuôn mặt, mái tóc dài và áo choàng xanh vàng của Han Li. Các cảnh quay xe hơi không nên bao gồm host gốc, phụ đề hoặc hiệu ứng hình trong hình; những yếu tố này sẽ được Hypit thêm vào thống nhất sau đó.
[Chèn Khung Hình Đầu Tiên Phòng Livestream Han Li Tại Đây]
Yêu Cầu Codex Tạo Các Phân Đoạn, Sau Đó Tổng Hợp Với Hypit
Sau khi xác nhận các khung hình đầu tiên, tôi đã nhờ Codex tạo bốn phân đoạn host và ba phân đoạn xe hơi, yêu cầu mỗi phân đoạn dài 5 giây, sau đó sử dụng Hypit để tổng hợp thành video 20 giây cuối cùng.
Các mô hình tạo ra hình ảnh; Hypit xử lý các điểm cắt, phụ đề và hiệu ứng hình trong hình.
Vui lòng tạo các tài nguyên động theo các khung hình đầu tiên đã xác nhận và ngân sách, sau đó tổng hợp một video 20 giây tuân theo nhịp điệu gốc. Khi các cảnh quay xe hơi xuất hiện, hãy đặt Han Li ở vị trí giữa dưới cùng trong hiệu ứng hình trong hình, kèm theo âm thanh và phụ đề gốc. Tái sử dụng trực tiếp các tài nguyên đã tạo; không tạo lại.
Lần này, từ video tham chiếu đến bản cắt cuối cùng phiên bản Han Li, các nhiệm vụ chính của tôi là đưa ra yêu cầu cho Codex, xem xét kết quả và cho nó biết những gì cần điều chỉnh.
Hypit để lại không chỉ một video, mà là một dự án có thể chỉnh sửa được. Lần tới, khi bạn muốn thay đổi nhân vật, chỉnh sửa phụ đề hoặc điều chỉnh hiệu ứng hình trong hình, bạn có thể tiếp tục từ dự án này.
Tất nhiên, các hành động và khớp khẩu hình hiện tại vẫn chưa đạt mức sao chép 1:1; việc sử dụng các mô hình tốt hơn như dòng Seedance sẽ cải thiện đáng kể điều này. Nếu quan tâm, hãy thử tìm một video ngắn 10-20 giây trước để xem nó tiết kiệm cho bạn những bước nào.
Địa chỉ Dự án: hypit-ai/hypit. Nếu bạn thấy hữu ích, hãy cân nhắc gắn sao (star) cho dự án.
