Hypit Nedir?
Hypit, Yapay Zeka Ajanlarının video oluşturmasını sağlayan açık kaynaklı bir projedir. Codex'e referans videolar, karakter görselleri ve gereksinimler sağlarsınız; Ajanda Hypit'i kullanarak varlık üretimini, düzenlemeyi, altyazıları ve resim içinde resim efektlerini organize edebilir ve son olarak videoyu dışa aktarabilir.
Ayrıca geriye düzenlenebilir bir proje dosyası bırakır. Daha sonra altyazıları değiştirmek veya resim içinde resmi ayarlamak isterseniz, üretilen varlıkları yeniden kullanabilir ve üzerinde değişiklik yapmaya devam edebilirsiniz.
Açık Kaynak Adresi: hypit-ai/hypit
Önce bitmiş ürüne bakalım. Solda "Chao Ge Shuo Che" (Brother Chao Talks Cars) kanalının orijinal videosu, sağda ise "Han Li" karakterini kullandığım benim replikam yer alıyor.
Bu, kendi Minimax H3 API'm kullanılarak yapıldı. Resmi API'yi veya SeedDance'i kullanırsanız sonuçlar çok daha iyi olacaktır.
Aşağıda, kurulumdan başlayarak tüm işlem sürecini adım adım ele alıyoruz. Model yapılandırması için iki yol mevcuttur: Hypit kredileriniz varsa yerleşik hizmetleri kullanın, yoksa kendi API'nizi bağlayın. Bu örnek aslında kendi API'sini kullanma yolunu izliyor.
- Rollerin Netleştirilmesi: Hypit, Codex ve Üretim Modelleri Her Birinin Sorumluluğu Nedir?
Karışıklığı önlemek için önce her aracın boru hattındaki spesifik sorumluluklarını netleştirmemiz gerekiyor:
- Codex'in Rolü: Kod ve mühendislik uygulama yardımcısı olarak Codex, doğal dildeki kullanıcı isteklerini ayrıştırır, yerel geliştirme ortamını kontrol eder ve yapılandırır, referans videoların storyboard yapısını okur ve parçalar, proje kaynak dosyalarını oluşturur ve değiştirir ve otomatik iş akışlarını tamamlamak için alt motorlara yapılan çağrıları organize eder.
- Görüntü & Video Modellerinin Rolü: Spesifik olarak statik görsel varlıkların ve dinamik sahnelerin üretiminden sorumludur. Bu örnekte, görüntü modeli modern bir canlı yayın odasındaki antik kostümlü adamın ilk karesini üretirken, video modeli bu ilk kareyi konuşan bir yayıncı animasyonuna dönüştürür ve istemlere dayalı olarak dış trafik çekimleri üretir.
- Hypit Motorunun Rolü: Çekirdek orkestrasyon merkezi olarak Hypit, üretilen tüm varlık bağımlılıklarını kaydeder, sahne sıralarını ve geçiş zamanlamalarını tanımlar, altyazı gösterim zamanlamasını ve görünümünü kontrol eder, resim içinde resmin konumunu, katmanlamasını ve köşe yuvarlama maskelerini yönetir ve varlıklar hazır olduğunda nihai videoyu kompoze etmek için alt renderer'ı çağırır.
Farklı okuyucuların gerçek koşullarına uyum sağlamak için, bu eğitimde üretim modeli yapılandırması iki bağımsız yola açıkça ayrılmıştır:
- Yol A: Hypit hesabınızda kullanılabilir kredileriniz vardır ve resmi HypiHub hizmeti üzerinden yerleşik barındırılan modelleri doğrudan çağırırsınız.
- Yol B: Hypit platform kredileriniz yoktur ve üçüncü taraf API arayüzlerinizi açıkça yapılandırıp bağlarsınız.
Yapılandırmayı tamamlamak için sadece koşullarınıza uyan bir yolu (A veya B) seçmeniz yeterlidir, ardından ortak üretim ve orkestrasyon iş akışında birleşirsiniz.
- Hazırlık ve Varlık Spesifikasyonları
Başlamadan önce Codex'i, net bir referans videosunu ve yerine koymak istediğiniz hedef karakter referans görselini hazırlayın.
Karakter referans görselleri ideal olarak tek kişilik, belirgin yüz hatlarına sahip, eşit ışıklandırılmış ve kıyafet/saç detayları net fotoğraflar olmalıdır. Referans görseller hareket bilgisi içermediğinden, modelin orijinal sunucunun omuz silkme, el jestleri vb. davranışlarını yalnızca statik bir görselden otomatik olarak taklit edeceğini varsaymayın.
Sonucu kamuya açık şekilde yayınlamayı planlıyorsanız ve orijinal sunucunun sesini kullanmak istemiyorsanız, resmi üretimden önce alternatif diyalog ses kayıtlarını hazırlayın. Seslendirme sesini değiştirmek telaffuz duraklamalarını ve segment sürelerini etkiler; bu da kesimlerin ve altyazı zamanlamalarının yeniden hizalanmasını gerektirir.
- Kurulum
Resmi Skill global kurulum komutunu çalıştırın:
npx skills add hypit-ai/hypit -g
Kurulum giriş noktaları için Hypit Deposuna, detaylı işlem adımları için Resmi Hızlı Başlangıç Kılavuzuna bakın.
Yol A: Hypit Kredileriyle, Yerleşik Hizmetleri Kullanma
Eğer krediniz varsa, kendi API'nizi yapılandırmadan Codex'in Hypit'in yerleşik hizmetlerini doğrudan kullanmasına izin verebilirsiniz.
Lütfen Hypit'in yerleşik hizmetlerini kullanarak bana giriş yapmamda, mevcut modelleri ve kredileri kontrol etmemde yardımcı ol. Önce tahmini tüketimi söyle, sonra üretime başla.
Yol B: Hypit Kredileri Olmadan, Kendi API'ni Kullanma
Bu sefer kendi API'sini kullanma yolunu takip ettim: Görüntü üretimi için Google'ı, video üretimi için ZenMux'un MiniMax H3 Max'ını kullandım.
Önce Codex'e arayüzleri yapılandırmasını söyledim, modellerin çağrılabilir olduğunu onayladım ve ardından üretime devam ettim.
Görüntü üretimi için Google API'sini ve video için ZenMux'un MiniMax H3 Max'ını kullan. Lütfen yapılandırmayı tamamla ve kullanılabilirliği kontrol et. Eğer ücretli test gerekiyorsa maliyetleri önce açıkla.
Orijinal Videoyu ve Han Li Görselini Codex'e Ver
Sonrasında, "Chao Ge Shuo Che" videosunun bağlantısını ve Han Li görselini birlikte Codex'e gönderdim ve yalnızca ilk 20 saniyenin replikasını yapılacağını belirttim.
Lütfen bu videonun ilk 20 saniyesini replika et, karakteri sağladığım Han Li görseli ile değiştir. Orijinal kompozisyonu, kesim ritmini, altyazıları ve resim içinde resmi koru. Orijinal sesi tut. Tüm işlemleri aynı Hypit projesi içinde tamamla.
Replika kapsamını net belirtin; aksi takdirde, 10+ dakikalık bir orijinal video için Codex tüm uzunluk için planlama yapabilir.
Video Üretmeden Önce İlk Kareleri Kontrol Et
Codex'ten sahneleri ayrıştırmasını ve dört ilk kare üretmesini istedim: Canlı yayın odasında Han Li, gün batımı şehir trafiği, tünelde beyaz Mercedes ve gündüz sokak trafiği.
Bu adım esas olarak karakterin doğru görünüp görünmediğini, kıyafetin doğru olup olmadığını ve sahnelerin sapmadığını kontrol etmek içindir. İlk kareler tatmin edici değilse, dinamik video üretimine devam etmeden önce onları düzeltin.
Lütfen önce dört sahnenin ilk karelerini göster. Han Li'nin yüzünü, uzun saçlarını ve mavi-altın cübbelerini koru. Araba çekimlerinde orijinal sunucu, altyazılar veya resim içinde resim bulunmamalı; bunlar daha sonra Hypit tarafından uniform olarak eklenecek.
[Buraya Han Li Canlı Yayın Odası İlk Kare Ekle]
Codex'e Segmentleri Ürettir, Ardından Hypit ile Kompoze Et
İlk kareleri onayladıktan sonra, Codex'ten dört sunucu segmenti ve üç araba segmenti üretmesini, her biri için 5 saniye talep etmesini istedim, ardından Hypit'i kullanarak nihai 20 saniyelik videoyu kompoze ettim.
Modeller görselleri üretir; Hypit kesimleri, altyazıları ve resim içinde resmi halleder.
Lütfen onaylanan ilk karelere ve bütçeye göre dinamik varlıkları üret, ardından orijinal ritme uygun 20 saniyelik bir video kompoze et. Araba çekimleri göründüğünde, Han Li'yi merkezde altta bir resim içinde resim olarak yerleştir, orijinal ses ve altyazılarla birlikte. Zaten üretilen varlıkları doğrudan yeniden kullan; tekrar üretme.
Bu sefer, referans videodan Han Li versiyonu final kesimine kadar ana görevlerim Codex'e gereksinimler vermek, sonuçları gözden geçirmek ve neyin ayarlanması gerektiğini ona söylemekti.
Hypit geride sadece bir video değil, düzenlenebilir bir proje bırakır. Bir dahaki sefere karakterleri değiştirmek, altyazıları düzenlemek veya resim içinde resmi ayarlamak istediğinizde, bu projeden devam edebilirsiniz.
Elbette, mevcut eylemler ve dudak senkronizasyonu henüz 1:1 replikasyona ulaşmış değil; Seedance serisi gibi daha iyi modeller kullanmak bunu önemli ölçüde iyileştirecektir. İlgileniyorsanız, önce kısa bir 10-20 saniyelik video bulup hangi adımlardan sizi kurtardığını görmeye çalışın.
Proje Adresi: hypit-ai/hypit. Faydalı bulursanız, projeyi yıldızlamayı düşünün.
