Bir video, değiştirebileceğiniz bir dünyanın başlangıç noktası olabilir. Bir kodlama ajanına referansı verin, kareleri incelemesine izin verin ve sahneyi prosedürel kod olarak yeniden oluşturmasını isteyin. Ardından kamerayı, ışıklandırmayı, malzemeleri veya hareketi değiştirip tekrar render alın.
Video 2 GLSL'nin, yani shader-skills etrafında geliştirdiğim referanstan shader'a iş akışının arkasındaki fikir tam olarak bu. İşin ilginç kısmı ise bu sürecin ne kadarının bir sonraki videoya aktarılabildiği.
https://x.com/gokayfem/status/2111907592129671505
Birlikte çalışan iki parça
shader-skills, kodlama ajanlarına grafik tekniklerinden oluşan bir kütüphane, çalışır örnekler ve prosedürel shader'lar oluşturup kontrol etmek için bir süreç sunar. Video 2 GLSL ise buna referans odaklı bir görev ekler: bir klibi incele, bir spesifikasyon türet, sahneyi inşa et ve ardından sonucu kliple karşılaştır.
Bu beceri (skill); Claude Code, Codex, Cursor, Gemini ve diğer kodlama ajanlarını destekler. Yeniden kullanılabilir parçaları şekilleri, gürültüyü (noise), malzemeleri, arazileri, binaları, suyu, bulutları, ışıklandırmayı ve rengi kapsar. Bunları orijinal bir sahne, etkileşimli bir deney veya bir video canlandırması için kullanabilirsiniz.
Bağımsız Video 2 GLSL hedefinde çıktı, Shadertoy uyumlu tek bir fragment shader'dır. Geometri matematiksel olarak tanımlanır, yüzeyler prosedüreldir ve animasyon zaman tarafından yönlendirilir. Referans video görsel spesifikasyonu sağlar; kareleri shader içinde oynatılmaz.
Videoyu bir spesifikasyona dönüştürerek başlayın
İlk adım güvenilir kare çıkarmadır. Bir video URL'si veya dosya adı, bir ajana üzerinde çalışabileceği çok az şey verir. Ajanın gerçekte neyin göründüğünü ve bunun zaman içinde nasıl değiştiğini incelemesi gerekir.
Yeniden kullanılabilir prompt, sahne kodundan önce bir REFERENCE.md ister: klip gerçekleri, çekim zaman çizelgesi, nesne envanteri, özne oranları, hareket, kamera kadrajı, ışıklandırma ve örneklenmiş bir renk paleti. Ayrıca ajandan tam olarak üretemeyeceği unsurları belirlemesini ve onay için alternatifler önermesini ister.
Gözlemler klibe göre değişir. Bir karakter çekimi temas noktalarını, adım uzunluğunu ve ikincil hareketi gerektirir. Mimari bir çekim oranları, perspektifi ve kamera hareketini gerektirir. Su çekimi ise yüzey hareketine, yansımalara ve derinliğe dikkat edilmesini gerektirir. Aynı ayrıştırma süreci, her birine somut bir başlangıç noktası sağlar.
Ajana test edilmiş grafik yapı taşları verin
Makul görünen bir formül yine de güvensiz bir mesafe alanı (distance field), kararsız bir gürültü veya yanlış bir renk üretebilir. Bu hatalar büyük bir sahnenin içine yerleştiklerinde izole edilmeleri daha da zorlaşır.
shader-skills şu anda 20 GLSL modülüne yayılmış 186 fonksiyon içeriyor. Ajan bir teknik arayabilir, kütüphane fonksiyonunu adıyla çağırabilir ve bağımlılıklarını tek bir bağımsız shader'a dahil etmek için bundler'ı kullanabilir.
Kütüphane; şekiller için işaretli mesafe fonksiyonlarını (signed distance functions), bunları birleştirmek için operatörleri, prosedürel gürültü ve desenleri, raymarching yardımcı araçlarını, gölgelendirmeyi, atmosferi ve renk dönüşümlerini içerir. Şablonlar, bu parçaların eksiksiz sahnelerde nasıl birlikte çalıştığını gösterir.
Doğrulama; WebGL2'de derlemeyi ve GPU üzerindeki sayısal özellikleri kapsar: mesafe alanı işaretleri ve sınırları, gürültü türevleri, renk dönüş yolculukları (round trips) ve kontrol edilebilir diğer davranışlar. Render alınmış örnekler görsel bir kontrol katmanı ekler. Bu kontroller parçaları daha güvenilir hale getirir; ancak nihai sahne yine de incelenmelidir.
Renderer etrafında bir geri bildirim döngüsü kurun
İş akışı; blok-out ve zamanlama, hareket, özne detayı, çevre detayı, ışık ve renk, referans eşleştirme ve performans aşamalarından geçer. Her kilometre taşı değerlendirilebilecek görsel bir sonuç üretir.
Referans ve render aynı zamanda ve aynı kadrajda karşılaştırılmalıdır. Kompozisyon için tam kareleri, nesne şekli ve malzemeler için kırpılmış görüntüleri, hareket için ise kare dizilerini kullanın. Tek bir çekici durağan görüntü; kayan ayakları, bir kamera sıçramasını veya çok erken gerçekleşen bir etkileşimi gizleyebilir.
Prompt tekrarlayan bir eleştiri süreci talep eder: en büyük beş farkı belirleyin, bunları düzeltin ve tekrar render alın. Ölçümler bu incelemeyi destekler. Özne boyutu ve ufuk konumu kamera hatalarını teşhis etmeye yardımcı olurken; örneklenmiş renkler renk düzenlemesini (grading), hareket probları ise süreksizlikleri bulmaya yardımcı olur.
Burada hızlı iterasyon önemlidir. Düşük çözünürlüklü önizlemeler ve izole nesne görünümleri, maliyetli render'lara girmeden önce oranları düzeltmenizi sağlar. Malzemeleri ve ışıklandırmayı cilalamadan önce silüetleri ve nesne oranlarını kontrol edin.
Karmaşık sahneleri sorumluluklara bölün
Daha büyük sahneler, ayrı parçalar üzerinde çalışan birden fazla ajandan faydalanabilir: özne, çevre, aksesuarlar, hareket veya ışıklandırma. Bölümleme sahnenin ihtiyaçlarına göre yapılmalıdır.
Ortak arayüzler bu çalışmanın uyumlu kalmasını sağlar. Ölçek, koordinatlar, zamanlama ve malzeme tanımlayıcıları üzerinde anlaşın, her ajana kendi dosyalarının sahipliğini verin ve gerçek render'lardan kanıt talep edin. Bir orkestratör parçaları entegre edebilir ve ortaya çıkan birleşik görüntüyü referansa göre değerlendirebilir.
Buradaki yeniden kullanılabilir ders, inceleme yapısıdır: birinin tüm çekimi değerlendirmesi gerekir. Detaylı bir bina veya inandırıcı bir karakter, kompozisyon açısından yine de yanlış olabilir.
Deneyler neyi kanıtlıyor?
Şu ana kadar yapılan çalışmalar; değişen eylemlere sahip bir yüzen ada sekansını, etkileşimler içeren bir köy sekansını ve sonsuz bir sokak döngüsünü içeriyor. Gereksinimleri birbirinden farklı: olay zamanlaması, sabitlenmiş temas noktaları, kamera geçişleri ve birebir tekrarlama, her biri farklı sahne mantığı gerektirir. Tamamlanma durumları ve görsel kaliteleri de değişiklik gösterir.
Bunların tamamında aynı süreç faydalı olmaya devam ediyor: çıkar, ölç, birleştir, render al, karşılaştır ve düzelt. Repo ayrıca prosedürel şehir, arazi ve su örneklerini barındırırken; ayrı etkileşimli deneyler organik formları ve kara delik imgelerini araştırıyor.
Neler düzenlenebilir hale geliyor ve neler belirsiz kalıyor?
Bir sahne kod olarak var olduğunda; kamera konumu, ışık yönü, palet, zamanlama ve prosedürel detay için kontroller sunabilirsiniz. Sokak deneyi, aynı inşa edilmiş setten alternatif kamera açıları elde edilebildiğini gösterdi.
Bu yeni açılar aynı zamanda yeniden inşanın sınırlarını da ortaya koyuyor. Bir referans, bir dünyanın yalnızca bir kısmını gösterir. Gizli yüzeylerin tahmin edilmesi gerekir ve yapay zeka tarafından üretilmiş bir video değişen geometriler veya tutarsız hareketler içerebilir. Tek bir açıdan elde edilen inandırıcı bir eşleşme, eksiksiz ve doğru bir sahne oluşturulduğu anlamına gelmez.
Performans da sahneye özgü bir başka sonuçtur. Detaylı raymarched geometri, bitki örtüsü, gölgeler ve yansımalar maliyetli olabilir. Hedef makinede kare süresini ölçün, çekimdeki farklı anları kontrol edin ve kalan görsel farklılıkların yanı sıra kaçırılan hedefleri de raporlayın.
Video 2 GLSL yeniden kullanılabilir bir üretim iş akışıdır. Rastgele görüntüler arasındaki güvenilirliği hâlâ daha geniş çaplı bir değerlendirmeye ihtiyaç duyuyor. Mevcut çalışmalar bize birkaç somut deney ve geliştirmek için ortak bir yöntem sunuyor.
Kendi referansınızla deneyin
Claude Code için marketplace'i ekleyin ve eklentiyi kurun:
claude plugin marketplace add gokayfem/shader-skills
claude plugin install shader-skills@shader-skills
Desteklenen diğer ajanlar için:
npx skills add gokayfem/shader-skills
prompts/video-to-shader-prompt.md dosyasını kullanın, bir referans klip, bir çıktı adı ve bir hedef makine sağlayın; ayrıca nelerin korunması gerektiğini ve nelerin atlanabileceğini belirtin. Uygulamaya başlamadan önce ayrıştırma (breakdown) aşamasını gözden geçirin.
Bunu, görsel referansları düzenlenebilir prosedürel sahnelere dönüştürmenin güvenilir bir yolu haline getirmek için zorlamaya devam etmek istiyorum. Her yeniden inşa, arkasında daha iyi araçlar, daha iyi testler ve bir sonrakinde yeniden kullanılabilecek teknikler bırakmalı.
