Çoğu insan ChatGPT ve Claude'u her gün kullanıyor ancak bunların aslında nasıl inşa edildiğine dair hiçbir fikri yok.
Bunu kaydedin :)
Küçük bir grup insan, ham internet metnini yazabilen, akıl yürütebilen ve kod yazabilen bir modele dönüştüren o kesin süreci (pipeline) anlıyor. Ve bu süreci anlamak, bu araçları kullanma şeklinizi sonsuza dek değiştirir; çünkü artık olayı sihirli bir şey olarak görmek yerine, arka planda neler olup bittiğini net bir şekilde görürsünüz.
Bu iki grup arasındaki fark, bir matematik diploması değildir.
Fark, zihinde oluşan net bir modeldir.
İşte neredeyse kimsenin basitçe açıklamadığı gerçek: GPT, Claude gibi tüm öncü modeller aynı beş aşamalı süreçle inşa edilir. Şirketler ölçek, veri ve binlerce mühendislik detayı konusunda farklılık gösterir ancak sürecin şekli her yerde aynıdır. Bu şekli öğrenin, hepsinin nasıl yapıldığını anlarsınız.
Başlamadan önce beklentileri dürüstçe belirleyeyim. Dizüstü bilgisayarınızda sıfırdan GPT veya Claude ile yarışacak bir model eğitemezsiniz. Bu modeller hesaplama gücü açısından on milyonlarca dolara mal olur ve devasa mühendislik ekipleri gerektirir. Buradaki amaç bu değil. Amaç, süreci o kadar derinlemesine anlamak ki, kendiniz küçük ve çalışan bir sürümünü oluşturabilesiniz, büyük modellerin nasıl davrandığı üzerine akıl yürütebilesiniz ve tüm bu süreç karşısında şaşkınlığa düşmekten kurtulabilesiniz. Bu anlayış, çoğu insanın fark ettiğinden çok daha değerlidir ve tamamen ulaşılabilir bir hedeftir.
İşte sırasıyla, tam olarak gerçekleştiği şekliyle beş aşama.
1. Aşama: Veri — Her Şeyin Üzerine İnşa Edildiği Temel
Bir model olmadan önce metin vardır. Hem de muazzam miktarda.
İlk aşama, modelin öğreneceği verileri toplamak ve hazırlamaktır. Öncü bir model için bu, şaşırtıcı miktarda metin demektir: halka açık internetin büyük bir kısmı, kitaplar, kod depoları ve daha fazlası. Ancak ham metin karışıktır, bu yüzden bu aşamadaki işin çoğu toplamak değil, temizlemektir.
Veriler çöplerden arındırılır, yinelenen içerikler çıkarılır (aynı paragrafın bin kez görünmesi modelin öğrendiklerini saptırır) ve düşük kaliteli veya zararlı materyaller filtrelenir. Bu temizlik, insanların düşündüğünden çok daha önemlidir. Eski ilke geçerlidir: çöp girerse, çöp çıkar. Daha temiz, daha kaliteli verilerle eğitilen bir model, daha fazla ama daha karışık verilerle eğitilen bir modelden daha iyi öğrenir. Veri kalitesi, tüm alandaki en önemli ve en az dikkat çeken kaldıraçlardan biridir.
Ardından yeni başlayanları şaşırtan adım gelir: tokenization (belirteçleştirme). Model metni doğrudan okuyamaz. Metin, kelime parçası boyutunda parçalar olan token'lara (belirteçlere) bölünür. "Tokenization" ifadesi üç veya dört token haline gelebilir. Her eğitim verisi parçası bu token'lara dönüştürülür ve o noktadan sonra model asla harfleri değil, sadece token'ları temsil eden sayıları görür. Modellerin bazen bir kelimedeki harfleri yanlış saymasının nedeni budur: harfleri hiç görmemişlerdir, sadece token'ı görmüşlerdir.
Bu aşamanın çıktısı, devasa, temiz ve token'lara ayrılmış bir veri kümesidir. Henüz hiçbir şey öğrenilmemiştir. Sadece ham maddeyi hazırlamış oldunuz.
Bu Aşamayı Öğrenmek İçin Ne Yapmalı?
- Bir metni bir token'layıcıdan geçirip token'lara ayrılmasını izleyerek, token'layıcının aslında ne yaptığını öğrenin
- Küçük bir metin veri kümesi alın ve temizleme pratiği yapın: kopyaları kaldırma, çöpleri filtreleme, formatı normalleştirme
- Temiz veriden öğrenen küçük bir model ile karışık veriden öğrenen bir modeli karşılaştırarak, veri kalitesinin neden veri miktarından üstün olduğunu anlayın
- Büyük laboratuvarların verilerini nasıl filtrelediklerini okuyun ve buna ne kadar çaba harcadıklarına dikkat edin
2. Aşama: Ön Eğitim (Pretraining) — Modelin Dili Aslında Öğrendiği Yer
Bu, milyonlarca dolara mal olan ve modelin bildiği hemen hemen her şeyi öğrendiği aşamadır.
Ön eğitimin çok basit bir hedefi vardır: bir sonraki token'ı tahmin etmek. Modele bir token dizisi gösterilir ve bir sonrakini tahmin etmesi istenir. Tahmin eder, tahmin gerçek bir sonraki token ile karşılaştırılır ve modelin iç sayıları (parametreleri, genellikle milyarlarca tanesi) bir dahaki sefere daha iyi bir tahmin yapması için hafifçe değiştirilir. Sonra bunu tekrar yapar. Ve tekrar. Trilyonlarca token boyunca.
Tüm eğitim hedefi budur. Devasa bir ölçekte, tekrar tekrar bir sonraki token'ı tahmin etmek. Ve bu absürt derecede basit hedeften, olağanüstü bir şey ortaya çıkar. Tüm insan metinleri genelinde bir sonraki token'ı tahmin etmede iyi olmak için model; dilbilgisi, gerçekler, akıl yürütme kalıpları, kodlama sözdizimi ve argüman yapısını öğrenmeye zorlanır, çünkü bunların hepsi daha iyi tahmin yapmasına yardımcı olur. Kimse ona açıkça dilbilgisi öğretmedi. Dilbilgisini öğrendi çünkü dilbilgisi bir sonraki kelimeyi tahmin etmesine yardımcı oluyor.
Ön eğitimin sonucu temel model (base model) olarak adlandırılır. Güçlü bir dil motorudur ancak hamdır. Bir temel model, yardımcı bir asistan olması gerektiğini bilmez. Ona bir soru sorun, sadece cümlenizi devam ettirebilir veya benzer soruların bir listesini oluşturabilir, çünkü öğrendiği tek şey metni makul bir şekilde devam ettirmektir. Devasa bir bilgiye ve sıfır görgü kuralına sahiptir. Henüz kendisine hangi işin verildiği söylenmemiş, inanılmaz derecede yetenekli bir enstrümandır.
Bu aşamayı anlamak, bu makaledeki en büyük kazanımdır. Bu modellerin temelinin devasa ölçekte bir sonraki token tahmini olduğunu anladığınızda, hem akıcılıkları hem de halüsinasyonları mükemmel bir şekilde anlam kazanır. Gerçeği söylemek için değil, makul bir şekilde devam etmek için inşa edilmişlerdir. Gerçek, sonraki aşamaların ve sizin kendi mühendisliğinizin eklemesi gereken bir şeydir.
Bu Aşamayı Öğrenmek İçin Ne Yapmalı?
- Bir sonraki token tahmin hedefini, bir arkadaşınıza tek cümlede açıklayabilecek kadar içselleştirin
- Süreci bizzat hissetmek için küçük bir veri kümesi üzerinde küçük bir dil modeli eğitin (bunun için iyi bilinen başlangıç seviyesi eğitimleri vardır)
- Parametreler, veriler ve hesaplama gücü arasındaki ilişkiyi ve bu üçünü ölçeklendirmenin neden modelleri geliştirdiğini anlayın
- Bu aşamanın, modellerin neden akıcı olduğunu ve neden kendinden emin bir şekilde uydurduklarını nasıl açıkladığına dikkat edin
3. Aşama: Denetimli İnce Ayar (Supervised Fine-Tuning) — Modele Faydalı Olmayı Öğretmek
Şimdi o parlak ama görgüsüz temel modeli alın ve ona işinin ne olduğunu öğretin.
Temel model dili bilir ancak soruları yardımcı olacak şekilde yanıtlaması gerektiğini bilmez. Genellikle SFT olarak kısaltılan denetimli ince ayar, bunu düzeltir. Modele istediğiniz davranışın binlerce örneğini gösterirsiniz: iyi bir yanıtla eşleştirilmiş bir soru, doğru bir yanıtla eşleştirilmiş bir talimat, net bir çözümle eşleştirilmiş bir problem.
Model, ön eğitimde olduğu gibi bu örnekler üzerinde eğitilir, token'ları tahmin eder, ancak şimdi veriler, yardımcı bir asistanın tam olarak nasıl yanıt vermesi gerektiğine dair küratörlü gösterimlerdir. Faydalı olmanın formatını öğrenir: bir soru sorulduğunda, metni devam ettirmek veya gevezelik etmek yerine yardımcı bir yanıt üretir.
Bu örneklerin kalitesi son derece önemlidir ve genellikle insanlar tarafından yazılır veya dikkatlice seçilir. Bu, ön eğitimden çok daha az veridir; bazen trilyonlarca token yerine binlerce veya on binlerce örnek kullanılır, ancak bu veriler yüksek kaliteli, kasıtlı ve hedefe yöneliktir. Nispeten az miktarda mükemmel gösterim verisi, ham bir temel modeli asistan gibi davranan bir şeye dönüştürür.
SFT'den sonra, gerçekten faydalı bir modele sahip olursunuz. Talimatları izler, soruları yanıtlar ve görevine sadık kalır. Birçok amaç için bu zaten çalışan bir asistandır. Ancak henüz kullandığınız modeller kadar yardımcı, zararsız ve rafine değildir; son iki aşama bunun içindir.
Bu Aşamayı Öğrenmek İçin Ne Yapmalı?
- Her birinin nasıl yanıt verdiğine dair örnekleri okuyarak temel model ile ince ayarlı model arasındaki farkı anlayın
- Küçük bir talimat veri kümesi oluşturun veya inceleyin: istediğiniz davranışı gösteren soru-cevap çiftleri
- Küçük bir açık kaynaklı modele odaklanmış bir görev üzerinde ince ayar yapmayı deneyin ve davranışının nasıl değiştiğini izleyin
- Gösterim örneklerinin kalitesinin, miktarına kıyasla ne kadar önemli olduğuna dikkat edin
4. Aşama: Ödül Modelleme (Reward Modeling) — Modele "İyi"nin Ne Olduğunu Öğretmek
Bu, çoğu açıklamanın atladığı aşamadır ve modern modellerin nasıl bu kadar cilalı hale geldiğinin zekice kalbidir.
Laboratuvarların karşılaştığı sorun şuydu: SFT'den sonra bir model iyi yanıtlar verir, ancak "iyi"yi sadece örneklerle tanımlamak zordur. Çoğu soru için tek bir doğru yanıt yoktur; daha iyi ve daha kötü olanlar vardır. Bir kural yazamadığınızda modele daha iyi yanıtı tercih etmeyi nasıl öğretirsiniz?
Çözüm zariftir. Modele aynı istem (prompt) için birkaç farklı yanıt ürettirirsiniz. Sonra insanlar bu yanıtlara bakar ve onları sıralar: bu, şundan daha iyi. Bu insan tercihi karşılaştırmalarından çok sayıda toplarsınız. Ve sonra, bunları doğrudan kullanmak yerine, ödül modeli adı verilen ikinci bir model eğitirsiniz; bu modelin tek işi herhangi bir yanıta bakmak ve bir insanın onu nasıl puanlayacağını tahmin etmektir.
Bunun neyi başardığını bir düşünün. Ana modelin ürettiği her yanıtı insanların puanlamasını sağlayamazsınız; bu asla ölçeklenemez. Ancak bir ödül modelini insan yargılarından oluşan bir örneklem üzerinde eğitebilirsiniz ve artık elinizde milyonlarca yanıtı puanlayabilen, insan tercihinin yerini tutan otomatik bir sistem vardır. Ödül modeli, "insanların neyi sevdiği" ile "bir bilgisayarın optimize edebileceği bir şey" arasındaki köprüdür.
Ödül modeli kullanıcılarla asla konuşmaz. Perde arkasında bir yargıçtır. Ancak son aşamanın kilidini açan anahtardır, çünkü ana modeli insanların gerçekten tercih ettiği yanıtlara doğru, hiçbir insan ekibinin eşleşemeyeceği bir ölçekte itmenizi sağlar.
Bu Aşamayı Öğrenmek İçin Ne Yapmalı?
- Yanıtları sıralamanın (bu şundan daha iyi), mükemmel yanıtlar yazmaktan neden daha kolay ve daha ölçeklenebilir olduğunu anlayın
- Temel fikri kavrayın: bir ödül modeli, yanıtları otomatik olarak puanlayabilmek için insan yargısını taklit etmeyi öğrenir
- Tercih verilerinin insan karşılaştırmaları yoluyla nasıl toplandığını okuyun
- Bu aşamanın, insan zevkinin karmaşıklığını bir eğitim sürecinin kullanabileceği bir şeye nasıl bağladığını görün
5. Aşama: Pekiştirmeli Öğrenme (Reinforcement Learning) — Modeli Kullandığınız Şeye Dönüştürmek
Son aşama, şimdiye kadar inşa edilen her şeyi alır ve modeli, etkileşimde bulunduğunuz o yardımcı, dikkatli asistana dönüştürür.
Bu aşama genellikle RLHF (insan geri bildiriminden pekiştirmeli öğrenme) olarak adlandırılır. Parçaların nasıl bir araya geldiği şöyledir: 3. aşamadaki ince ayarlı modelinizi ve 4. aşamadaki ödül modelinizi alırsınız. İnce ayarlı model yanıtlar üretir. Ödül modeli bunları puanlar. Ve ince ayarlı model, pekiştirmeli öğrenme yoluyla daha yüksek puan alan yanıtlar üretmeye itilir. Bu bir döngüdür: üret, puanla, geliştir, tekrarla.
Ödül modeli sonsuza kadar puanlama yapabildiği için, ana model doğrudan insan örneklerinin sağlayabileceğinden çok daha fazlasını pratik edebilir ve geliştirebilir. Birçok tur boyunca daha yardımcı, daha tutarlı, nüansları takip etmede daha iyi ve yapmaması gereken şeyleri reddetmede daha iyi olmayı öğrenir. Bu aşama, modellere cilalarını, iyi yargılarını ve güvenlik davranışlarının çoğunu veren aşamadır.
Bilinmesi gereken modern bir varyasyon: bazı insan geri bildirimleri, yazılı bir ilke setine göre oluşturulan geri bildirimlerle değiştirilebilir veya desteklenebilir; bu yaklaşıma bazen RLAIF veya anayasal yöntemler denir. Ruh aynıdır: her şeyi puanlamak için sadece insanlara güvenmek yerine, açıkça belirtilmiş değerlerin rehberliğinde modelin davranışını şekillendiren geri bildirimi ölçeklendirirsiniz.
Bu aşamadan sonra bitmiş ürüne sahip olursunuz. Ön eğitimden akıcı, ince ayardan faydalı, pekiştirmeli öğrenmeden ise rafine ve uyumlu bir model. ChatGPT veya Claude'u açtığınızda konuştuğunuz şey budur. Beş aşama, her biri bir öncekinin üzerine inşa edilir.
Bu Aşamayı Öğrenmek İçin Ne Yapmalı?
- Döngüyü anlayın: model üretir, ödül modeli puanlar, model daha yüksek puanlara doğru gelişir
- Bunun neden modelin doğrudan insan örneklerinin sınırlarının çok ötesinde pratik yapmasını sağladığını kavrayın
- İnsan geri bildiriminden öğrenmek ile ilkelerle yönlendirilen yapay zeka geri bildiriminden öğrenmek arasındaki farkı okuyun
- Bu son aşamanın, bir kullanıcı olarak deneyimlediğiniz yardımseverliği, yargıyı ve güvenlik davranışını nasıl ürettiğini görün
Tüm Süreç Tek Bir Nefeste
Her şeyin yerine oturması için hepsini bir araya getireyim.
Bir dağ dolusu metni toplar ve temizlersiniz, sonra onları token'lara dönüştürürsünüz. Bir modeli, tüm bunlar boyunca bir sonraki token'ı tahmin etmesi için eğitirsiniz ve bu basit hedeften, dili anlayan ancak görgüsü olmayan bir temel model ortaya çıkar. Onu, yardımcı bir asistan gibi davranmayı öğrenmesi için küratörlü örnekler üzerinde ince ayardan geçirirsiniz. Yanıtlarının insan sıralamalarını toplar ve insan yargısını taklit etmesi için bir ödül modeli eğitirsiniz. Ve son olarak, o ödül modelini kullanarak asistanı, cilalı, yardımcı ve uyumlu hale gelene kadar pekiştirmeli öğrenme ile geliştirirsiniz.
Veri, ön eğitim, ince ayar, ödül modelleme, pekiştirmeli öğrenme. Beş aşama. Her öncü model böyle yapılır.
Kendi LLM'inizi Oluşturmak Hakkında Dürüst Gerçek
Yatak odanızdan öncü laboratuvarları geride bırakamazsınız ve amaç bu değildi.
Amaç anlamaktır. Bu süreç kafanızda netleştiğinde, bu araçların pasif bir kullanıcısı olmayı bırakır ve onlar hakkında akıl yürüten biri olursunuz. Neden halüsinasyon gördüklerini anlarsınız (bir sonraki token tahmini). İstemlerin (prompting) neden işe yaradığını anlarsınız (neyin tahmin edileceğini şekillendiriyorsunuz). Bazı modellerin neden diğerlerinden daha uyumlu hissettirdiğini anlarsınız (dördüncü ve beşinci aşamaların kalitesi). Kendi ince ayar deneylerinizde kendi verilerinizin neden bu kadar önemli olduğunu anlarsınız. Bu anlayış, en yetenekli yapay zeka geliştiricilerinin üzerinde durduğu temeldir.
Ve işte gerçekten güçlendirici kısım: öğrenmek için bu aşamaların her birinin küçük, çalışan bir sürümünü küçük bir ölçekte kendiniz oluşturabilirsiniz. İnsanlar sürekli minyatür modeller eğitiyor, küçük açık kaynaklı modellerde ince ayar yapıyor ve tercih verileriyle deneyler yapıyor. Claude'u inşa etmeyeceksiniz. Ancak Claude'un tam olarak nasıl inşa edildiğini size öğretecek bir şey inşa edebilirsiniz ve bu bilgi, bu alandaki kariyerinizin geri kalanında birikerek artacaktır.
Çoğu insan bu modelleri yıllarca kullanacak ve nasıl yapıldıklarını bir kez bile anlamayacak.
Tüm süreci okudunuz. Her gün bu araçlara yazı yazan neredeyse herkesten zaten öndesiniz.
Tek soru, kendiniz küçük bir sürümünü oluşturup anlayışı gerçekten yapabileceğiniz bir şeye dönüştürüp dönüştürmeyeceğinizdir.
Beş aşama hemen üstünüzde. Birinci aşamayı seçin ve başlayın.
Bunu faydalı bulduysanız, bunun gibi daha fazla yapay zeka içeriği için beni @eng_khairallah1 adresinden takip edin. Her hafta analizler, kurslar ve araçlar paylaşıyorum.
bunun sizin için faydalı olduğunu umuyorum, Khairallah ❤️
