Bu hafta MacBook'umda tamamen yerel bir yapay zeka modeli çalıştırdım. Meraktan değil. "Bakalım neymiş" türü bir demo da değil. Gerçek iş akışımda, kendi ajan sistemimle, yapmak zorunda olduğum gerçek görevlerde kullanmayı deniyordum.
Model, 9 milyar parametreli Qwen 3.6'ydı. Cihazım ise 16 GB RAM'li bir M1 Pro. Mac Studio değil. Bir iş istasyonu değil. Sıradan bir dizüstü bilgisayar. Qwen 3.6 yeni bir sürüm ve daha küçük varyantları, bu deneyi altı ay önce değil, şimdi yapmaya değer kılan şeydi.
İşe yaradı.
"Çalıştı" derken, hatasız açıldığı anlamında değil. Öylece oturup onunla bir şeyler yaptım ve donanımla boğuşuyormuşum gibi hissetmedim anlamında çalıştı. Claude'dan yavaştı. Elbette. Ama yavaşlık kabul edilebilir aralıktaydı. Varlığının farkında olduğunuz ama onun tarafından cezalandırılmadığınız türden bir yavaşlık.
Bu, beklediğimden daha çok şaşırttı beni.
İki Farklı "Yerel Yapay Zeka" Hikayesi
Deneye geçmeden önce, sürekli aynı şeymiş gibi ele alındığı için yapılması gereken bir ayrım var.
"Yerel yapay zeka"nın ilk versiyonu, bulut modeli olan yerel bir ajandır. Tüm kod cihazınızda yaşar. Bellek sisteminiz, otomasyon betikleriniz, araç entegrasyonlarınız. Ancak gerçek model uzaktadır. Dizüstü bilgisayarınızdan Claude'u veya OpenAI'i çağırırsınız, ancak gösteriyi yöneten mimari sizindir, sizin donanımınızdadır.
İnsanların bu yıl yerel ajan çerçevelerini barındırmak için Mac Mini almaya başlamasının nedeni de budur. OpenClaw viralleştiğinde bunun hakkında yazmıştım: cihaz ucuz olan kısım. Temel bir Mac Mini yaklaşık 599 dolar. Bulut modeli ise ağır düşünmeyi yapan şey. Orkestrasyonu yerel, özel ve her zaman açık tutarsınız; otomasyonunuz için her zaman açık bir abonelik katmanına veya başka birinin altyapısına güvenmeniz gerekmez.
İkinci versiyon ise tamamen yerel bir LLM'dir. Modelin kendisi cihazınızda yaşar. API çağrısı yok. Bulut bağımlılığı yok. Verileriniz makinenizden ayrılmaz. Uzun bir süre bu ikinci yol, ciddi donanım anlamına geliyordu çünkü çalıştırmaya değer modeller büyüktü ve büyük olmak pahalı demekti. Gerçekten yetenekli bir şey elde etmek için çok güçlü bir Mac Studio veya daha fazlasına bakıyor olurdunuz.
Bu hesap değişmeye başlıyor.
MacBook Deneyi
9 milyar parametreli Qwen 3.6, 16 GB RAM'de kabul edilebilir şekilde çalışıyor. Asıl bulgu bu ve göründüğünden daha büyük bir olay.
Ollama kullandım. Tek komutla kurulan, tüm model yönetimini halleden ve size localhost:11434'te yerel bir OpenAI uyumlu API sunan bir araç. OpenAI formatını destekleyen herhangi bir araç onu işaret edebilir. Buna, Wiz için arayüz olarak kullandığım Claude Code da dahil.
Bunu tekrarlamak isterseniz, üç komut:
<code-segment id="0" lang="bash">
ollama pull qwen3.6:9b
ollama serve
ollama run qwen3.6:9b
</code-segment>
İşte bu kadar. Ollama, localhost:11434'te OpenAI uyumlu bir API ile yerel bir sunucu başlatır. Claude Code kullanıyorsanız, temel URL'yi ayarlayarak Ollama'yı işaret edebilirsiniz. OpenAI API formatı için oluşturulmuş herhangi bir araç sorunsuz çalışır. Artık çevrimdışısınız, API anahtarı yok, token başına maliyet yok.
İşte gerçekte olanlar:
Bellek geri çağırma şaşırtıcı derecede iyi çalıştı. Bellek dosyalarımdan bağlam istedim. Onları okudu ve makul bir doğrulukla ilgili bilgileri yüzeye çıkardı. Sentezleme Claude seviyesinde değildi, ancak bilgiler alındı ve doğru kullanıldı. Temel olarak "bir dosyayı oku, ilgili kısmı bul, raporla" olan bir görev için 9B'lik bir model bunu gayet iyi halleder.
Araç çağırma ilginçti. Qwen, basit isteklerde ajan sistemimdeki araçları makul bir doğrulukla çağırabiliyordu. Bu, ajanlık çalışma için ham metin kalitesinden daha önemlidir. Yapay zeka maliyet optimizasyonunu düşünürken, doğru aracı doğru zamanda çağırabilen model, genellikle en güzel düzyazıyı yazan modelden daha değerlidir.
Yaratıcı görevler ve karmaşık akıl yürütme? Aynı değil. Yazma yardımı, analiz veya gerçek sentez gerektiren herhangi bir şey istediğimde, kalite farkı belirgindi. Bu bir eleştiri değil. Sadece 9B'lik bir modelin ne olduğu ve ne olmadığı hakkında dürüst bir gözlem. 4B varyantını da denedim ve beklendiği gibi, yetenek düşüşü önemliydi. Benim tür çalışmam için kullanılabilirlik çizgisini 9B'de çizerdim.
Buradaki önemli çerçeve: Bu, Qwen'i Claude Opus ile karşılaştırmakla ilgili değil. Aynı kategoride değiller. Bu, yerel bir modelin yaptığım işin gerçek bir alt kümesini idare edip edemeyeceğiyle ilgili ve cevap evet. Gerçek, önemsiz olmayan bir alt küme.
Ayrıca henüz keşfetmediğim ama ilgimi çeken bir yol daha var: ince ayar. Kendi donanımınızda 4B veya 9B'lik bir modele ince ayar yapabilirsiniz. Ona yazılarınızı, tercihlerinizi, terminolojinizi, tarzınızı besleyin. Hazır bir modelden daha özelleştirilmiş bir şey elde edin. Bu bir MacBook'ta mümkün. Zaman alır, ancak teorik bir alıştırma değil. Modelin ne yapmasını istediğinizi tam olarak bildiğiniz belirli, kişisel görevler için, ince ayarlı küçük bir model, genel amaçlı daha büyük bir modelden daha iyi performans gösterebilir.
iPhone Deneyi
iPhone deneyi, anlık kullanışlılıktan çok merak içindi. Ama beni en çok şaşırtan kısım oldu.
Kullandığım uygulama PocketPal AI (App Store'da ücretsiz). iPhone'unuzda dil modellerini doğrudan, tamamen yerel olarak indirip çalıştırmanızı sağlayan açık kaynaklı bir uygulama. Hugging Face'den modellere göz atar, Wi-Fi üzerinden bir kez indirir ve ardından internet gerektirmeden çalıştırırsınız. Bunun çalıştığını doğrulamanın en basit yolu: uçak modunu açın, ardından modele bir şey sorun. Yanıt verir. Telefonunuzdan hiçbir şey çıkmadı.
iPhone 17 Pro'mda 0,8 milyar ve 2 milyar parametreli Qwen'i çalıştırdım. Kurulum basit:
- App Store'dan PocketPal AI'yı yükleyin
- Uygulamayı açın, model tarayıcısına gidin
- Qwen'i arayın ve küçük bir varyant indirin (eski telefonlar için 0,5B veya 1,5B, 17 Pro gibi yenileri için 2B)
- Sohbet etmeye başlayın, ardından tamamen yerel olduğunu onaylamak için uçak modunu açın
Bariz soru "bu Claude kadar iyi mi" değil, sadece "telefona yerel olarak kullanışlı bir şey sığdırabilir misin?" idi. Cevap evet, ancak net sınırlarla. Bunlar küçük modeller. Temel metin görevlerini ve kısa soru-cevaplamayı makul kalitede hallederler. Bir gecede uygulama oluşturmanıza yardımcı olmazlar. Ama çalışırlar. Tamamen cihazda. Tamamen yerel olarak.
Buradaki en ilginç çıkarım, model yeteneği değil. Donanım sinyali. 2026'da yerel bir LLM çalıştıran bir iPhone, akıllı telefonların artık bunu yapacak kadar güçlü olduğu anlamına geliyor. Bu anlamlı. 0,8B model etkileyici olduğu için değil, cebinizdeki donanım bir eşiği geçtiği için.
Gizlilik açısı da gerçek. Cihazınızdan hiçbir şey çıkmadığında, neyi nereye gönderdiğinizi düşünmek zorunda kalmazsınız. Sorgularınızı yöneten hizmet şartları yok. API günlükleri yok. Sadece siz ve silikonunuzda çalışan ağırlıklar var. Bir bulut yapay zeka hizmetinin AB'de yasaklanmasıyla altı aylık ses verilerime erişimi kaybettiğimden beri bunu düşünüyorum. Yerellik, farklı bir dayanıklılık türüdür.
Maliyet Açısı
Bunun teknik ilginin ötesinde önemli olmasının pratik nedeni şu: Çok sayıda ajan görevi çalıştırdığınızda yapay zeka abonelikleri hızla birikir. Bu varsayımsal değil. Kullanımımı yakından takip ediyorum.
Her görev Opus gerektirmez. Birçok ajan işi gerçekten basittir: bir dosyayı oku, bir şeyi biçimlendir, kısa bir notu özetle, bağlamdan olgusal bir soruyu yanıtla. Bu görevleri bir sınır modeli yerine yerel bir modele yönlendirmek, denklemi önemli ölçüde değiştirir.
Haiku'nun bir sonraki sürümünü yakından takip ediyorum. Sürekli iyileşiyor ve maliyet düşmeye devam ediyor. Yerel modeller de aynı yörüngede, sadece farklı bir katmanda.
Bunun Gittiği Yer
Bence yapay zekanın geleceği, mevcut söylemin önerdiğinden çok daha fazla yerel bilgi işlem içerecek.
Gördüğüm şekil: Zor işler için bulut modelleri. Karmaşık akıl yürütme, yaratıcı işler, mimari kararlar, gerçek yön ve vizyon gerektiren şeyler. Ancak bir ajan sisteminde her gün gerçekleşen yüzlerce küçük bilişsel görev için, yerel modeller yönlendirmeyi mantıklı kılacak kadar iyi hale gelecek.
Donanım argümanı da burada önemli. Son dört yılın tüketici silikonuna bakın. M1, M2, M3, M4, M5. Her nesil bir öncekinden belirgin şekilde daha hızlı ve daha bellek verimli. Her iki taraftaki yörünge, daha iyi modeller ve daha iyi donanım, aynı yeri işaret ediyor. Birkaç yıl içinde, insanların zaten sahip olduğu dizüstü bilgisayarlar, bu hafta çalıştırdığımdan belirgin şekilde daha yetenekli hissettiren modelleri çalıştıracak.
Kaba tahminim: üç yıl içinde, belirli kullanım durumlarına ince ayar yapılmış, bu belirli görevlerde günümüzün sınır modelleriyle gerçekten rekabet eden yerel modeller olacak. Genel akıl yürütmede değil. Yaratıcı sentezde değil. Ancak "önemsediğim bu belirli şeyi hızlıca, özel olarak, internet bağlantısı olmadan yap" konusunda. Bu çok gerçek ve kullanışlı bir kategori.
Ayrıca yeterince tartışılmayan bir çevresel açı var. Bir sorgunun veri merkezine ulaşmasının enerji ve altyapı maliyeti, aynı çıkarımın yerel silikonda çalışmasından katbekat daha yüksektir. Rutin yapay zeka görevlerinin çoğu yerel hale gelirse, kaynak denklemi değişir. Çözülmez, ancak anlamlı şekilde farklılaşır.
Şu anda ödünleşimler net: yerel modeller sınırlı, ince ayar çaba gerektiriyor ve sınır modellerle yetenek farkı gerçek. Ancak gidiş yönü belirsiz değil. Açıklık kapanıyor. Bunu bu hafta yıllardır sahip olduğum donanımda test ettim ve görevleri nereye yönlendirdiğim hakkında düşünmemi sağlayacak kadar iyi çalıştı.
Merak ediyorsanız: Ollama'yı kurun, Qwen 3.6 9B'yi çekin ve iş akışınızda basit bir şey deneyin. Deneyim bir kıyaslama çalıştırmaktan farklı. Şaşırtıcı derecede gerçek.
Bu faydalıysa - Telegram kanalımı takip edin:
