GPT her şeye gücü yeten değildir. Bir görevde başarısız olduğunda, Codex'te denemeye devam mı ediyorsun yoksa başka bir modele mi geçiyorsun? Tek bir model yeterli olmadığında, model değiştirmeyi, veri eklemeyi veya araçları kullanmasına izin vermeyi düşünmen gerekir.
Codex çıkmadan önce Cherry Studio kullanıyordum ve yapay zekaya derinlemesine dalmış birçok arkadaşım da onu kullanıyor. Bugün, ne yapabileceğinden ve bu çalışma tezgahını senin için nasıl sorunsuz çalıştıracağından bahsedelim.
1. Cherry Studio'nun Yapabilecekleri
Cherry Studio, açık kaynaklı bir masaüstü yapay zeka yazılımıdır. GPT, Claude, DeepSeek, Kimi ve kendi bilgisayarında çalışan modellerin tümü, ilgili arayüzler aracılığıyla bağlanabilir ve aynı yazılım içinde kullanılabilir.
Benim için en çekici kısmı, modeller değiştirilebilirken, sık kullanılan materyallerin, yazma gereksinimlerinin ve araçların bu çalışma tezgahında kalmasıdır.
Örneğin, bir makale yazarken giriş kısmı tatmin edici değilse, aynı materyali aynı anda birkaç modele verebilir, her birine bir versiyon yazdırabilir ve bunları yan yana karşılaştırabilirsin. İyi bir yön seçtikten sonra, orada düzenlemeye devam edebilir, farklı sohbet siteleri arasında tekrar tekrar yapıştırma yapmak zorunda kalmazsın.
İki versiyonu da korumak istersen, bir "Dal" aç ve bunları ayrı ayrı düzenle. Birkaç turdan sonra orijinalin daha iyi olduğunu fark edersen, önceki çatala geri dönebilirsin. Ton ve biçim gereksinimleri "Asistanlar" olarak kaydedilebilir, böylece her seferinde açıklamak zorunda kalmazsın.
Kendi makalelerin, ürün kılavuzların ve proje belgelerin bir Bilgi Tabanına konulabilir. Gerektiğinde, yapay zekanın orijinal metni aramasına ve verilere dayanarak cevap vermesine izin ver; modeli değiştirirsen, bu veriler hâlâ kullanılabilir olur.
Şablonlardan Word belgeleri oluşturmak, klasörleri düzenlemek veya işlevsel bir web sayfası oluşturmak için bunu bir Aracıya devredebilirsin. Model ve araçlar yapılandırıldıktan sonra, materyalleri okuyabilir ve dosyaları işleyebilir. İşi bittiğinde, kontrol etmek için aç, bir sorun varsa, değiştirmesini iste.
Yazılımda ayrıca çeviri, çizim vb. için girişler bulunur. Daha az kısıtlamaya sahip açık kaynaklı modelleri veya yerel modelleri denemek istersen, bunları Ollama veya LM Studio aracılığıyla bağlayabilirsin, bunu daha sonra ayrıca açıklayacağım.
Bu yaygın işlevlerin hazır girişleri vardır; sadece modeli ve gerekli hizmetleri yapılandırman yeterlidir, sıfırdan kod yazmana gerek yoktur.
2. Cherry Studio'yu Kurma
Cherry Studio Resmi İndirme Sayfasını aç.
Mac için, Apple Silicon için ARM64'ü veya Intel çipleri için x64'ü seç. Yükleyiciyi açtıktan sonra, "Uygulamalar" klasörüne sürükle. Windows için genellikle x64 yükleyicisini seç; ARM cihazlar için ARM64'ü seç.
İlk açılışta, yazılıma girmek için "Daha sonra ayarla"ya tıklayabilirsin.
Soldaki "Sohbet" yazmak ve soru sormak içindir; "İş" Aracıların görevleri yerine getirdiği yerdir; "Bilgi Tabanı" tekrar tekrar bakmak için materyalleri depolar. Model yapılandırmasına sol alttaki "Ayarlar" aracılığıyla erişilir.
Üstteki sekmeler bir tarayıcıya benzer. Model yapılandırması yaparken sohbet sayfasını açık tutabilir, ardından test etmek için geri dönebilir, sürekli çıkış yapmak zorunda kalmazsın.
3. Modelleri Bağlama
Kurulumdan sonra bir model bağlaman gerekir. Yazılımın kendisi ücretsizdir, ancak model çağrıları paraya mal olabilir ve model sağlayıcısı tarafından faturalandırılır.
Kimi kullanmayı seviyorsan, Moonshot API'sini bağla; DeepSeek için DeepSeek API'sini bağla. Ayrıca, SiliconFlow gibi birden çok model sağlayan platformları da seçebilir, tek bir hesap altında farklı modeller kullanabilirsin. Bir tane ile başla ve karşılaştırmak istediğinde ikinciyi ekle.
Buradaki API, "Cherry Studio'nun o modeli kullanması için arayüz" olarak anlaşılabilir. Kod yazmana gerek yok; sadece API Anahtarı adı verilen bir dize al ve yazılıma gir.
API Anahtarları, sağlayıcının "Açık Platformu"nda oluşturulur. Bir sohbet aboneliğin olsa bile, API'nin kredisini ayrıca kontrol etmen gerekir, çünkü bunlar genellikle farklı şekilde faturalandırılır.
Kimi'yi örnek alarak, Moonshot Açık Platformu'na kaydol veya giriş yap, API Anahtarı yönetimini bul ve bir anahtar oluştur. Hesabın kullanılabilir kredisini kontrol et; yoksa, platformun gereksinimlerine göre etkinleştir. Küçük bir bütçeyle başla.
Cherry Studio'ya geri dön, "Ayarlar → Model Hizmetleri"ni aç, "Moonshot"u bul, anahtarı yapıştır, hizmeti etkinleştir ve "Model Listesini Al"a tıkla.
Listede birkaç isim olabilir; kullanmayı planladığını ekle. Sohbet sayfasına geri dön, üstteki model adına tıkla ve ona geç. Kısa bir mesaj gönder; normal şekilde yanıt verirse bağlantı başarılıdır.
Bağladığın şey model API'sidir; Kimi'nin web özellikleri ve üyelik avantajları taşınmaz. Burada, Cherry Studio'nun arayüzünü ve araçlarını kullanırsın.
Bir arkadaşın veya şirketin sana bir dizi arayüz verirse ancak sağlayıcı listede yoksa, alttaki "Sağlayıcı Ekle"ye tıkla. Genellikle şu bilgilere ihtiyacın vardır:
Sağlayıcı adı, "Şirket Test Arayüzü" gibi tanıdığın herhangi bir şey olabilir. Model Kimliği rastgele olamaz; sunucunun modeli tanımlamak için kullandığı addır. Liste alınamazsa, kimlik sağlanmışsa manuel olarak ekle.
Bağlanmazsa, hatayı kontrol et. Anahtar geçersizse, tamamen kopyalandığından ve doğru yere girildiğinden emin ol; kredi yetersizse, sağlayıcı bakiyesini kontrol et; model yoksa, Model Kimliğini kontrol et. Adres ve arayüz türü de sağlayıcının belgeleriyle eşleşmelidir.
Model sohbet edebildiğinde, görselleri, dosyaları ve araç çağrılarını dene. Bir metin yanıtı, özellikle daha sonraki Aracı için tüm işlevleri desteklediği anlamına gelmez.
Resmi ve üçüncü taraf hizmetler arasında seçim yaparken, sorun gidermeyi basitleştirmek için resmi arayüzlerle başlamanı öneririm. Üçüncü taraflar iyidir, ancak verilerin kime gönderildiğini, nasıl fiyatlandırıldığını ve modeli kimin sağladığını bil. Bir modelle eşleşen bir isim, arkasında aynı hizmet olduğunu kanıtlamaz.
API Anahtarlarını sohbet günlüklerine veya herkese açık ekran görüntülerine yapıştırma; başkaları kredini kullanabilir.
4. Modelleri Test Etme
Bağlandıktan sonra, sık kullandığın materyallerle test et, örneğin bir taslak, toplantı notları veya ürün açıklamaları. Aşinalık, cevabın bir şeyi kaçırıp kaçırmadığını görmeyi kolaylaştırır.
Örneğin, uzun bir materyali bir iş arkadaşına kısa bir mesaj olarak özetlemek için, iki modele aynı gereksinimi ver:
1Aşağıdaki materyali bir iş arkadaşına mesaj olarak özetle, 200 kelimenin altında.23Onaylanmış sonuçları, sorumluları, zamanları ve çözülmemiş sorunları koru.4Orijinalde olmayanı ekleme; geçici maddeleri onaylanmış olarak yazma.5Giriş yapma, metni doğrudan ver.67Materyal:8Orijinal metni buraya yapıştır.
Karşılaştırırken şunlara odaklan: son teslim tarihi korundu mu? "Geçici Cuma" "Cuma tamamlandı" olarak değiştirildi mi? Bunlar, tonu yargılamadan orijinalle kontrol edilebilir.
Sohbetin üst kısmındaki model seçiciyi aç, çoklu model seçimini etkinleştir, yapılandırılmış iki veya üç modeli işaretle ve aynı soruyu gönder.
Bir model taslaklarda daha iyiyse ve diğeri eksiklikleri kontrol etmede daha iyiyse, daha sonra bunları ayrı ayrı kullanabilir, birinin her şeyi yapmasını sağlamak zorunda kalmazsın.
Hızı kontrol etmek için "Ayarlar → Görünüm"e git ve "Tahmini Token Sayısını Göster"i etkinleştir. Bir yanıttan sonra, ilk token süresini, saniyedeki token sayısını ve yaklaşık kullanımı karşılaştırmak için istatistikleri kontrol et.
Tokenler, model işleme birimidir; bunları kesin kelime sayıları olarak ele alma. Bu istatistikler maliyetleri izlemeye yardımcı olur, ancak nihai fatura sağlayıcıya bağlıdır.
Yazma modelleri daha fazla test etmeye değer. "İkinci paragrafı koru, sadece girişi değiştir, sayılara dokunma" diye sor ve diğer bölümleri yanlışlıkla değiştirip değiştirmediğini gör. Her cümleyi değiştirdiğinde tüm metni yeniden kontrol etmek zorunda kalmak yorucudur.
Yaygın test sorularını ve materyallerini not olarak kaydet. Yeni bir model bağlarken, bunları tekrar çalıştır. Karşılaştırmalar için her zaman aynı materyalleri kullanarak yeni bir konu başlat, önceki sohbetin etkisinden kaçınmak için.
Her seferinde her modele sorman gerekmez. Çoklu seçim, ayrı istekler gönderir ve her biri potansiyel olarak paraya mal olabilir ve verileri bu hizmetlere gönderebilir. Şemalar veya başlıklar seçmek için kullan; bir yön belirlendikten sonra, tek bir modelle devam et.
5. Dallarla Çalışmayı Yönetme
Beşinci versiyona ulaştıysan ancak aniden ikincisinin daha iyi olduğunu hissettiysen veya aynı taslağı yazmanın iki yolunu denemek istiyorsan, ilgili mesajdan bir dal oluşturabilirsin.
Korumak istediğin mesajı bul, mesaj menüsünü aç ve "Dal"ı seç. Yeni yol, çatallanmadan önceki bağlamı taşır ve sonraki tartışmalar, orijinal yolun üzerine yazılmadan ayrı ayrı kaydedilir. Dal yöneticisini kullanarak geri dön.
Örneğin, bir makalenin taslağı varsa ancak giriş belirlenmemişse, iki dal oluştur: biri sonuçla başlayan, diğeri belirli bir senaryoyla başlayan. Her ikisini de birkaç tur düzenle, hangisinin daha iyi olduğunu gör ve oradan devam et. Birini denemek için diğerini silmek zorunda değilsin.
Küçük düzenlemeler için, sadece devam et. Her iki versiyonu da korumak istersen, bir dal kullan.
Aynı tür metin işini sık sık yapıyorsan, önce bir Asistan oluştur. "Sohbet → Asistan Ekle"ye git, "Makale Editörü" gibi tanınabilir bir ad ver ve uzun vadeli gereksinimleri kaydet:
1Genel okuyucular için Çince makaleler düzenlememe yardım ediyorsun.23Taslaktaki gerçekleri ve belirli örnekleri korumaya öncelik ver.4Yeni bilgi içermeyen gereksiz sözleri sil; yazarın geçmişini ekleme.5Düzenlememi istediğim bir paragrafı belirttiğimde, yalnızca onu düzenle.6Kanıt olmadan yapılan yargıları belirt; kaynak uydurma.
Asistanlar, uzun vadeli alışkanlıkları depolar. Belirli makale temaları, materyalleri ve uzunluk gereksinimleri, bir sonrakine taşınmaması için mevcut konuda kalmalıdır.
İnceleme yaparken, başka bir dal aç ve modelin yalnızca sorunları bulmasına izin ver:
1Bu taslağı kontrol et, yeniden yazma.23Sağladığım materyallere karşı şunları bul:41. Orijinal tarafından desteklenmeyen gerçekler veya sayılar.52. "Olası" veya "geçici"nin onaylanmış hale geldiği yerler.63. Silinebilecek tekrarlayan açıklamalar.78Her biri için orijinali alıntıla ve sorunu açıkla. Hiçbir temel bulunamazsa, "kaynak gerekli" yaz.
İnceleme için model değiştirmek bazen önceki modelin kaçırdığı sorunları bulabilir. Ancak, her ikisi tarafından da onaylanan içerik yine de yanlış olabilir; önemli gerçekleri her zaman orijinal verilere karşı doğrula.
Yalnızca makaleleri düzenlerken, modele bir terminal, tarayıcı veya dosya araçları vermen gerekmez. İlgisiz araçları kapatmak gereksiz talimatları azaltır.
Dosyalar için bir Aracıya geçerken, ona son taslağı ve gereksinimleri vermeyi unutma. Önceki konuşma otomatik olarak tamamen taşınmaz; hangi versiyonu kullanacağını açıkça söyle.
6. Görevleri Aracılara Devretme
Taslak hazır olduğunda ve Word'e biçimlendirilmesi veya PDF'ye aktarılması gerektiğinde, soldaki "İş"e git. Taslağı ve şablonu hazırla.
"Aracı Ekle"ye tıkla, amacına göre adlandır, örneğin "Veri Düzenleyici". Çalışma modunu, ardından desteklenen modeli seç ve gereksinimleri gir. Oluşturduktan sonra, düzenleme sayfasında araçları, izinleri, becerileri ve bilgi tabanlarını ayarlayabilirsin.
Çalışma modu, hangi modellerin ve izinlerin mevcut olduğunu etkiler; mevcut modun listesine göre seçim yap. Normal sohbet için modeller, Aracılar için mutlaka uygun değildir. Bir mod seçildikten sonra doğrudan değiştirilemez; yeni bir Aracı oluşturman gerekir.
Bazı modlarda, ana iş, planlama ve hafif işleme için Ana, Plan ve Küçük modeller bulunur. İlk önce aşina olmak için hepsi için aynı modelle başla.
Ardından yeni bir görev oluştur ve bir çalışma dizini seç. Materyallerin kopyalarıyla pratik yapmak için özel bir klasör kullan. "Her seferinde onayla" izni varsa, Aracının ne okumayı, çalıştırmayı ve yazmayı planladığını görmek için kullan.
Bir çalışma dizini seçilmiş olsa bile, araç izinlerini kontrol et. Bazı araçlar hâlâ dizinin dışındaki dosyalara erişebilir; ilk seferde "Tam Erişim"i etkinleştirme.
Proje ilerlemesini düzenlemek için hassas olmayan toplantı notlarıyla başlayabilirsin:
1Geçerli dizindeki toplantı notlarını oku ve bir proje ilerleme raporu düzenle.23Orijinal dosyaları değiştirme, taşıma veya silme.4Şu şekilde düzenle: Tamamlandı, Devam Ediyor, Onaylanacak.5Sorumlular ve zamanlar orijinalden gelmelidir; belirtilmemişse "TBC" olarak işaretle.6Her öğeden sonra kaynak dosya adını not et.78Önce bulduğun dosyaları ve taslağı onayım için listele.9Onaydan sonra yeni bir dosya oluştur: Project_Progress.md.
Bulduğu dosyaların doğru olup olmadığını kontrol et, ardından taslağı onayla. Dosya oluşturulduktan sonra, özellikle adları, tarihleri ve "TBC" öğelerinin onaylanmış olarak yazılmadığından emin olmak için aç ve doğrula.
Word veya PDF'yi denerken, ilgili belge araçlarını veya bağımlılıklarını yüklemen gerekebilir. İçeriği ve düzeni kontrol etmek için çıktı alanındaki veya çalışma dizinindeki dosyayı aç.
Web'de veri araması gerekiyorsa, "Ayarlar → Web Arama"ya git ve Exa gibi bir hizmet yapılandır. Bir arama API Anahtarı al, test et ve Aracının arama aracının etkinleştirilip etkinleştirilmediğini kontrol et.
Arama, ayrı yapılandırma gerektirir ve kendi kotaları ve ücretleri vardır. Olmadan, model yalnızca mevcut bilgilere dayanarak cevap verebilir, web'i kontrol etmez.
Arama bir sayfa bulursa ancak görev düğmelere tıklamayı, kaydırmayı veya dosya indirmeyi gerektiriyorsa, tarayıcı işletim yeteneklerine ihtiyacın olabilir. Beceri yönetimindeki Playwright CLI becerisine bak, yükle ve Aracıya ata.
Beceriler, bir tarayıcının nasıl çalıştırılacağı veya belgelerin nasıl oluşturulacağı gibi talimat kümeleridir. Bazıları yardımcı araçlar gerektirir; bunları yapılandır ve test etmek için küçük bir görev çalıştır.
MCP, harici araçları ve hizmetleri bağlamak için kullanılır, örneğin bir Aracının bir iş sistemine erişmesine izin vermek gibi. Hizmeti "Ayarlar → MCP"ye ekle, talimatlara göre yapılandır ve başarılı bir bağlantıdan sonra Aracının MCP ayarlarına bağla.
Yerel toplantı notları için dosya araçları yeterlidir. Tarayıcı becerilerini ve MCP'yi yalnızca gerektiğinde yükle, kullanılmayan yapılandırmaların sorun gidermesinden kaçınmak için.
Teknik demolarında, Aracılar üç tür görev gerçekleştirdi: elektronik ders kitaplarını bulma ve indirme, örneklerden Word ve PDF öğretim materyalleri oluşturma ve fizik problemlerini ayarlanabilir parametrelere sahip etkileşimli web sayfalarına dönüştürme.
Benzer görevler atarken, ders kitabı adları, örnek dosyalar ve parametreler konusunda net ol. Gereksinimler ne kadar spesifik olursa, doğrulamak o kadar kolay olur.
Codex'te iyi çalışan görevler orada kalabilir. Cherry Studio başka bir seçenek sunar: aynı iş için farklı modeller dene veya farklı amaçlar için farklı araçlar yapılandır.
Haftalık ilerleme raporları için aynı Aracıyı yeniden kullan; yeni bir proje için yeni bir görev oluştur ve ilgili klasörü seç. Web sayfası üretimi için ayrı bir tane oluşturarak araçları ve gereksinimleri ayrı tut.
7. Bir Bilgi Tabanı Oluşturma
Tekrar tekrar kullanacağın bir dizi materyal seç, örneğin ürün kılavuzları veya geçmiş makaleler. Yalnızca mevcut bir soru için bir kez okunan dosyalar için, bir taban oluşturmak yerine doğrudan sohbete yükle.
Bir taban oluşturduktan sonra, yazılım verileri bölümlere ayırır. Bir soru sorduğunda, önce ilgili orijinal metni bulur, ardından bir cevap düzenlemek için sohbet modeline verir; veriler kaydedilir ve ayrı ayrı alınır, modele eğitilmez.
Soldaki "Bilgi Tabanı"nı aç, ekle'ye tıkla ve amacına göre adlandır, örneğin "Ürün Satış Sonrası Kılavuzu". İlk seferde, "Gömme Modeli"ni "Kullanma" olarak ayarla, böylece anahtar kelime aramasına hâlâ izin ver.
Bir veya iki tanıdık dosya ekle, işlenmesini bekle ve ayrıştırılan metnin normal olup olmadığını kontrol et. Özellikle taranmış PDF'leri kontrol et; metin tanınmazsa, aranamaz hale gelir.
Bu bilgi tabanında "Geri Çağırma Testi"ne git ve net bir cevabı olan bir soru sor. Geri çağırma, hangi bölümleri aldığını gösterir. Kılavuzda iade koşulları varsa, "Açtıktan sonra iade edebilir miyim?" diye sor ve sonucun tam olarak bu koşul olup olmadığını kontrol et.
Bu, alınan orijinal bölümleri gösterir, böylece doğruluğu modelin cevabını tahmin etmeden doğrudan kontrol edebilirsin.
Onaylandıktan sonra, sohbete geri dön, giriş alanındaki ekle düğmesine tıkla, "Bilgi Tabanı"nı seç ve tabanı işaretle. Ad giriş alanında göründükten sonra, sorunu sor:
1Seçilen ürün verilerine dayanarak, en sık sorulan satış sonrası sorularını düzenle.23Her cevap için ilgili kaynağı ekle.4Verilerde olmayan içerik için "verilerde bulunamadı" yaz, vaat ekleme.5Farklı dosyalar çelişiyorsa, çelişkileri listele; benim için karar verme.
Bilgi tabanı girişi griyse, mevcut modelin araç çağrılarını destekleyip desteklemediğini kontrol et ve mesaja eklenmiş dosyaları kaldır. Bilgi tabanında ayrıca en az bir işlenmiş dosya bulunmalıdır.
İfadeyi değiştirdiğinde içerik bulamazsa, bir gömme modeli ekle. Örneğin, metin "konaklama ücret standartları" der ama sen "bir otel için ne kadar talep edebilirim?" diye sorarsan. İfade farklıdır. Gömme modeli, son cevabı yazan sohbet modeli değil, anlam yoluyla içerik bulur.
Yapılandırma, modelleri bağlamakla aynıdır. SiliconFlow'u örnek olarak kullanarak, "Model Hizmetleri"nde Anahtarı yapılandır, listeyi al, gömme kategorisinde bge-m3 gibi modelleri bul ve ekle.
Bilgi Tabanı ayarlarına geri dön, "Gömme Modeli" altında onu seç ve yazılımın verileri indekslemesini bekle. Daha önce farklı bir gömme modeli kullandıysan, istendiği gibi yeniden oluşturman gerekir. Aynı soruyla tekrar test et.
Anahtar kelime araması, bir gömme modeli olsa bile kalır. Doğru içerik bulunursa ancak düşük sıralanırsa, bir Yeniden Sıralama modeli düşün.
Bir Yeniden Sıralama modeli, alınan bölümleri yeniden sıralayarak daha alakalı olanları öne çıkarır. Model hizmetlerine bge-reranker-v2-m3 gibi bir yeniden sıralama modeli ekle, ardından Bilgi Tabanı ayarlarında seç. Mevcut modeller ve maliyetler sağlayıcıya bağlıdır.
Gömme ve Yeniden Sıralama her zaman gerekli değildir. Ürün modellerini veya madde numaralarını kontrol etmek için anahtar kelime araması yeterli olabilir.
Sorun giderme için: metin bulunamazsa, dosyanın işlenip işlenmediğini veya metnin eksik olup olmadığını kontrol et; metin bulunursa ancak bağlam eksikse, bölümlerin kesilip kesilmediğini kontrol et; bölümler tamamsa ancak cevap yanlışsa, istemi kontrol et veya sohbet modellerini değiştir.
Eski kılavuzları yenileriyle değiştirirken, güncel olmayan girişleri kaldır, böylece çelişkili sürümler tabanda kalmaz. Ayrıca, verilerde olmayan bir soru sorarak bulamadığını kabul edip etmediğini görebilirsin.
Bir Aracının bu materyalleri aramasına izin vermek için, Aracının bilgi tabanı ayarlarında ilgili tabanı bağla. Bir ürün planı için, ona ürün kılavuzunu ver, tüm şirket dosyalarını değil.
Bulut gömme, yeniden sıralama veya sohbet modellerini kullanmak, içeriğin sağlayıcılara gönderilebileceği anlamına gelir. Şirket verilerini içe aktarmadan önce buna izin verilip verilmediğini onayla.
8. Yerel Modelleri Bağlama
Açık kaynaklı modelleri veya daha az kısıtlamaya sahip olanları denemek için, bunları kendi bilgisayarında çalıştır ve Cherry Studio'ya bağla. Aynı arayüzü kullanacaksın, ancak cevaplar bir bulut API'sinden gelmeyecek.
Yaygın seçenekler Ollama ve LM Studio'dur; biri yeterlidir. Modelleri indirir ve çalıştırırlar; Cherry Studio bağlantı, sohbet ve veri düzenlemeyi halleder. Hugging Face, modelleri bulduğun yerdir.
Önce Ollama. Ollama web sitesinden indir ve yükle, bir terminal aç ve şunu çalıştır:
1ollama run dolphin-mistral
Bu, test için 7B bir modeldir; önce dosyayı indirecektir. İşlem tamamlandığında, terminalde bir soru sorarak çalıştığını onayla.
Cherry Studio "Ayarlar → Model Hizmetleri"ni aç, Ollama'yı bul. Hizmet adresi genellikle:
1http://localhost:11434
Hizmeti etkinleştir, listeyi al, modeli ekle ve sohbette seç.
"localhost" bilgisayarını ifade eder. Başarısız olursa, Ollama'nın çalıştığından, modelin indirildiğinden ve bağlantı noktasının değişmediğinden emin ol. İki yerel uygulamayı bağlamak için hizmeti genel internete açma.
Terminal tercih etmezsen, LM Studio kullan. Arama sayfasında modelleri ara ve indir, ardından modeli yükle ve yerel sunucuyu başlat. Cherry Studio'da LM Studio sağlayıcısını bul, görüntülenen adresi gir ve listeyi al. Model yüklenmezse veya sunucu başlatılmazsa Cherry Studio onu kullanamaz.
"Sansürsüz modeller" bulmak için Hugging Face'te şunu ara:
1uncensored GGUF
"Sansürsüz", daha az kısıtlama için bir açıklamadır, bir sertifika değildir. Model daha az yaratıcı isteği reddedebilir, ancak daha akıllı veya daha güvenilir olduğu anlamına gelmez. Cherry Studio'da "tüm modellerin kısıtlamalarını kaldır" diye tek bir anahtar yoktur; sadece farklı bir model seçiyorsun.
GGUF, yaygın bir yerel model biçimidir. Temel modeli, desteklenen dilleri ve lisansı kontrol et; aracına uygun dosyayı indir; tüm depoya ihtiyacın yok.
7B veya 8B, Q4 nicelenmiş modellerle başla. "B" parametre ölçeğidir; "Q4" ağırlıkların sıkıştırıldığı, daha az bellek kullanıldığı ancak hafif bir etki kaybı olduğu anlamına gelir. Bir Aracıda kullanmak için araç çağrılarını desteklediğini onayla.
Küçük modeller sıradan bilgisayarlarda çalışabilir. Dolphin Mistral yaklaşık 4 GB'tır; 30B Q4 ağırlığı, uzun konuşmalar için çalışan ek yük ve önbellek hariç 15-16 GB veya daha fazla olabilir.
16 GB RAM'e sahip bir bilgisayar, 7B veya 8B nicelenmiş modelleri deneyebilir; hız, çipe, VRAM'e ve bağlam uzunluğuna bağlıdır. 30B çalıştırmak için RAM/VRAM ve disk alanını kontrol et. Birkaç satır için çalışabilir ancak uzun materyallerle önemli ölçüde yavaşlayabilir.
Tamamen yerel olarak çalıştırıldığında, girdi bulut sohbet hizmetlerine gönderilmez ve API faturası yoktur, ancak bilgisayarının gücünü kullanır. Bulut arama, gömme veya yeniden sıralama kullanırsan, bu veriler yine de gönderilebilir.
Not: Cherry Studio ayarlarında indirilebilen yerel gömme ve OCR bileşenleri, alma ve metin tanımaya yardımcı olur. Bunları yüklemek, bir sohbet modeli yüklediğin anlamına gelmez.
Bir dahaki sefere sana yeni bir model arayüzü gönderdiklerinde, bağla ve test sorularını çalıştır. Uyuyorsa, tut; uymuyorsa, çalışma tezgahını değiştirmeden onu değiştir.
Ben Miles, büyük teknolojiden FDE'ye geçmiş bir yapay zeka algoritma uzmanıyım. Ar-Ge, optimizasyon, dağıtım ve kurumsal eğitimde deneyimim var. Beni @miles_mazy adresinden takip et ve birlikte büyüyüp kazanalım.
