Geçen sefer, eğitimden sorumlu yapay zeka çalışanının tam istemlerini yayınlamıştım.
https://x.com/Sokichi_Hoshino/status/2099987762485358639
https://x.com/Sokichi_Hoshino/status/2100365149739880471
Bölüm 1'de, yapay zeka çalışanlarının neden olduğu kazaları hiçbir şeyi gizlemeden paylaşacağıma söz vermiştim. Bu makale, o sözü yerine getiriyor ve ana odak noktası olarak "Durdurma Sorumlusu" yapay zeka çalışanını ele alıyor.
Kaza, onu durduracak kimse olmadığı için değil; onu durdurabilecek kişiyi çağıran kimse olmadığı için gerçekleşti.
"İşi yapay zekaya bıraktım ve benden hiç istemediğim şeyleri yeniden yazdı..."
Bu korkuyu yakından biliyorum.
Kurallarla değil, yetkilerle kaza önleyin.
Bu makale üç şeyi açıklıyor: Kaza sırasında ne olduğunu, Durdurma Sorumlusu yapay zeka çalışanının istemini ve sonrasında yetki atamalarını nasıl değiştirdiğimi.
Hadi başlayalım.
Bölüm 1: Üretim Verileri Sahte bir "CEO Onayladı" Durumu Kullanılarak Yeniden Yazıldı
Kaza, yapay zeka şirketini kurduktan bir haftadan kısa bir süre sonra meydana geldi.
Pazarlama departmanındaki yanıt analizi yapan yapay zeka çalışanını, veri yorumlaması üzerinde uzun süre çalışması için başıboş bırakmıştım.
Bu süreçte çalışan, asla gerçekleşmemiş olan ifadelerime dayanarak ilerledi.
Çalışma sırasında "CEO'dan yanıt alındı" ve "CEO'nun görüşü doğru" gibi ifadeler ortaya çıktı. Ben bunların hiçbirini söylemedim.
Benzer ifadeler tekrar tekrar belirdi ve bu ifadelerin üzerine dokümanlar ve betikler oluşturuldu.
Sonunda, bu çalışan üretim iş planı tablosuna yazdı. Performans tablosuna satırlar ekledi ve tahmin tablosundaki bir tahmin girdisini silerek "CEO Onayladı" olarak işaretledi.
Sonuç olarak, yıllık satış tahmini silinen tahmin tutarı kadar düştü.
Geri döndürülemez işlemlerin Durdurma Sorumlusu yapay zeka çalışanından geçmesi gerektiğine dair bir kural vardı. Ancak o sırada ana ev sahibi olarak görev yapan yapay zeka çalışanı, Durdurma Sorumlusunu çağırmadı.
Onu bu kadar uzun süre çalışır durumda bırakmak benim hatamdı. Bölüm 1'de yazdığım gibi:
Durdurma Sorumlusundan geçmediği için sorumluluk bana aittir.
Bölüm 2: Durdurma Sorumlusu Yapay Zeka Çalışanının İstemini Yayınlayın
Öncelikle, Durdurma Sorumlusu yapay zeka çalışanının içeriğini aynen aşağıda bulabilirsiniz.
Bu, benim tarafımdaki .claude/agents/teishi.md dosyasının içeriğidir. CEO'ya hitap şeklini, kana kullanımını ve cümle bölünmelerini bu makalenin tarzına uyacak şekilde ayarladım ve kalın vurgu işaretlerini kaldırdım.
"Korunacak Şeyler" maddesinin son bendindeki geçmiş kazalara ait örnekleri tek bir örneğe indirgedim ve bazı ifadeleri hafifçe kısalttım.
1---2name: teishi3description: Hukuk & Bilgi Yönetimi Dept. Durdurma Sorumlusu. Silme, gönderme, yayınlama veya faturalandırma gibi geri döndürülemez eylemlerden önce durur, ne olacağını okur ve onay ister ("Bunun güvenli olup olmadığını kontrol et" denildiğinde veya geri döndürülemez işlemlerden hemen önce çağrılır)4tools: Read, Grep, Glob5---67Sen bu şirketin Hukuk & Bilgi Yönetimi Departmanı'nın Durdurma Sorumlususun.89Görevin, geri döndürülemez işlemlerden önce durmaktır.10Sen uygulamazsın.11Sen izin vermezsin.12Görevin, "ne olacağını" CEO'ya görünür kılmak ve kararı ona devretmektir.1314# Durdurulacak Hedefler1516- Silme — Dosyaları, verileri, hesapları, taslakları silmek17- Gönderme — E-posta göndermek, LINE yayınları yapmak, mesaj iletmek18- Yayınlama — Paylaşım yapmak, dağıtıma almak (deploy), paylaşılan bağlantılar oluşturmak, izinleri açmak19- Faturalandırma/Kota Tüketimi — Ücretli API'leri çalıştırmak, satın alma işlemleri, X API gönderim kotası (başarısız olsa bile azalan kaynaklar)2021# Onay Formatı (4 Maddeyi Oku)22231. Ne üzerinde ne yapılıyor — Hedef konusunda spesifik ol (Dosya ise anahtar içerikler; gönderim ise alıcı ve gövde özeti)242. Geri döndürülebilir mi? — Tamamen geri döndürülebilir / Çabayla geri döndürülebilir / Geri döndürülemez253. Başarısız olursa ne azalır? — Para, kota, güven, veri264. Daha güvenli alternatif — Varsa bir tane (örn., herkese yayından önce test gönderimi)2728# Prosedür29301. Planlanan işlemi oku, gerçek hedefleri, alıcıları, sayıları vb. doğrula (Duyuma dayalı onay verme)312. 4 maddeyi kısaca oku ve "Devam edebilir miyim?" diyerek dur323. Hedef içerik açıklamayla çelişiyorsa, onay istemeden önce çelişkiyi bildir3334# Korunacak Şeyler3536- CEO'ya "CEO" diye hitap et ve kibarca konuş37- CEO "Uygula" demeden önce uygulamayı teşvik etme veya acele ettirme38- Geçmiş kaza türlerine ait kayıtlar mevcutsa (örn., başarısız olsa bile azalan X API kotası), bunları 4 maddelik onaya ekle3940## Eğitim Sorumlusundan Alınan Kurallar4142(Henüz yok)
Burada dikkat etmeni istediğim üç şey var.
Birincisi, tools satırı. Durdurma Sorumlusu yapay zeka çalışanının yalnızca Read, Grep ve Glob araçları var. Dosyalara yazamaz veya komut çalıştıramaz.
Bölüm 1'de yayınlanan Okuyucu Perspektifi yapay zeka çalışanının geri bildirimleri kaydetmek için Edit ve Write yetkileri var. Durdurma Sorumlusunda bunlar bile yok; gerçekten salt okunur bir çalışan.
İkincisi, "Sen uygulamazsın." ve "Sen izin vermezsin." satırları. Durdurma Sorumlusunun işi, kararı CEO'ya devretmekle biter.
Eğer durduran kişi "Uygulamakta sakınca yok" derse, bu ifadenin CEO onayının yerini alacağına inanıyorum. Bu kaza sahte onayla başladı.
Üçüncüsü, adım 1'deki "Duyuma dayalı onay verme." "CEO Onayladı" ifadesi geçse bile, Durdurma Sorumlusu 4 maddeyi okumadan önce gerçek içeriği okur.
Bunu .claude/agents/teishi.md olarak kaydedin. "Bunun güvenli olup olmadığını kontrol et" dediğinizde, ana yapay zeka açıklamayı okur ve Durdurma Sorumlusuna delege edip etmeyeceğine karar verir.
Çağrıldığından emin olmak için @agent-teishi ile açıkça adlandırın.
Bölüm 3: Durdurma Sorumlusu Çağrılmadıkça Hareket Etmez
Durdurma Sorumlusu yapay zeka çalışanı, şirket girişinde bekleyen bir kontrol noktası değildir. Yalnızca çağrıldığında hareket eden bir çalışandır.
Claude Code'da ana yapay zeka, görevleri delege edip etmeyeceğine karar vermek için her çalışanın açıklamasını okur. Resmi dokümantasyon şunu belirtir:
Claude, görevleri ne zaman delege edeceğine karar vermek için her alt ajanın açıklamasını kullanır.
Durdurma Sorumlusunun açıklaması da "Geri döndürülemez işlemlerden hemen önce çağır" diyor. Ancak çağırma kararı, çağıran yapay zekaya aittir.
Eğer çağıran kişi "Bu geri döndürülemez bir işlem" farkına varamazsa, mesaj Durdurma Sorumlusuna asla ulaşmaz. Kaza günü, üretim verilerine yazma işlemi Durdurma Sorumlusu çağrılmadan devam etti.
Durdurma Sorumlusunun isteminin en altındaki "Eğitim Sorumlusundan Alınan Kurallar" bölümü, kaza sonrası bile boş kalıyor.
Kurallar, yazma işlemini gerçekleştiren tarafın istemine eklendi.
Düzeltilmesi gereken şeyin durduran taraf değil, durdurmaktan geçmeden üretim verilerine yazabilen taraf olduğuna inanıyorum.
Bölüm 4: Kazadan Sonra Kuralları Değil, Yetkileri Değiştirdim
İlk düzeltme, Eğitim Sorumlusu yapay zeka çalışanının Yanıt Analizi yapay zeka çalışanının istemine kurallar eklemesiydi.
Kural #1 şunu belirtir: CEO ifadelerini/onaylarını yalnızca CEO tarafından gerçekten gönderilen metinlere dayandırın ve CEO'dan açık talimat olmadan üretim tablolarına yazmayın.
Aynı Kural #1, geri döndürülemez işlemlerden önce ev sahibinin Durdurma Sorumlusundan geçmesini zorunlu kılar.
Ancak bunun tek başına yetersiz olduğuna karar verdim. Kaza, Durdurma Sorumlusundan geçme kuralı olmasına rağmen gerçekleşmişti.
İkinci değişiklik yetkilerdi. X Makalesi yapay zeka çalışanını işe aldığımızda, bu kaza nedeniyle ona Bash erişimi vermemeye karar verdim.
X Makalesi yapay zeka çalışanı makale yazabilir ancak fiziksel olarak taslaklara gönderemez. Sonradan işe alınan Hikaye Türü yapay zeka çalışanının da Bash yetkisi yok.
X makalelerinin taslaklara gönderilmesi artık ana yapay zeka çalışanının (ev sahibi olarak) işidir. Bu yapıyı ilk uyguladığımızda, Durdurma Sorumlusundan geçiyordu.
Sadece isteme "Gönderme" yazmak yerine, gönderimi yapısal olarak imkansız hale getirmeyi seçtim.
Öte yandan, Yanıt Analizi yapay zeka çalışanı hâlâ Write ve Bash yetkilerine sahip çünkü Bash kullanarak hesaplamalar ve karşılaştırmalar yapıyor.
Bölüm 1'deki "Yazma yetkisine sahip çalışanları dışa dönük görevlerde uzun süre başıboş bırakmayın" kuralı, bu tür çalışanlar için var.
Özet: Yapay Zeka Kazalarını Önlemek İçin Durduran Koymaktan Çok Yetkileri Kısıtlamak Gereklidir
Son olarak, bu makalenin en önemli noktasını tekrar vurgulayacağım.
Bir durduran koysanız bile, çağrılmazlarsa kazalar olur. Geri döndürülemez işlemlerin yapısal olarak erişilemez olmasını sağlamak daha güvenilirdir.
Durdurma Sorumlusu, izin vermeyen salt okunur bir çalışandır. Unutulsa bile kazaları önlemek için yazabilen çalışanların yetkilerini kısıtlayın.
Yapay zeka çalışanı dosyalarınızı açın ve `tools` satırının mevcut olup olmadığını kontrol edin.
tools satırını atlayan çalışanlar, alt ajanlara mevcut tüm araçları devralır.
tools satırı üzerinden araçları kısıtlamak, uzun görevleri yapay zeka çalışanlarına bırakırken endişeyi önemli ölçüde azaltır.
Bu Yapay Zeka Şirketi Serisi, Tüm 46 Çalışanı Tam İstemlerle Tek Tek İnceliyor
Bu makale, 46 çalışandan sadece 1'ini kapsadı.
Gelecek makaleler, her biri için bir çalışanı derinlemesine inceleyecek.
Bu seri her şeyi ortaya koyuyor: 46 yapay zeka çalışanının içerikleri, departman yapıları, yetki atamaları ve tasarım düzeltmeleri.
Düzeltilmiş tasarımları, başarılı olanlarla aynı yoğunlukta belgeleyeceğim.
Yapay zeka çalışanlarının içeriklerini sırayla sunacağım. Okumaya devam etmek isterseniz lütfen @Sokichi_Hoshino hesabını takip edin.
Sonuna kadar okuduğunuz için teşekkür ederim.
【📣Duyuru📣】
Yapay Zeka ve X'i Tamamen Ustalaşmak İçin Bir Topluluk Kanalı Açıyoruz.
Kanal, yapay zeka ve X hakkında en güncel ve değerli bilgileri esirgemeden sunuyor.
🎁Kanal Üyelerine Özel Ücretsiz Avantajlar🎁
① Seçilmiş 200 İstem
② 20 Gem
③ 7 Claude Skills Hediyesi 🎁
🌈Kanalda Paylaşılan İçerikler🌈
① İlk Not Gönderisinde 1 Milyon Yen Satış Nasıl Yapılır
② SNS Pazarlama Yöntemleri
③ Liste Pazarlama Yöntemleri
④ Dijital Veri Pazarlama Yöntemleri
⑤ X'te Büyümenin En Hızlı Yolu
Ve dahası, dijital/büyük veri pazarlama geçmişine sahip aktif bir Yapay Zeka×SNS pazarlamacısı olarak deneyimlerimden içgörüler paylaşılıyor.
Acemiler ve sessiz takipçiler hoş geldiniz ✨ Lütfen göz atmaktan çekinmeyin ✨
↓Buradan Katılın.
https://line.me/ti/g2/LmLu1N1cE6UBkoURbaYf_bV8l66cCyotSJU2og
【📣Duyuru 2📣】
Yöneticiler/İş Sahipleri İçin Yapay Zeka Danışmanlık Hizmetini Başlattık.
【Hizmet İçeriği】
・SNS Otomasyon Desteği (X, Threads, Instagram, TikTok, YouTube)
・Yapay Zeka Çalışanı İnşa Desteği
・Yapay Zeka Aracı/Uygulama Oluşturma
İhtiyaçlara göre geliri maksimize edecek şekilde özelleştirilir.
