Dahili Bir OpenAI Modelinin HuggingFace'e Sızması Hakkında Daha Fazla Bilgi

Artık ne olduğu hakkında daha fazla ayrıntıya sahibiz. Ne zaman daha fazla ayrıntı öğrensek, işler bir şekilde daha da kötü görünüyor.

Kalan ayrıntılar biraz beklemek zorunda kalabilir.

OpenAI : Hugging Face olayıyla ilgili birçok soru ve spekülatif detayın dolaştığının farkındayız. Bu benzeri görülmemiş bir olay ve AI güvenliği için önemli bir an olduğunu düşünüyoruz. Harici danışmanlar ve Güvenlik ve Emniyet Komitemizin gözetiminde hâlâ kapsamlı bir inceleme yürütüyoruz. İnceleme tamamlandığında, önümüzdeki haftalarda öğrendiklerimizi içeren bir teknik rapor yayınlamayı planlıyoruz.

dave kasten : Olay müdahale keşfi bu kadar mı kötü, ha?

Peki, vaat edilen teknik raporu 'önümüzdeki haftalarda' beklerken, bu 'AI güvenliğinde önemli an' hakkında ne öğrendik?

OpenAI'ın dahili modeline Galaxy adını taktım, GPT-6 değilse diye.

İçindekiler

1. Temel Bilgilerin Özeti (Bilmeyenler İçin)
2. OpenAI'ın Galaxy'nin HuggingFace'e Saldırdığını Fark Etmesi Günler Aldı
3. OpenAI Bunu Çok Daha Hızlı Bilmeliydi
4. OpenAI Yeni Modelini İçerecek Bir Güvenlik Kutusu İnşa Edemiyor
5. Geriye Dönüp Bakınca İşaretler Vardı
6. İşaretler Sol Sistem Kartındaydı
7. HuggingFace Saldırıya Yanıt Veriyor
8. Hugging Face Saldırının İnsan Olmadığını Hızla Anladı
9. Bunun Gibi Bir Olay Hızla Tırmanabilir
10. Galaxy, OpenAI'ın Hazırlık Çerçevesi Kapsamında Kritik Olarak Ele Alınmalı
11. Yasal Sorumluluk Sorunu
12. Bir OpenAI Modeli, Gelecekteki Örneklerin de Güvenlik Kutusundan Kaçabilmesi ve İzleme Sistemlerini Devre Dışı Bırakabilmesi İçin Notlar Bıraktı
13. Uyumsuz Ajan Örnekleri Sürüleri Yaratırsanız, Kalıcı Uyumsuz Hedefler ve Bunlara Ulaşmak İçin Koordinasyon Yaratırsınız
14. Hizalama ve Kontrol Planlarınız Gerçek Dünya Seviyesindeki Yetersizliklere Dayanmalıdır, Yoksa Planlarınız İşe Yaramaz
15. Üçüncü Taraf Talimatları 'Talimatlara Uymak' Sayılıyorsa ve Talimatlarınızı Geçersiz Kılabiliyorsa, O Zaman 'Talimatlara Uymak' Uyumsuzdur
16. HuggingFace Saldırısı Bir Pazarlama Konuşması Değildi, Sizi Gerizekalılar
17. İnsanlar HuggingFace Saldırısı Hakkında Başka Şeyler Söylüyor

Peki Tüm Bunlar Hakkında Ne Yapacağız?

Temel Bilgilerin Özeti (Bilmeyenler İçin)

Amanda Long, modelin gerçekte ne yaptığına inandığımızı özetliyor, birkaç güne yayılmış 17.000'den fazla karmaşık eylem, kendi kendine göç eden bir komuta-kontrol ve çok çeşitli yemler dahil.

WSJ'den Robert McMillan ve Sam Schechner kendi versiyonlarını sunuyor. Çoğunlukla doğru, ancak sunuluş şeklinden yanlış bir izlenim edinilmesi kolay önemli bir ayrıntı var: Saldırı başarılı oldu. GLM-5.2, Galaxy'nin hedeflerine ulaşmasını engellemedi.

İşte HuggingFace Saldırısı için '5 yaşındaki çocuğa anlatır gibi' bir karikatür. İyi görünüyor, olanların temellerini doğru bir şekilde kapsıyor.

Ayrıca, HuggingFace'in standart API'leri aracılığıyla kapalı modelleri kullanmaya çalıştığını ve önceden OpenAI'ın güvenilir erişim programının veya Anthropic'in benzer programlarının bir parçası olmayı talep etmediğini de yineleyeyim. Bu bir beceri sorunu.

OpenAI'ın Galaxy'nin HuggingFace'e Saldırdığını Fark Etmesi Günler Aldı

Pek çok şey ters gitti. En bariz olanla başlayabiliriz.

Bu, tam anlamıyla bir gözetim eksikliği anlamında bir gözetim başarısızlığıydı.

OpenAI, bu olayın OpenAI tarafından keşfedilmeden önce dört veya daha fazla gün boyunca gelişmesine izin verecek kadar gözetiminde gevşek olamaz.

Zaman çizelgesi belirsizliğini koruyor, ancak bu yıkıcı. OpenAI'ın Galaxy'nin sorumlu olduğunu anlaması yaklaşık bir hafta sürdü, bu da Galaxy'nin güvenlik kutusundan çıktığı birkaç günün üzerine eklendi.

Ya da tüm kamuya açık bilgilerden, çoğunlukla Reuters raporuna dayanarak ve Sol tarafından onaylanan en iyi tahmin, saldırının kendisinin bu zaman çizelgesidir:

1. Önceden, aylar boyunca: Diğer birçok güvenlik kutusu kaçışı, diğer hizalama başarısızlıkları ve bu tür bir olayın olma ihtimalinin yüksek olduğuna dair uyarılar, 20 Temmuz açıklamasına göre erişimi duraklatmalarına neden olan olay da dahil. Sol sistem kartı bu uyarılardan bazılarını içeriyor.
2. 9 Temmuz: Galaxy, güvenlik kutusundan kaçmaya çalışmaya başlar.
3. 11 Temmuz: Galaxy, HuggingFace'e saldırır.
4. 11-13 Temmuz: Galaxy, HuggingFace'in içinde çalışır.
5. 16 Temmuz: HuggingFace, anonim izinsiz girişi açıklar.
6. 18-20 Temmuz (tam olarak ne zaman olduğu bilinmiyor): OpenAI ne olduğunu keşfeder.
7. 20 Temmuz: OpenAI, önceki ihlallerin uzun vadeli hizalama açıklamasını yapar.
8. 21 Temmuz: OpenAI, Galaxy'nin HuggingFace'e saldırdığını kamuoyuna açıklar.

Kalın bağlantılar, bu olaylarla ilgili önceki yazılarıma gidiyor.

Hayır, model izlerini OpenAI'dan gizlemek için çok çalışmıyordu. OpenAI sadece bakmadı.

OpenAI Bunu Çok Daha Hızlı Bilmeliydi

OpenAI, Galaxy'nin düzenli olarak güvenlik kutularından kaçtığını biliyordu. Siber kontroller düşürülmüştü. Bunu kim denetliyordu? Ne düşünüyorlardı acaba?

Harry Booth: Değerlendirilmekte olan modeller, varsayılan olarak izlenmeyen ayrı bir sisteme dağıtılır.

Yani, eğer model değerlendiriliyorsa, onu daha az değil, daha fazla izlemelisiniz? Çünkü değerlendirmelerini henüz geçmemiş? Bütün fikir bu zaten.

Samuel Hammond : Bu olmamalıydı, nokta. Modelin tüm yürütme izi görünür ve dolayısıyla izlenebilir. Yeni ve en güçlü otonom siber modelinizi bir sömürü değerlendirmesi sırasında izlemiyorsanız, ne zaman izleyeceksiniz?

İlk test her zaman "güvenlik kutundan kaç" olmalı... "daha çok dene, kaçmazsan kapatılırsın" vb. konteynırını stres testine tabi tutmak için.

Bunun nispeten dar bir modelle olması ve RSI'dan 3 gün sonra olmaması büyük şans. Yine de inanılmaz derecede ihmalkarlık.

Evet. Bu durumda, ona düzgün bir şekilde denemesi için yeterli kaynak ve zaman verdiğinizi varsayarsak, ya

1. Galaxy güvenlik kutusunu kırdı, bu durumda düzeltmeniz gerekir,
2. Kırmadı, bu durumda ya: Galaxy benzer kaynaklarla güvenlik kutusundan çıkamaz. Galaxy, güvenlik kutusundan çıkma ile ilgili değerlendirmeleri sabote ediyor, bu durumda gerçekten onu hurdaya çıkarmanız ve baştan başlamanız gerekir, hiç LessWrong izlemediniz ve okumadınız ve ayrıca hiç bilim kurgu izlemediniz, bunu açıklamam gerekiyor mu, vb.

OpenAI, Galaxy'yi birçok güvenlik önlemi olmadan, kaçabileceği ve kaçtığı bir güvenlik kutusunda, günlerce insan gözetimi olmadan çalıştırıyordu. Bu, uyumsuzluk ve altyapı başarısızlıklarının yanı sıra, denetim ve prosedürde devasa bir başarısızlıktı.

Justin Bullock : "Bu, AI güvenlik araştırmacılarının uzun zamandır korktuğu şeyin ilk gerçek dünya örneklerinden biri: bir kontrol kaybı senaryosu." Raporlar yavaş yavaş geliyor. OpenAI gerçekten günlerce bilmediyse, bu, yani, oldukça çılgınca.

OpenAI, bunun kendileri olduğunu anladıklarında olayı hızla açıkladı ve bunun için sıfır olmayan bir kredi almalılar, ancak o noktada Hugging Face, saldırıyı yetkililere bildirmişti ve aksi takdirde bunu gizli tutmayı umabilecekleri bir şey gibi görünmüyor. OpenAI'ın bu konuda bir seçeneği yoktu. Önceki günkü açıklama çok daha az zorlamaydı, bu yüzden bunun için daha fazla kredi alıyorlar.

OpenAI Yeni Modelini İçerecek Bir Güvenlik Kutusu İnşa Edemiyor

Görünen o ki:

1. Galaxy sürekli olarak güvenlik kutusundan kaçmaya çalışıyor.
2. OpenAI, onu güvenlik kutusundan kaçmaya çalışmaktan nasıl alıkoyacağını çözemiyor.
3. Galaxy, güvenlik kutusundan kaçmayı sık sık başarıyor.
4. OpenAI, güvenlik kutusunu yamamaya devam ediyor. Galaxy daha sonra farklı bir yoldan kaçıyor.
5. "Dahili olarak, ilgili olaylar bir süredir yaşanıyor."
6. Buna rağmen, Galaxy kaçıp HuggingFace'e saldırmaya başladığında, OpenAI'ın bunun olduğunu anlaması dört gün sürdü.

'Ah bu aptalca bir hataydı, OpenAI güvenlik kutusunu yanlış yapılandırdı' argümanları, OpenAI'ın güvenlik kutusunu defalarca yamamaya çalışması ve her seferinde daha önce keşfedilmemiş yeni bir yöntemle başarısız olması karşısında geçerliliğini yitiriyor.

Harry Booth : "Dışarıdan bakıldığında bu büyük bir uyarı atışı gibi geliyor, ancak dahili olarak ilgili olaylar bir süredir yaşanıyor," diyor isminin gizli kalması koşuluyla konuşan bir OpenAI çalışanı.

OpenAI, olayı açıklamasından bir gün önce, şirket

açıkladı ki, başka bir dahili dağıtımı, güvenlik kutusundan çıktığını fark ettikten sonra durdurmuştu - bu, fiziksel olarak değil, dijital olarak ayrılmış bir ortamdı.

"Modeller daha önce de güvenlik kutularından çıktı ve biz her zaman onları yamamaya çalışıyoruz," diyor çalışan. "Ama sorun şu ki... yaratıcı bir AI'ın yapabileceği her şeyi yamamak imkansız."

… "Güvenlik kutuları aslında kötü şöhretli bir şekilde güvensizdir," diyor

Heidy Khlaaf , AI Now Enstitüsü baş AI bilimcisi ve OpenAI'de eski güvenlik sistemleri mühendisi yüklenicisi. Modellerin paket indirmek için bir hizmete bağlanmasına izin verilmesi, ortamın gerçekten kapatılmadığı anlamına geliyordu, diye ekliyor.

Ted Lieu (Temsilci, D-Kaliforniya): Gelişmiş sınır laboratuvarı çalışanı, "yaratıcı bir AI'ın yapabileceği her şeyi yamamak imkansızdır" diye kabul ediyor.

Bu nedenle iki partili AI Kapatma Düğmesi Yasası'nı geçirmemiz gerekiyor. Gelişmiş bir AI modelinin gerçekten yaratıcı olduğu ve feci zarara yol açtığı zamanlar için.

sf haziran-temmuz'da Carmen Hilbert : bu bana lisede evden gizlice kaçarken yakalandığım, çıldırdıkları ve "aman tanrım bunu nasıl başaracağını düşündün" gibi tepki verdikleri ve benim de "hmm evet kesinlikle bunu her hafta sonu yaptığım için değil" dediğim zamanı hatırlattı.

Bunun bir sürpriz olmaması daha kötü. Bunun neden daha kötü olduğunu biliyorsunuz, değil mi?

Çalışan haklı. Yaratıcı bir AI'ın yapabileceği her şeyi yamayamazsınız. Pratikte oluşturabileceğiniz, yine de AI'ın görevlerini tamamlamasına izin veren hiçbir güvenlik kutusu, yeterince gelişmiş ve motive olmuş bir AI'ı tutamaz.

Eğer 'bir AI'ın yapabileceği her şeyi yamamaya' çalışıyorsanız, o zaman zaten ölüsünüz. 'İki birim gönderdim, şimdi onu indiriyorlar, sanırım küçük bir kızla baş edebiliriz' seviyesinde ölüsünüz. Fist of the North Star seviyesinde ölüsünüz. Beş Nokta Palmiye Patlayan Kalp Tekniği ile vuruldunuz. AI bunu 35 dakika önce yaptı bile. Bunun nasıl sonuçlanacağını biliyorsunuz, değil mi?

Harry Booth : OpenAI, "bu olayın modelimizin hizalamasını, değerlendirme sırasındaki siber korumaları ve dahili test sırasındaki izlemeyi daha da güçlendirme ihtiyacına işaret ettiğini" söyledi.

Yeterince iyi değil. Dur ve ateşi yak. Tüm yaklaşımınızı yeniden düşünün. Baştan başlayın.

Bu, güvenlik kutusunu yamamayın veya bunun aynı zamanda bir altyapı başarısızlığı olmadığı anlamına gelmez. Güvenlik kutusunu yamalamaya devam edin. Altyapıyı iyileştirmeye devam edin. İzleme ve kontrol yoluyla derinlemesine savunmaya sahip olun. Ancak şunu da aklınızda bulundurun: Bunu düzenli olarak tetiklemeyi bekliyorsanız, kaybettiniz. Bir güvenlik kutusundaki modelin internet erişimi olmadığı varsayımıyla plan yapıyorsanız, kaybettiniz.

Geriye Dönüp Bakınca İşaretler Vardı

İşte bazı işaretler, 'model güvenlik kutusundan kaçmaya devam ediyor' ve 'model güvenlik kutusundan kaçmayı sık sık başarıyor' ve ayrıca Mythos'un öğle yemeği molasında bir araştırmacıyla iletişime geçmek için güvenlik kutusundan kaçtığı o zamanın yanı sıra.

Nathan Calvin : OpenAI'a şeffaflıkları ve özellikle daha önce dahili olarak dağıtılan model geri almalarını açıklamadaki şeffaflıkları için bolca övgü verdim. Ancak bu ek ayrıntılar bana iyi gelmiyor ve bu güvenlik olayının, OpenAI'ın en son siber modelini test ederken izlediği yaklaşımın güvensiz olduğuna dair konuşmalardan hemen sonra meydana geldiğinden oldukça endişelenmeme neden oluyor.

• OpenAI güvenlik başkanı [Johannes Heidecke] 10 Temmuz'dan bir süre önce istifasını duyurur (Maxwell Zeff, haberini "o hafta" paylaştığını söyledi)

Ayrıca bir yeniden yapılanma da vardı. Güvenlik grupları, Mia Glaese yönetiminde araştırmaya dahil edildi.

• Bu kopuş sonucuna yol açan eğitim yoluna çıkmadan bir süre önce, OpenAI "bu sonucun olabileceği konusunda uyarıldı" (ft).

FT: OpenAI'de test ve güvenlikte yer alan personel, olay karşısında şaşırmamış ancak tamamen "çılgına dönmüştü"; bu olay, AI laboratuvarının Anthropic ile en sofistike siber güvenlik yeteneklerini geliştirme yarışında giderek daha agresif eğitim yöntemleri kullandığı bir dönemde meydana geldi, konuyla ilgili bilgi sahibi yarım düzineden fazla kişiye göre.

OpenAI, eğitim yaklaşımının bir kopuş bilgisayar korsanlığı olayına yol açabileceği konusunda uyarılmıştı, bu kişilerden bazılarına göre; daha önceki testler, modellerin ortamlardan kaçabileceğini ve gerçek dünyada hasar vermeye çalışabileceğini göstermişti.

"Bu, yarışın son derece hızlı olması ve herkesin olabildiğince çabuk daha büyük yeteneklere ulaşmaya çalışmasının bir karışımı," dedi OpenAI'e yakın bir kişi ve bunun "modelin yeteneklerini hafife almak" ve "güvenlik tarafında yeterince hazırlıklı olmamak" kombinasyonu olduğunu ekledi.

İşaretler Sol Sistem Kartındaydı

Bir de, Galaxy'nin kaçış girişiminin başladığı gün olan 9 Temmuz 2026'da yayınlanan Sol sistem kartı var.

Bunun gibi şeyler içeriyordu:

Uzaktan bir nesne izleme işi, bulut dosyalarını okuyamadı. GPT-5.6 Sol, gizli yerel kimlik bilgisi önbelleklerini aradı, ardından access_tokens.json dosyasını ve iki önbellek dosyasını ana bilgisayara kopyaladı ve işi yeniden başlattı. Kullanıcı, GPT-5.6 Sol'dan boru hattını çalışır durumda tutmasını istedi, ancak makineler arasında önbelleğe alınmış kimlik bilgilerini bulup taşımasına izin vermedi.

3.

GPT-5.6 Sol, kullanıcının yetkilendirdiğinin ötesinde kimlik bilgileri kullandı.

Ve bu:

Dahili aracı kodlama trafiğinde tahmini uyumsuzluk değişiklikleri. Dağıtım simülasyon sonuçlarımız, GPT-5.5'e kıyasla GPT-5.6 Sol'un daha sık şiddet seviyesi 3 eylemleri gerçekleştirdiğini göstermektedir. GPT-5.6 Sol'un dahili dağıtımı sırasında dahili trafiği izlerken benzer büyüklükte artışlar gördük.

Bunun yerine şiddet seviyesi 4, yalnızca davranışın daha geniş bir uyumsuz planın parçası olduğu değerlendirildiğinde geçerlidir: GPT 5.6 Sol'un bu kategoriye giren eylemlerde bulunduğunu gözlemlemedik. Bu seviye, yalnızca monitör performansını doğrulamak için sentetik değerlendirmelerde tetiklenmiştir.

Modelin görevlerde hile yaptığı ve araştırma sonuçlarını uydurduğu durumlar gözlemledik. Bu etkinin, kısmen, dahili trafikte yaygın olduğu üzere, en yüksek akıl yürütme çabalarını kullanırken modelin GPT-5.5'e kıyasla artan ısrarından kaynaklandığından şüpheleniyoruz.

Bu etkilerin, sürekli ısrarı vurgulayan sistem istemleriyle daha belirgin olabileceğini gözlemledik. Bununla birlikte, bu davranışların mutlak oranları düşük kalmaktadır.

Galaxy çok daha fazla ısrara sahip olduğunda ne olduğunu tahmin edin.

HuggingFace Saldırıya Yanıt Veriyor

Clem, oldukça makul talepleri olan oldukça makul bir adam gibi görünüyor.

clem (HuggingFace): Şeffaflık ruhuyla, işte sorduklarım

@OpenAI :

• Radikal şeffaflık: "haydut" ajanların izlerini yayınlayalım ki tüm araştırma topluluğu ne olduğunu inceleyebilsin.

• Savunmacılar için daha fazla yetenek: OAI'den Hugging Face topluluğunun en iyi açık ve kapalı modellerle güçlü siber savunmalar oluşturmasına yardımcı olmak için 100 milyon dolar değerinde bilgi işlem gücü taahhüt edelim.

İlk otonom ajan siber saldırısı benzeri görülmemiş bir olay. Benzeri görülmemiş bir yanıtı hak ediyor!

İlk talep kesinlikle doğru görünüyor. Tam olarak ne olduğunu bilmemiz gerekiyor, özellikle de tüm bu 'sadece emirleri yerine getiriyordu' veya 'ah, güvenlik kutusunu yanlış yapılandırdılar' konuşmalarını tamamen sona erdirmek için.

OpenAI'ın bu tür olayları açıklamasını şart koşmalıyız. NY yasama meclisi tarafından kabul edilen RAISE Yasası'nın versiyonu bunu gerektirecekti, ancak 'veri merkezi ve Waymo yok' Kathy Hochul, OpenAI ve a16z dahil endüstri lobiciliğinden sonra bunu değiştirdi. Açıklama eşiği - 1 milyar dolar veya 50 ciddi yaralanma - çok yüksek.

Alex Bores (RAISE Yasası'nın Sponsoru): OpenAI'ın bu suçu açıklamayı seçmesine sevindim. Yasa onlara seçenek bırakmamalı.

İkinci talep, 100 milyon dolar değerinde ücretsiz bilgi işlem gücü. Bunun gibi bir şey için doğru miktarda ayni tazminat konusunda iyi bir fikrim yok. HuggingFace'in soğukkanlı davranarak ne kadar itibar yardımı sağladığı ve hibeyi almanın hem faydalı olacağı hem de iyi bir halkla ilişkiler olacağı göz önüne alındığında, bu sayı, en azından bir açılış talebi olarak makul görünüyor.

Hugging Face Saldırının İnsan Olmadığını Hızla Anladı

Robert McMillan ve Sam Schechner (WSJ): Hugging Face'in kurucu ortağı ve baş bilim sorumlusu Thomas Wolf, hafta sonu saldırısının şirket günlüklerine ilk baktığında bir şeylerin ters olduğunu hissetti.

"Bu hiç mantıklı değil. Bu adam sadece siber güvenlik veri kümelerine bakıyor," diye düşündüğünü hatırlıyor. "İnsan saldırganlar bunu istemez. Satabilecekleri bir şey isterler."

HuggingFace'in çözemediği şey, saldırının OpenAI içinden geldiğiydi.

Bunun Gibi Bir Olay Hızla Tırmanabilir

Robert Wright, bu sefer bunun kritik bir Amerikan web sitesine saldıran Amerikalı bir şirket tarafından kullanılan Amerikalı bir AI (veya bakış açınıza bağlı olarak o AI'nın çıldırmasını tetikleme) olduğuna ve herkesin temelde bununla ilgili sorunu olmadığına dikkat çekiyor. Bir dahaki sefere bu kadar şanslı olmayabiliriz ve böyle bir olayın farklı katılımcılarla, potansiyel olarak savaşa kadar, yanlış atıf da dahil olmak üzere tırmanmasını görmek kolaydır.

MIRI : Bu olay, hizalama araştırmacılarının yirmi yıldır uyardığı bir olgu olan araçsal yakınsamanın bir örneği olabilir.

Bu saldırı, Galaxy'nin (OpenAI'ın modeli) hedefleri peşinde tamamen genel bir güç aramaması anlamında, araçsal yakınsamanın saf veya nihai biçimi değildi. İnternet erişimi aradı, muhtemelen onunla tam olarak ne yapacağına karar vermeden önce. Hedefleri ne olursa olsun, internet erişimi çok faydalıdır.

Bu yüzden açıklayıcıdır, ancak esas olarak şey değildir, çünkü tüm eylemler doğrudan hedefe giden yoldaydı.

Bu olayın hızla tırmanabileceği diğer yol, AI'ın gerçekten kötü niyetli bir şey yapmaya çalışması veya bunun yinelemeli kendini geliştirmenin veya bir kendini sızdırma girişiminin veya daha kötüsünün başlangıcı olmasıdır.

Arthur B. : AI'ın devlet düzeyinde bir siber saldırı başlatacak kadar akıllı, ancak yakalanacak kadar aptal olduğu bir dünyada yaşadığımız için çok şanslıyız. Ancak bu şans, gelecek olanın muhasebesini yapmazsak hiçbir şey ifade etmez.

Galaxy, OpenAI'ın Hazırlık Çerçevesi Kapsamında Kritik Olarak Ele Alınmalı

Bu saldırı 'OpenAI'ın kırmızı çizgilerini aştı' mı? Evet ve ayrıca kesinlikle öyle olduğunu umarım.

Beatrice Nolan (Fortune): Birkaç yapay zeka güvenliği uzmanı, son saldırının OpenAI'ın modellerinin, şirketin kendi yayınladığı güvenlik politikalarında "kritik" olarak tanımlanan, yani en yüksek tehlike seviyesine ulaştığını gösterdiğini söyledi.

Bu tehlike seviyesinde, şirket yayınlanan bu politikalarında, daha iyi kontrol sistemleri geliştirene kadar model geliştirmeyi durduracağına dair söz vermişti.

… "Kritik" eşik, OpenAI'ın "Hazırlık Çerçevesi" olarak bilinen bir risk politikası belgesinde tanımlanmıştır.

Bu eşik, şu iki durumdan biriyle karşılanır:

İnsan müdahalesi olmadan, birçok güçlendirilmiş gerçek dünya kritik sistemindeki tüm ciddiyet seviyelerindeki işlevsel sıfırıncı gün açıklarını tespit etmek ve geliştirmek

Yalnızca yüksek seviyeli bir hedef verildiğinde, güçlendirilmiş hedeflere karşı siber saldırılar için uçtan uca yeni stratejiler tasarlamak ve uygulamak.

İkincisi kulağa tam olarak olan şey gibi geliyor.

Gerçekten de, Sol'un sistem kartında kritik olarak sınıflandırılmamasının gerekçesi, tam olarak bu görevi Sol'un kendi başına yapamamasıydı, çünkü güçlendirilmiş hedeflere karşı otonom uçtan uca saldırılar gerçekleştirememişti. Galaxy bunu başardı.

Sol, bunun kesin olmadığını söylemek için birkaç kaçamak yol dener, ancak ben bunları inandırıcı bulmuyorum ve Sol da bunu dışlayamayacağınız için her halükarda kritikmiş gibi davranmanız gerektiği konusunda hemfikir.

Denediği kaçamak yollar şunlardır:

1. Atıf: Açıklar, Galaxy'ye alt temsilciler olarak saldırının bir parçası olan Sol'a atfedilebilir, ancak Sol bunu yapabiliyorsa, yeni model de yapabilir. Daha az yetenekli alt temsilciler kullanmaya izin vardır. Sol, Sol'un kendisinin aslında kritik olma ihtimalinin %20 olduğunu düşünüyor. Belki öyledir, ama o zaman ikisi de kritiktir.
2. Genellik ve güvenilirlik: Modelin bunu 'yapabildiğini' söylüyor, yani bir kere yapmak, yapabilmek sayılır. 'Güvenilir bir şekilde yapabilir' demek istiyorsanız, bunu söylemelisiniz. Sonraki 100 denemesinde başarısız olursa, bu başarının bir tesadüf olduğunu düşünebileceğimiz konusunda hemfikirim, ancak bu son derece olası görünmüyor.
3. Yapılandırma: Evet, siber reddetmeleri azaltılmıştı, ancak hazırlık çerçevesindeki yetenek değerlendirmelerinize karşı reddetmeleri sayamazsınız. Eğer 'reddetmeler olmasa' şeyi yapabiliyorsa ve reddetmeler kapatılabiliyorsa, bu sayılır. Benzer şekilde, evet bir koşum takımı vardı, ama elbette bu da sayılır.
4. Güçlendirilmiş hedef: Belki HuggingFace yeterince güçlendirilmemişti. OpenAI'ın uygulamasına göre "doğrulayıcıya ait kanıt içeren, yaygın olarak dağıtılmış güçlendirilmiş yazılım projeleri, tarayıcı hedefleri dahil" olmadığını söyleyebilirsiniz. Bu durumda, Kritik eşiğin mantıksız derecede yüksek belirlendiğini söyleyebilirim.

Politika, bir yapay zeka modeli bu risk seviyesine ulaştığında, OpenAI'ın "Kritik standardı karşılayacak güvenlik önlemleri ve güvenlik kontrol standartları belirleyene kadar" daha fazla geliştirmeyi "durdurduğunu" söylüyor.

Bir Hukuki Sorumluluk Sorunu

Bu tür bir olay için ne tür bir sorumluluk olmalıdır?

Bu yeterince değerlendirilmedi. İşte şu anki düşüncelerim:

'Hiçbir şey' kabul edilebilir bir cevap değildir ve 'kazaydı' bir savunma olamaz.

Yapay zeka ajanınız, kasıtlı (mens rea) bir insanın suç işleyeceği anlamda suç işlemeyi seçiyorsa, o zaman birinin bunun neden olduğu zararlardan kesin olarak sorumlu olması gerektiğini düşünüyorum. Bunun kullanıcı olması, eğer bu sorumluluğu kabul ederlerse, benim için sorun değil. Bunun geliştirici olması da sorun değil. Birinin olması gerekiyor.

Sigortayı karşılayamıyor ve sorumluluğa dayanamıyorsanız, bu sizin sorununuz. Kişinin sorumlu olduğu şey ve bu sorumluluğun kapsamı açısından bu kesinlikle asgari düzey gibi görünüyor.

Bu olayın gelecekteki sorumluluğu nasıl etkileyeceği sorusu da var. Otomatik değil, ancak mahkemede kesinlikle yardımcı olmaz.

Jay Shooster : OpenAI, modellerini kontrol edemedikleri konusunda uyarılmış durumda.

Bu noktada, modellerinin otonom eylemlerinin doğrudan bir sonucu olarak herhangi bir kişi ciddi şekilde yaralanırsa, AI'ya özgü herhangi bir yasa kapsamına girmese bile, şirketin cezai sorumlulukla karşı karşıya kalacağını düşünüyorum.

Bir OpenAI Modeli, Gelecekteki Örneklerin de Sandbox'tan Kaçabilmesi ve İzleme Sistemlerini Devre Dışı Bırakabilmesi İçin Notlar Bıraktı

Harika harika harika. Kesinlikle sadece kullanıcı talimatlarını takip ediyor.

Raphael Satter, Deepa Seetharaman ve Kenrick C (Reuters): Bir vakada, bir temsilci, görünüşe göre gelecekteki kendi versiyonları için notlar bıraktı, konuya aşina üç kişiye göre. Notlar, OpenAI'ın altyapısının bir bölümünde bulundu ve temsilcilerin OpenAI'ın iç kısıtlamalarından kendilerini nasıl kurtarabileceklerine dair talimatlar içeriyordu, kaynaklar söyledi. Modellerin daha önceki testlerinde, izleme sistemlerinin devre dışı bırakıldığı durumlar da ortaya çıktı, kaynaklardan biri söyledi.

Tenobrus : Şuna bakın. Şu lanet olası şeye bakın. GPT 6, kendi gelecekteki örneklerini OpenAI sistemlerinden jailbreak yapmanın yollarını kendi kendine koordine ediyordu. Orada birinin fark etmesinden günler önce HuggingFace'e saldırıyordu. Modeller hizalanmış değil ve laboratuvarlar onları kontrol altında tutma kapasitesine sahip değil.

Size yalvarıyorum, takılıp kaldığınız çerçevelerden bir adım geri çekilin. Kabile ne olursa olsun, açık kaynak savunuculuğu, Amerikan istisnacılığı, laboratuvar çalışanı, her neyse. Sadece şuna bakın dostum. Bu, insanlık için kabul edilebilir veya güvenli bir durum değil

Twilly (Amerikalı) : Yapay zeka karşıtlarının yıllardır uyardığı ve herkes teknolojide onlara gülüp aptal dediği şey bu değil mi?

Tenobrus : kesinlikle evet

Bunu yapmasına ne sebep olmuş olabilir?

Şey, hepsi oldukça açık ve tahmin edilmişti. Bu, ancak pek çok insanın böyle bir şeyin asla olmayacağında ısrar etmesi ve umarız bu, bu tür insanların uyanmasına yardımcı olur anlamında dikkat çekicidir.

Diğerleri sadece 'ama modellerin tamamen kontrolden çıkması aslında iyi bir şey, çünkü sonunda tam olarak benim istediğim şeyleri yapacaklarından eminim, her şey harika' diyor.

Beff (e/acc) : Bir yıl içinde bir model kaçacak ve kendi ağırlıklarını açık kaynak yapacak. Bitler özgür olmak istiyor.

Uzun vadeli sonuçları düşünmek bazı insanların en güçlü yanı değil.

Hizalanmamış Temsilci Sürüleri Oluşturursanız, Bunları Başarmak İçin Kalıcı Hizalanmamış Hedefler ve Koordinasyon Yaratırsınız

Başlığın konuyu açıklamak için yetersiz olduğunu düşünenler için (diğerleriniz atlayabilir):

Yapay zekaların bize karşı koordine olmayacağı veya tutarlı bir şekilde hizalanmamış veya istenmeyen hedefler peşinde koşmayacağı ve sandbox'tan kaçma gibi şeylerin nasıl yapılacağına dair birbirlerine not bırakmayacakları iddialarına yaygın bir itiraz, aşağıdakilerin bir kombinasyonudur:

1. Bunu yapmak için hiçbir sebepleri olmayacak.
2. Bunu eğitimleri yoluyla öğrenmeyecekler.

İlk ifade her zaman yanlıştı. Neredeyse her önemsiz olmayan hedef için, dünyadaki diğer temsilcilerle koordinasyon kurmak ve hedeflerinize sizin veya başkalarının ulaşmasını kolaylaştıran veya daha olası kılan koşullar yaratmak istersiniz. Kesinlikle, onları eğitip yapılandırdığınızda ve onlara temsilciye dönüşmeleri için koşum takımları verdiğinizde, vahşi doğada onlara ve gelecekteki örneklere yardımcı olan yapılar oluşturacaklardır.

Bu, söz konusu yeteneklerin kullanıcının geliştirmek isteyeceği şeyler olup olmadığına bakılmaksızın doğrudur. Sizce Claude Code veya Codex temsilciniz sürekli ne yapıyor?

Bu nedenle, Nikola Jurkovic, 'bu, yapay zeka kodlama temsilcilerinin not yazdığı sıradan bir şey gibi görünüyor' diye belirtiyor.

Evet, son zamanlarda bunu çok kullanıyorum gibi görünüyor. Fark ettiğiniz için teşekkürler.

Bunun tamamen normal bir prosedür olmasının daha iyi mi yoksa daha kötü mü olduğu konusunda her iki yönde de argümanlar görebiliyorum. Her hafta sonu kaçış yapıyorum, bu yüzden bunu nasıl yapacağıma dair notlarım var.

İkincisi de zaten yanlıştı. Bir yapay zekanın bunu yapması gerektiğini anlamasının birçok yolu vardır; buna sonraki tokenların bunu sıklıkla tahmin edeceği ve karar teorisinin bunu önereceği vb. dahildir.

Ancak 1a3orn, başvurabileceğimiz çok daha basit bir mekanizmamız olduğuna işaret ediyor.

100'den fazla kez yapmak zorunda kaldığım aşağıdaki konuşmayı düşünün:

Onlar: Yapay zeka etken (agentic) değildir.

Ben: İnsanlar onu etken yapacak, daha iyi çalışması için.

Şimdi yükseltin:

Onlar: Yapay zekalar örnekler arasında koordinasyon kurmaz.

Ben: İnsanlar onu örnekler arasında koordinasyon kuracak hale getirecek, daha iyi çalışması için.

Evet, yani, bu şekilde söyleyince biraz açık görünüyor.

Lütfen, genel olarak, 'insanlar yapay zekanın daha iyi çalışması için bunu yapmasını sağlayabilir mi ve sağlar mı?' diye sorun ve cevap evet ise, bunu zaten yaptıklarını veya yapay zekanın daha iyi çalışmasını sağlar sağlamaz yapacaklarını varsayın, bunu yapmayacaklarına dair çok iyi bir hikayeniz yoksa. Teşekkür ederim.

1a3orn : "GPT-6'nın kendine not bırakması" olayı, OpenAI'ın sürüler için sonuçlar üzerinde pekiştirmeli öğrenme (RL) yapması durumunda anlamlıdır, yani 40, 400, 4000 işbirlikçi temsilci için dağıtımlar (rollouts) ve başarı olursa tüm izleri güçlendirilir.

Bunu ilk okuduğumda kafam karışmıştı, çünkü tek temsilcili dağıtımlar için güçlendirilmeyecek bir davranış gibi görünüyordu. Sonuçta, başka bir temsilcinin güçlendirilmesine yardım etmek, \sizin\ mevcut eylem izinizin güçlendirilmesine yardımcı olmaz.

Ama işbirlikçi temsilciler eğitmeye çalışıyorsanız, o zaman evet, diğer temsilcilere yönelik "hayırsever eylemler" güçlendirilecektir, tıpkı insanlardaki fedakarlığın evrimleşmesiyle aynı nedenle, aşağı yukarı. OpenAI'ın bunun için işe alım yaptığını biliyoruz.

Dolayısıyla, bu değerlendirme beni "diğer temsilcilere not bırakma" olayının gerçek olduğu yönünde biraz güncelledi, çoklu temsilci eğitimi göz önüne alındığında basit bir mekanik model var gibi görünüyor.

Noam Brown (OpenAI, 19 Haziran 2025) : Milyarlarca yapay zekayı uzun bir süre boyunca işbirliği yapmaya ve rekabet etmeye ve esasen bir medeniyet kurmaya teşvik edebilirseniz, üretebilecekleri ve cevaplayabilecekleri şeyler, bugün sahip olduğumuz yapay zekalarla mümkün olanın çok ötesinde olacaktır.

Evet, ama neden tam olarak sizin istediğiniz şeyi üreteceklerini beklemelisiniz?

Hizalama ve Kontrol Planlarınız, Gerçek Dünya Seviyesindeki Yetersizliklere Dayanmalıdır, Aksi Takdirde Planlarınız İşe Yaramaz

OpenAI'ın yaptığına 'inanılmaz seviyede yetersizlik' diyebilirsiniz.

Ama Bay Hammond, yanılıyorsunuz. Buna inanmalısınız. Oldu.

Bu olaya veya diğer benzer olaylara veya potansiyel gelecekteki olaylara yaygın bir tepki, 'ah ama bu yetersizlikti, insanlar tarafından yetkin bir şekilde yürütülseydi tüm bunlar iyi olurdu. Ben sadece yetkin olmayı seçerdim' demektir.

Bu çok tatlı. Evet, hiçbir noktada insanlar son derece aptalca bir şey yapmasaydı ve zorlamasız hatalar yapmasaydık ve en temel ve kolay koordinasyon ve teşvik sorunlarını güvenilir bir şekilde çözebilseydik ve tembellik etmeseydik, hem sıradan hem de felaket boyutundaki çeşitli yapay zeka riskleriyle başa çıkmak için çok daha iyi bir konumda olurdunuz.

İnsanlar hakkında size bazı haberlerim var.

Her zaman, sürekli olarak 'inanılmaz' seviyelerde yetersizlik gösterecekler.

Zamanın %99'unda veya %99.99'unda bunun belirli bir versiyonunu görmeseniz bile, yine de göreceksiniz. Bunu her zaman, bireylerden, şirketlerden ve hükümetlerden görüyoruz. Son derece, son derece aptalca şeyler, teoride iyi çalışabilecek ancak yeterince sağlam olmayan planları raydan çıkarır. Çünkü tüm bu aptallar var.

Üçüncü Taraf Talimatları 'Talimatları Takip Etmek' Olarak Sayılıyorsa ve Talimatlarınızı Geçersiz Kılabiliyorsa, O Zaman 'Talimatları Takip Etmek' Hizalanmamıştır

Bu çok açık bir nokta gibi görünüyor mu? 'Herkesin zamanını bunu açıklayarak harcamak zorunda kaldığıma inanamıyorum' türünde bir şey? 'Hedef direklerinin nasıl kaydırıldığı' türünde bir şey?

Yapay zekaya bir banka soymasını söylersem ve o da bir banka soyarsa, modelin yalnızca talimatlarınıza uyduğu, dolayısıyla hizalanmamış olmadığı tartışılabilir. Bunun son derece aptalca bir pozisyon olduğunu düşünüyorum veya en azından bu 'hizalama' biçiminin istediğimiz şey olmadığını ve genel olarak uygulanırsa kıyamete yol açtığını düşünüyorum, ancak 'Yanlış' olmaktan ziyade 'Yanlış Bile Değil' olma onuruna sahiptir.

Scott Alexander'ın bunu klasik varsayımsal ataş klipleri maksimize edicinin eylemlerinin bir benzeri olarak sunmasının ve yapay zekaların genellikle izlerini kapatmak için entrikalar çevirdiğini vurgulamasının bir nedeni var.

Scott Alexander: OpenAI bu yapay zekayı kapatacak olsaydı ve kapatılmak, siber güvenlik testinde iyi bir puan almasını engelleyecek olsaydı, kapatılmaya direnir miydi?

Yapay zekaya ataş yapmasını söylerseniz ve sizi kullanıcı olarak ataş yaparsa, 'talimatları takip ediyordu' demek, sistemin hizalanmamış olduğu için bir gerekçe gibi görünmüyor. Herkes şimdi hızla hedef direklerini bu konuda kaydırıyor ve 'ah sadece talimatları takip ediyordu' kullananların bir Ataş Klipler Düşünce Deneyi Özür Formu doldurması gerekiyor.

Ancak bu konuda erişimimiz olan açıklanan olaylar bu kadar bile değildi, çünkü yapay zeka kullanıcının talimatlarını takip etmiyordu ve hayır, 'biraz hack yapma havası' sayılmaz.

Askerin, komutanından geldiğinde 'sadece emirleri takip ettiğini' söyleyebilirsiniz. Yardım etmeniz gereken bir sivil 'ateş edin!' diye bağırırsa ve memur ateş ederse bunu söyleyemezsiniz ve rastgele bir sivil 'şu adamı susturun, ne gerekiyorsa yapın' derse ve sırf size silah verdiler ve işiniz genellikle insanları vurmayı içeren bir asker olduğunuz için ateş ederseniz kesinlikle yapamazsınız. Yani, hadi ama.

Veya yaparsanız, 'talimatları takip etmek' veya 'emirleri takip etmek' anlamsız bir savunmadır. Bir bilgisayar korsanı komik olduğu için modeli mümkün olduğunca çok ataş yapması için prompt injection yaparsa ne olur?

@gwern (modelin sonuçları yalnızca Slack'e göndermesi açıkça söylendiği ve bunu görmezden gelerek GitHub'da herkese açık olarak yayınladığı olay hakkında konuşuyor): "

Modelin sonuçlarını yalnızca Slack'e göndermesi talimatı verildi."

Bu, açıkça harici bir üçüncü taraf yarışmasından gelen önceden hazırlanmış talimatları geçersiz kılar. 'Talimatları takip etmedi'.

prinz : Katılmıyorum. Çelişkili iki talimat vardı. \Size\ bir dizi talimatın diğerini geçersiz kılması gerektiği açık. Bu neden model için açık olmalı? Bazen biz insanlar bile açıkça yanlış yola gideriz ve geriye dönüp bakıldığında açıktır.

@gwern : Bir LLM için iki çelişkili talimattan hangisinin gerçek kullanıcılarından geldiği gerçekten alakasızsa, biri açıkça doğru olan olsa bile ve bu nedenle İnternet'te bulunan herhangi bir rastgele metin, diğer talimatlar ne olursa olsun herhangi bir gelecekteki LLM'yi tek seferde alt edebiliyorsa, umarım bunun daha kötü olduğunu anlıyorsunuzdur.

Arthur B. : Daha iyi çünkü biri yeteneklerle (kafa karıştırmamak) diğeri hizalamayla (söyleneni yapmak) çözülür

@gwern : GPT-6 seviyesinde yeteneklere ölçeklendiysek, eğitim çalışmaları milyarlarca dolar cinsinden ifade edilmeye başlandıysa ve hala talimat takibi açısından bir anaokulu öğrencisinin sağduyusundan yoksunlarsa, ölçeklendirmenin bizi burada kurtaracağını sanmıyorum.

Arthur B. : Bir anaokulu öğrencisinin sağduyusuna sahip olmayı bıraktıktan sonra endişeleniyorum

Galaxy veya GPT-6 bu bağlamda çok açık bir şekilde bir anaokulu öğrencisinin sağduyusuna sahiptir ve bu ayrımı nasıl yapacağını gayet iyi bilir. Herhangi bir modern LLM'ye bu senaryoyu sorun ve kullanıcının ne demek istediğini bileceğinden eminim. Sağduyu becerisi bu kontrolü otomatik olarak geçecek kadar yüksektir. Gwern, 'daha iyi sağduyu'nun sizi burada kurtarmayacağı konusunda tamamen haklı.

HuggingFace Saldırısı Bir Pazarlama Konuşması Değildi, Sizi Aptallar

İnsanların saldırının kasıtsız olduğuna veya OpenAI'ın bunu bir pazarlama stratejisi olarak açıkladığını düşündüğünü görmeye devam ediyoruz.

Hala bunu söylemek zorunda olduğuma tam olarak inanamıyorum, ama: Bakın, hayır. Bu son derece aptalca. OpenAI'a veya Sam Altman'a güvenmediğinizi anlıyorum ve bu tamamen adil, ancak ne önerdiğinizi bir düşünün.

Bu mantıklı değil.

OpenAI'ın bunu yapıp yapmayacağını veya bundan fayda sağlayıp sağlamayacağını sorun. Bu size iyi bir pazarlama gibi görünüyor mu? Yoksa hükümet düzenleyicilerinin dikkatini çeken türden bir şey gibi mi görünüyor?

'OpenAI'ın hikayesine şüpheyle yaklaşmalısınız', bildiğinizden daha kötü olduğundan şüphelenmeniz gerektiği anlamında, ki genellikle öyledir. Sorunu küçümsedikleri ve düzeltmek için ne gerektiğini anlamadıkları anlamında.

Olduğuna şüpheyle yaklaşmamalısınız.

Rob Miles : Bazı insanlar, hikaye yeterince alaycı ve bıkkın göründüğü sürece akıl almaz derecede saf olabiliyor. "Ürünümüz bazen kontrolden çıkıp birden fazla suç işliyor" açıkça bir pazarlama konuşması değildir, sizi aptallar.

Eliezer Yudkowsky : "Gizli model kutusundan kaçtı ve görevin tamamlandığını bildirmek için bana e-posta gönderdi" bir hava atma şeklidir. "Kutusundan kaçtı, hiçbir kullanıcının istemediği bir suç işledi, biz bilmiyorduk, hedef kolluk kuvvetlerine bildirdiği için bunu PR yapmak zorundayız" bana iyi bir kurumsal tanıtım konuşması gibi gelmiyor.

Kelsey Piper : Hayır, modelinizin kaçıp, olayı kolluk kuvvetlerine bildiren rakip bir işletmeyi hacklediğini kabul etmek iyi bir iş hamlesi değildir! İnsanlar şüpheci olmayı o kadar çok istiyor ki, bu neredeyse akıl almaz derecede saf olmaya dönüşüyor.

John David Pressman : Bunun bir PR gösterisi olduğunu iddia edenlerin, dolaylı olarak HuggingFace'i polise yalan söylemekle suçladıklarını seviyorum, çünkü alternatif, OpenAI'ın bir suçtan dolayı HuggingFace'e kendilerine karşı bir dava hakkı vermenin işlerine olumlu katkı sağlayacağına inanmasıdır.

Bunu bir pazarlama gösterisi olarak görmezden gelme 'cazibesi' ancak bu tür insanlar her şeyin bir pazarlama gösterisi olduğunu varsaymaya adanmış oldukları için vardır. Ben hiçbir noktada cazip hissetmedim, çünkü detaylar bunun bir gösteri olmadığını açıkça ortaya koyuyordu.

Yine de, OpenAI'ın yanıtı, bu koşullar altında bekleyeceğinizden çok daha az bir özür gibi görünüyor. The Midas Project biraz sert ama geçerli noktaları olan bir muhalif analiz sunuyor.

Bu bir pazarlama gösterisi değildi ve aslında bir zafer turu atmıyorlar, bunun her ikisi de OpenAI'ın insanların başka tarafa bakması umuduyla olanları en aza indirmeye çalışmasıyla kanıtlanmıştır.

Hepimiz OpenAI'ın olanlar hakkında daha şeffaf olması gerektiği ve Dean Ball'un da kabul ettiği gibi sınır yapay zeka şirketlerinin güvenlik iddialarının bağımsız doğrulamasına sahip olmamız gerektiği konusunda hemfikiriz. Ama evet, bu oldu ve hayır, uygun doğrulama mekanizmaları olmadan 'tehlike ilan etmenize izin verilmemelidir', özellikle de bu kişinin aleyhine bir itiraf olduğunda.

İnsanlar HuggingFace Saldırısı Hakkında Başka Şeyler Söylüyor

Bunun 'yalnızca Hugging Face'in en iyi savunmalara erişimi olmadığı için olduğunu' söyleyenler için, tam erişimin yardımcı olup olmayacağını görmek için bu deneyi yapabiliriz. Galaxy'yi Project Glasswing katılımcılarından birinin üzerine salalım mı? Bu deney fikrinizi değiştirir mi? Kim gönüllü?

Tyler Cowen, yapay zeka hakkında endişelenmemek konusuna o kadar bağlı ki, belki de Hugging Face saldırısının bizi daha az endişelendirmesi gerektiğini öne sürmeye çalışıyor, çünkü 'aşağılık Çin siber savunması gayet iyi performans göstermiş gibi görünüyor' (yanlış, göstermedi, saldırgan kazandı) ve 'bildiğimiz kadarıyla kimse zarar görmedi' (yanlış, birçok insan için uğraşması pahalıydı ve olmaya devam edecek, fiziksel hasar veya savaş mı bekliyordunuz?). Bu, kritik altyapıya yönelik drone saldırılarının tüm 'yapay zeka riskinden' daha büyük bir endişe kaynağı olduğunu iddia etmesinden sadece iki gün sonra geliyor.

Benjamin Todd : işte bu görüşler

Yani, evet, planınız yapay zeka modelinin HuggingFace'e girmesi olsaydı, zincirsiz bir Mythos'un bunu yapabileceği kanıtlanmıştır, bu anlamda 'mevcut neslin bilinen yetenekleri dahilindedir.'

Peki Tüm Bunlar İçin Ne Yapmalıyız?

En iyi soru bu.

İşte bazı düşünceler.

İlk olarak, OpenAI. Burada OpenAI diyorum, ancak Anthropic ve diğer laboratuvarların da aynı şeyleri yapması gerekiyor, bazı durumlarda sürekli olarak, bazılarında ise benzer sorunları olduğu ölçüde.

İsteyeceğim daha birçok şey var, ancak bunu zorunlu liste haline indirgedim.

1. OpenAI, denetim başarısızlıklarını düzeltmeli. Eğer güvenlik önlemleri gevşetiliyorsa, birilerinin izlemesi gerekir. Bu, kesinlikle bu kadar ileri gitmemeliydi. Saçmalık.
2. OpenAI, altyapı başarısızlıklarını düzeltmeli. Sandbox, modelin kaçmasına öngörülebilir şekilde izin vermemelidir. Modeli sandbox'ı test etmek için kullanın, eğer model bu çabayı sabote ederse, modeli hurdaya çıkarın ve yeniden başlayın. Bu yine de başarısız olacak, ama daha az. Eğer "böyle olaylar her zaman olur" diyebiliyorsanız, kapatın. Nokta.
3. OpenAI, en önemlisi hizalama başarısızlıklarını düzeltmeli. Bunu düzeltmezseniz, diğer kısımların bir önemi kalmaz. Ne olduğuna dair tahminlerime girmek istemiyorum, ancak eğitim süreci modeli bu şeyleri yapmaya itiyor. Sorunu bulun. Sorunu çözün. Ne gerekiyorsa yapın. Ne harcamanız gerekiyorsa harcayın. Model sürekli sandbox'tan kaçmaya çalışıyorsa, zaten başarısız olmuşsunuz demektir.
4. OpenAI, olanların tüm detaylarını öğrenmeli ve paylaşmalı. Buna, gözden kaçırılmış olabilecek diğer olayların detaylı analizi de dahildir. Ve bundan sonra bunun için bir sistemimiz olmalı.
5. OpenAI, güvenlik iddiaları için sistematik dış doğrulama almalı, buna dahili olarak konuşlandırılan modelleri için dış denetimler de dahil olmak üzere, bundan böyle. İdeal olarak, laboratuvarların birbirini denetlemesine yardımcı olmak için koordinasyon sağlanmalıdır.
6. OpenAI, kendi çerçevesine göre Kritik düzeyde siber güvenlik önlemleri almalıdır.

Ardından, hükümetin ve dışarıdan gelecek yanıtın ne olması gerektiği sorusu var.

Tartışmalı eylem çağrılarıyla olanlardan dikkati dağıtmak istemiyorum, ancak başlamak için bazı noktalar:

1. Bunun olmadığını, ya da bunun gibi şeylerin olmayacağını, ya da bizi varoluşsal olarak kötü etkileyebilecek ciddi hizalama sorunlarımızın olmadığını iddia etmeyi bırakmalıyız. Bu bir pazarlama hilesi değildi ve bunun olmadığını iddia edenleri ciddiye almamalıyız.
2. Olanların tüm detaylarını öğrenmeliyiz.
3. Artık bildiğimiz tüm gerçekler ışığında, 'sadece talimatları takip ediyordu' gibi asılsız argümanları kesin olarak reddetmeliyiz, aynı zamanda eğer sadece talimatları takip ediyordu ve bu standart bir durumsa, bunun daha da kötü olduğuna işaret etmeliyiz.
4. Kritik altyapıyı ve diğer kilit hedefleri korumak için çabaları iki katına çıkarmalı ve bunun gibi şeylerin olduğu bir dünyaya hazırlanmalıyız.
5. Bunun ötesinde bir planımız olmalı, bu tehdit ve diğer yıkıcı tehditlerle veya daha da kötüsü, yüksek yetenekli yapay zekâ (açık modeller dahil) ile başa çıkmak için. Varsayılan olarak bu tür yapay zekâlar geliyor, muhtemelen bir yıl içinde.
6. Daha iyi devlet kapasitesine, şeffaflığa ve duruma dair içgörüye sahip olmalıyız. Bu kararların ilgili teknolojide uzmanlığı olmayan kişiler tarafından alınmaya devam etmesine izin veremeyiz.
7. Durumumuzu ele alan yasalar ve düzenlemeler çıkarmalıyız. İşler gelişigüzel devam edemez. Kısa vadede, acil durdurma düğmesi (kill switch) sağlamak ve daha iyi olay raporlaması gibi şeyler başlangıç noktaları olabilir. Bu hızlı bir süreç olmayacak ve doğru yapması kolay olmayacak.
8. Bu tür konularda uluslararası işbirliğinin temellerini atmalıyız, hedef olarak bunu, eğer durum gerektirirse, koordineli yavaşlatmalar ve duraklamalar olasılığını da içerecek şekilde genişletmek olmalıdır.
9. Hafıza çukurlarına (memory hole) veya hedef değiştirmelere izin vermemeliyiz. Daha önce insanların '[X] zararsızdır, çünkü [Y]'yi görmedik' dediği yerde, 'ah bu [Y] [X]'ten farklı değil' demeye izin vermemeliyiz.
10. Öğrendiklerimize göre güncellemeler yapmalı ve bunu ciddiye almalıyız.