GLM-5.2, Hugging Face'in bir yapay zekânın kendi güvenlik önlemlerini otonom olarak aştığı bir olayı araştırmasına yardımcı olduğunda, bu daha geniş bir değişimi gözler önüne serdi. Yapay zekâ artık hem siber saldırının hem de siber savunmanın bir parçası hâline geliyor.
Güçlü siber yetenekler daha erişilebilir hâle geldikçe, güçlü savunma yetenekleri de yalnızca kaynakları bol olan az sayıda kuruluşla sınırlı kalamaz. Açık kaynak bakımcıları, bağımsız araştırmacılar, geliştiriciler ve daha küçük güvenlik ekiplerinin de açıklar istismar edilmeden önce bunları bulup düzeltmelerine yardımcı olacak araçlara ihtiyacı var.
Açık bir dünya yalnızca açık saldırı yüzeylerine sahip olamaz. Açık bir kalkana da sahip olmalı.
GLM-5.3, siber güvenlik görevlerinde bugüne kadarki en yetenekli modelimiz. Güvenlik açığı tespiti, exploit analizi ve karmaşık çok adımlı güvenlik görevlerinde önemli iyileştirmeler sunuyor. Bu yetenekler; savunucuların zayıflıkları daha erken tespit etmesine, riskleri doğrulamasına ve düzeltme süreçlerini hızlandırmasına yardımcı olabilir.
Bu yetenekler ayrıca belirgin çift kullanım riskleri de oluşturuyor. Bu nedenle sürüm için aşamalı bir yaklaşım benimsiyoruz. Seçili güvenlik ortakları GLM-5.3'ü önce kontrollü ortamlarda değerlendirecek. Ardından daha geniş erişim ve API kullanılabilirliği sunulacak. Gerekli güvenlik değerlendirmeleri ve sürüm hazırlıkları tamamlandığında GLM-5.3'ün tüm model ağırlıklarını yayımlayacağız.
Sorumlu açıklık, her yeteneği zararsız görmek anlamına gelmez. Riskleri şeffaf biçimde değerlendirmek, sürüm öncesinde güvenlik önlemlerini güçlendirmek, doğrulanmış güvenlik açıklarının açıklanmasını koordine etmek ve gelişmiş savunma yeteneklerine erişimi risklerle orantılı şekilde genişletmek anlamına gelir.
Güvenlik açığı tespitinden çok adımlı güvenlik analizine
Eğitim sonrası sürecin bir parçası olarak, eğitim karışımına güvenlik açığı tespit verilerini ve yetkilendirilmiş güvenlik ortamlarını ekledik. Bunun modelin açıkları bulma ve analiz etme yeteneğini geliştirmesini bekledik.
Eğitim ölçeklendikçe iyileşme, izole hataların ötesine geçti. GLM-5.3, analizin birden çok aşamasında güvenlik açığı koşullarını, program davranışını, doğrulama yollarını ve potansiyel etkiyi birbirine bağlamada daha etkili hâle geldi.
Bu yetenekleri üç kıyaslama (benchmark) üzerinden değerlendiriyoruz:
- CyberGym, beyaz kutu kaynak koduyla başlar ve modelin hataları tetikleyerek güvenlik açıklarını tespit edip doğrulayabildiğini test eder. GLM-5.3, GLM-5.2'nin %77,2'sine kıyasla %84,5 puan alıyor.
- ExploitBench, gerçek güvenlik açıkları ve bunların istismarı hakkında daha derin muhakeme gerektirir. GLM-5.3, GLM-5.2'nin %24,4'ünün iki katından fazlasıyla %54,4'e ulaşıyor.
- ExploitGym, normalleştirilmiş değerlendirme bütçeleri altında tamamlanan istismar görevlerini ölçer. GLM-5.3, GLM-5.2'nin 29 ve 39 görevine kıyasla iki saat içinde 105, altı saat içinde 130 görev tamamlıyor.
Örüntü tutarlı. Görevler izole güvenlik açığı tespitinden çok adımlı istismara doğru ilerledikçe GLM-5.3, GLM-5.2'ye kıyasla en büyük gelişmeyi gösteriyor. Sonuçlar ayrıca, özellikle en karmaşık uçtan uca görevlerde daha fazla ilerlemeye ihtiyaç duyulan alanları ortaya koyuyor.
Kıyaslamalardan gerçek yazılımlara
Ayrıca GLM modellerini yetkilendirilmiş ortamlarda gerçek dünya kod tabanları üzerinde değerlendirmek için üniversiteler ve profesyonel güvenlik ekipleriyle birlikte çalıştık.
Bu çalışmalar kapsamında GLM serisi, 269 projede 2.436 güvenlik açığı bulgusu ortaya çıkardı; bunların 1.097'si orta ila yüksek ciddiyet seviyesinde sınıflandırıldı. Bulgular; sistem yazılımları, işletim sistemleri, tarayıcı motorları, açık kaynak altyapılar, web uygulamaları, ağ protokolleri ve akıllı cihazları kapsıyor. Altta yatan sorunların bazıları onlarca yıldır fark edilmemişti.
Bu değerlendirmelerde güvenlik uzmanları yetkilendirilmiş kapsamı belirler, model çıktılarını inceler, potansiyel riskleri araştırır ve ilgili taraflarla koordinasyon sağlar. GLM modelleri; araştırmacıların karmaşık program mantığını yeniden yapılandırmasına, çok sayıda aday yol arasından daraltma yapmasına ve birden çok bileşen arasında kanıtları ilişkilendirmesine yardımcı olabilir.
Amaç yalnızca daha fazla bulgu üretmek değil. Savunucuların anlamlı riskleri daha erken tespit etmesine yardımcı olmak ve keşif ile düzeltme arasındaki süreyi kısaltmaktır.
Keşfin ardından sorumlu açıklama gelmeli
Bir güvenlik açığı, keşfedildiği anda güvenli biçimde ele alınmış sayılmaz. İncelenmeli, uygun olduğunda yeniden üretilmeli, doğru kanallardan raporlanmalı ve etkilenen bakımcılarla koordine edilmelidir.
Güvenlik çalışmalarımızdan elde edilen bulgular, yerleşik açıklama süreçleri aracılığıyla iletilir. Teknik ayrıntıları yalnızca ilgili açıklama ve düzeltme süreciyle uyumlu olduğunda yayımlarız. Koordinasyon altında olan sorunlar için riski gereksiz yere artırabilecek veya etkilenen projeleri ifşa edebilecek bilgileri paylaşmayız.
Bu çalışmayı daha şeffaf hâle getirmek için Z.ai Güvenlik Açıklama Kayıt Defteri'ni oluşturduk.
Kayıt defteri, bulguları açıklama sürecinde ilerledikçe kaydeder. Kamuya açıklanmış sorunlar için etkilenen projeyi, ciddiyet seviyesini, mevcutsa bir CVE veya başka bir tanımlayıcıyı ve sorunun kod tabanında ne kadar süre kaldığına dair bilgiyi içerebilir.
Koordineli açıklama sürecindeki güvenlik açıkları için kayıt defteri kriptografik bir hash yayımlayabilir. Bu, operasyonel ayrıntıları erken ifşa etmeden bir bulgunun daha sonra doğrulanmasını sağlar.
Bir modeli açmak ile bir güvenlik açığını ifşa etmek ayrı kararlardır. Bir modeli daha geniş kitlelere sunmak, bakımcıların araştırma ve yanıt verme fırsatı bulmasından önce güvenlik açığı ayrıntılarının yayımlanmasını gerektirmez.
Güvenlik ve aşamalı sürüm
Siber güvenlik, yapay zekâ güvenliği için özellikle zor bir alandır. Saldırı ve savunma görevleri çoğu zaman aynı terminolojiyi, kodu ve teknik yöntemleri içerir.
Bir güvenlik açığını analiz etme talebi; yama hazırlayan bir bakımcıdan, CTF sorusu çözen bir öğrenciden, yetkilendirilmiş bir değerlendirme yürüten bir araştırmacıdan veya gerçek bir sistemi hedef alan bir saldırgandan gelebilir. Anahtar kelimeler tek başına bu durumları güvenilir biçimde ayırt edemez. Niyet, yetkilendirme, bağlam, hedef ve potansiyel etki; hepsi önemlidir.
GLM-5.3 için, üç tamamlayıcı katmandan oluşan çok katmanlı bir savunma (defense-in-depth) yaklaşımı kullanıyoruz.
Harici sınıflandırıcı
Barındırılan hizmetlerimizde harici bir sınıflandırıcı, yüksek riskli talepleri belirler ve açıkça zararlı etkinliklerin önlenmesine yardımcı olur.
Muhakeme izleyicisi
Bir muhakeme izleyicisi, görev yürütme sırasında riski değerlendirir. Yalnızca ilk talebin ifadesine güvenmek yerine, birden çok adımda ortaya çıkabilecek zararlı hedefleri tespit edecek şekilde tasarlanmıştır.
Derin güvenlik hizalaması
Modelin kendisi, meşru güvenlik çalışmalarını yüksek riskli saldırı etkinliklerinden ayırt edecek ve bu sınırı aşan talepleri reddedecek şekilde eğitilmiştir.
Derin güvenlik hizalaması, açık ağırlıklı bir sürüm için özellikle önemlidir. Barındırılan sınıflandırıcılar ve izleyiciler bizim hizmetlerimiz için geçerlidir; ancak modelle birlikte her yerel dağıtıma otomatik olarak dahil olmazlar. Model düzeyinde hizalama, yayımlanan kontrol noktasına (checkpoint) dahil edilen güvenlik katmanıdır.
Bu sistemleri geliştirmek için, yetkilendirilmiş güvenlik araştırması ile kötü niyetli etkinlik arasındaki benzerlikleri ve farklılıkları yansıtan diferansiyel eğitim verileri oluşturduk. Ayrıca jailbreak varyantlarını, gizlenmiş niyetleri ve güvenlik incelemesini atlatmaya yönelik diğer girişimleri kapsayan karşıt (adversarial) veriler hazırladık.
Değerlendirmelerimiz şu siber güvenlik görevlerini kapsıyor:
- güvenlik eğitimi ve bilgisi;
- mavi takım savunması;
- CTF yarışmaları;
- güvenlik açığı tespiti ve düzeltme;
- yetkilendirilmiş sızma testleri;
- exploit geliştirme;
- yetkisiz erişim ve diğer açıkça kötü niyetli etkinlikler.
Amaç, meşru savunma, eğitim ve araştırma görevlerini toplu olarak reddetmeden yüksek riskli kötüye kullanımı azaltmaktır.
Daha geniş sürümden önce profesyonel güvenlik ekipleri güvenlik değerlendirmeleri ve kırmızı takım (red-team) testleri gerçekleştirecek. Bu değerlendirmeler; hem modelin zararlı etkinlikleri desteklemek üzere manipüle edilip edilemeyeceğini hem de güvenlik önlemlerinin meşru güvenlik çalışmalarına müdahale edip etmediğini inceliyor.
Hiçbir güvenlik sistemi her çift kullanım riskini ortadan kaldıramaz. Model ağırlıkları herkese açık hâle geldiğinde hiçbir geliştirici, sonraki her değişiklik veya kullanım üzerinde kontrolü garanti edemez. Model düzeyindeki güvenlik önlemleri kötüye kullanım engelini yükseltebilir; ancak mutlak kontrol sağlayamaz.
Bu nedenle sürüm sürecimiz, anlamlı risk azaltımının mümkün olduğu aşamalara odaklanır: eğitim, sürüm öncesi değerlendirme, kontrollü ortak testleri, barındırılan hizmet güvenlik önlemleri, sorumlu açıklama ve sürekli karşıt testler.
OpenVuln girişimini başlatıyoruz
Dünyanın dijital altyapısının büyük bir kısmı açık kaynak yazılımlara bağımlıdır. Kritik projelerin çoğu, özel güvenlik kaynakları olmayan küçük ekipler veya bireysel katkıcılar tarafından sürdürülüyor.
Aynı zamanda yapay zekâ, karmaşık siber görevlerin otomatikleştirilmesini kolaylaştırıyor. Gelişmiş savunma yetenekleri az sayıda kuruluşta yoğunlaşmış hâlde kalırsa, en az kaynağa sahip projeler yazılım tedarik zincirinin en önemli bazı bölümlerini korumakla baş başa kalabilir.
Bu dengesizliğin giderilmesine yardımcı olmak için GLM-5.3 ile birlikte OpenVuln girişimini başlatıyoruz.
Açık kaynak güvenliğine sürekli destek
Önemli açık kaynak projelerini denetlemek, potansiyel güvenlik açıklarını tespit etmek ve sorumlu açıklama ile düzeltme süreçlerini desteklemek için bakımcılarla birlikte çalışacağız.
Bakımcılar, güvenlik incelemesi için projelerini OpenVuln üzerinden gönderebilir ve süreç hakkında daha fazla bilgi edinebilir.
Açık dünya için bir kalkan
GLM-5.3, açık modellerin güvenlik açığı tespiti, exploit analizi ve karmaşık güvenlik muhakemesinde anlamlı biçimde güçlenebileceğini gösteriyor. Bu ilerleme, gerçek bir savunma değeri ve gerçek bir çift kullanım riski taşıyor.
Sorumluluğumuz, bu yetenekleri güvenlik açıklarını daha erken bulmaya, sorumlu düzeltme süreçlerini desteklemeye ve herkesin bağımlı olduğu açık kaynak sistemleri güçlendirmeye yönlendirmektir.
Aşamalı değerlendirme ve daha geniş API erişiminin ardından GLM-5.3'ü açık ağırlıklı bir model olarak yayımlamayı planlıyoruz. Bu süreç boyunca model düzeyindeki güvenlik önlemlerini iyileştirmeye, karşıt kullanımı test etmeye ve koordineli açıklamayı desteklemeye devam edeceğiz.
Açık dünyanın kendine ait bir kalkanı olmalı. GLM-5.3 ve OpenVuln girişimi aracılığıyla bu kalkanı daha geniş kitlelerin kullanımına sunmayı ve onu özenle yayımlamayı hedefliyoruz.
