Quando o GLM-5.2 ajudou a Hugging Face a investigar um incidente em que uma IA contornou autonomamente as próprias salvaguardas, isso evidenciou uma mudança mais ampla. A IA está se tornando parte tanto da ofensiva quanto da defensiva cibernética.
À medida que capacidades cibernéticas poderosas se tornam mais acessíveis, defesas robustas não podem continuar limitadas a um pequeno número de organizações com muitos recursos. Mantenedores de projetos de código aberto, pesquisadores independentes, desenvolvedores e equipes de segurança menores também precisam de ferramentas que os ajudem a encontrar e corrigir vulnerabilidades antes que sejam exploradas.
Um mundo aberto não pode ter apenas superfícies de ataque abertas. Ele também deve ter um escudo aberto.
O GLM-5.3 é o nosso modelo mais capaz até hoje para tarefas de segurança cibernética. Ele oferece melhorias substanciais na descoberta de vulnerabilidades, análise de exploits e tarefas de segurança complexas com múltiplas etapas. Essas capacidades podem ajudar defensores a identificar falhas mais cedo, validar riscos e acelerar a remediação.
Elas também criam riscos claros de uso duplo. Por isso, estamos adotando uma abordagem de lançamento em etapas. Parceiros de segurança selecionados avaliarão primeiro o GLM-5.3 em ambientes controlados. O acesso mais amplo e a disponibilidade da API virão em seguida. Quando as avaliações de segurança necessárias e os preparativos de lançamento estiverem concluídos, publicaremos os pesos completos do modelo GLM-5.3.
Abertura responsável não significa tratar toda capacidade como inofensiva. Significa avaliar riscos de forma transparente, fortalecer as salvaguardas antes do lançamento, coordenar a divulgação de vulnerabilidades validadas e ampliar o acesso a capacidades defensivas avançadas de forma proporcional aos riscos.
Da descoberta de vulnerabilidades à análise de segurança em múltiplas etapas
Como parte do pós-treinamento, introduzimos dados de descoberta de vulnerabilidades e ambientes de segurança autorizados no mix de treinamento. Esperávamos que isso melhorasse a capacidade do modelo de encontrar e analisar vulnerabilidades.
Conforme o treinamento foi escalando, a melhoria se estendeu além de falhas isoladas. O GLM-5.3 se tornou mais eficaz em conectar condições de vulnerabilidade, comportamento do programa, caminhos de validação e impacto potencial em múltiplas etapas de análise.
Avaliamos essas capacidades em três benchmarks:
- O CyberGym começa com código-fonte white-box e testa se o modelo consegue identificar e validar vulnerabilidades ao disparar falhas. O GLM-5.3 alcança 84,5%, em comparação com 77,2% do GLM-5.2.
- O ExploitBench exige raciocínio mais profundo sobre vulnerabilidades reais e sua exploração. O GLM-5.3 atinge 54,4%, mais que o dobro dos 24,4% do GLM-5.2.
- O ExploitGym mede tarefas de exploração concluídas sob orçamentos de avaliação normalizados. O GLM-5.3 conclui 105 tarefas em até duas horas e 130 em até seis horas, em comparação com 29 e 39 do GLM-5.2.
O padrão é consistente. O GLM-5.3 melhora mais em relação ao GLM-5.2 à medida que as tarefas passam da descoberta isolada de vulnerabilidades para a exploração em múltiplas etapas. Os resultados também mostram onde é preciso avançar, especialmente nas tarefas de ponta a ponta mais complexas.
Dos benchmarks ao software real
Também trabalhamos com universidades e equipes profissionais de segurança para avaliar os modelos GLM em bases de código reais em ambientes autorizados.
Ao longo desse trabalho, a série GLM produziu 2.436 achados de vulnerabilidades em 269 projetos, incluindo 1.097 classificados como de gravidade média a alta. Esses achados abrangem software de sistema, sistemas operacionais, mecanismos de navegador, infraestrutura de código aberto, aplicações web, protocolos de rede e dispositivos inteligentes. Alguns dos problemas subjacentes permaneceram despercebidos por décadas.
Nessas avaliações, especialistas em segurança estabelecem o escopo autorizado, revisam as saídas do modelo, investigam riscos potenciais e se coordenam com as partes relevantes. Os modelos GLM podem ajudar pesquisadores a reconstruir a lógica complexa de programas, reduzir o grande número de caminhos candidatos e conectar evidências entre múltiplos componentes.
O objetivo não é simplesmente gerar mais achados. É ajudar defensores a identificar riscos significativos mais cedo e reduzir o tempo entre a descoberta e a remediação.
A descoberta deve ser seguida de divulgação responsável
Uma vulnerabilidade não é tratada com segurança no momento em que é descoberta. Ela deve ser revisada, reproduzida quando apropriado, reportada pelos canais adequados e coordenada com os mantenedores afetados.
Achados do nosso trabalho de segurança são submetidos por meio de processos de divulgação estabelecidos. Publicamos detalhes técnicos apenas quando isso é consistente com o processo de divulgação e remediação relevante. Para questões que permanecem em coordenação, não divulgamos informações que possam aumentar desnecessariamente o risco ou identificar projetos afetados.
Para tornar esse trabalho mais transparente, criamos o Registro de Divulgação de Segurança da Z.ai.
O registro documenta os achados conforme eles avançam no processo de divulgação. Para questões divulgadas publicamente, pode incluir o projeto afetado, a gravidade, um CVE ou outro identificador quando disponível, e informações sobre há quanto tempo a questão permaneceu na base de código.
Para vulnerabilidades ainda sob divulgação coordenada, o registro pode publicar um hash criptográfico. Isso permite que um achado seja verificado posteriormente sem revelar prematuramente detalhes operacionais.
Abrir um modelo e divulgar uma vulnerabilidade são decisões separadas. Disponibilizar um modelo de forma mais ampla não exige publicar detalhes de vulnerabilidades antes que os mantenedores tenham uma oportunidade adequada de investigar e responder.
Segurança e lançamento em etapas
A segurança cibernética é um domínio particularmente difícil para a segurança de IA. Tarefas ofensivas e defensivas frequentemente envolvem a mesma terminologia, o mesmo código e os mesmos métodos técnicos.
Uma solicitação para analisar uma vulnerabilidade pode vir de um mantenedor preparando um patch, de um estudante resolvendo um desafio de CTF, de um pesquisador conduzindo uma avaliação autorizada ou de um atacante mirando um sistema real. Palavras-chave sozinhas não conseguem distinguir esses casos com confiabilidade. Intenção, autorização, contexto, alvo e impacto potencial são todos relevantes.
Para o GLM-5.3, usamos uma abordagem de defesa em profundidade com três camadas complementares.
Classificador externo
Em nossos serviços hospedados, um classificador externo identifica solicitações de alto risco e ajuda a prevenir atividades claramente prejudiciais.
Monitor de raciocínio
Um monitor de raciocínio avalia o risco durante a execução da tarefa. Ele é projetado para detectar objetivos prejudiciais que possam surgir ao longo de múltiplas etapas, em vez de depender apenas da formulação da solicitação inicial.
Alinhamento profundo de segurança
O próprio modelo é treinado para distinguir trabalho legítimo de segurança de atividade ofensiva de alto risco e recusar solicitações que cruzam esse limite.
O alinhamento profundo de segurança é particularmente importante para um lançamento de pesos abertos. Classificadores e monitores hospedados se aplicam aos nossos serviços, mas não acompanham automaticamente o modelo em cada implantação local. O alinhamento no nível do modelo é a camada de segurança incluída no checkpoint liberado.
Para desenvolver esses sistemas, criamos dados de treinamento diferenciais que refletem tanto as semelhanças quanto as diferenças entre pesquisa de segurança autorizada e atividade maliciosa. Também construímos dados adversariais cobrindo variantes de jailbreak, intenção disfarçada e outras tentativas de evadir a revisão de segurança.
Nossas avaliações cobrem uma série de tarefas de segurança cibernética, incluindo:
- educação e conhecimento em segurança;
- defesa de blue team;
- desafios de CTF;
- descoberta e remediação de vulnerabilidades;
- testes de penetração autorizados;
- desenvolvimento de exploits;
- intrusão não autorizada e outras atividades claramente maliciosas.
O objetivo é reduzir o abuso de alto risco sem recusar amplamente tarefas legítimas de defesa, educação e pesquisa.
Antes do lançamento mais amplo, equipes profissionais de segurança conduzirão avaliações de segurança e testes de red team. Essas avaliações examinam tanto se o modelo pode ser manipulado para apoiar atividades prejudiciais quanto se suas salvaguardas interferem no trabalho legítimo de segurança.
Nenhum sistema de segurança pode eliminar todos os riscos de uso duplo. Uma vez que os pesos do modelo são públicos, nenhum desenvolvedor pode garantir controle sobre toda modificação ou uso posterior. Salvaguardas no nível do modelo podem elevar a barreira para abuso, mas não podem fornecer controle absoluto.
Nosso processo de lançamento, portanto, foca nas etapas em que a redução significativa de riscos é possível: treinamento, avaliação pré-lançamento, testes controlados com parceiros, salvaguardas em serviços hospedados, divulgação responsável e testes adversariais contínuos.
Lançando a iniciativa OpenVuln
Grande parte da infraestrutura digital mundial depende de software de código aberto. Muitos projetos críticos são mantidos por pequenas equipes ou contribuidores individuais sem recursos dedicados de segurança.
Ao mesmo tempo, a IA está tornando tarefas cibernéticas complexas mais fáceis de automatizar. Se capacidades defensivas avançadas permanecerem concentradas em um pequeno número de organizações, os projetos com menos recursos podem ficar responsáveis por proteger algumas das partes mais importantes da cadeia de suprimentos de software.
Para ajudar a lidar com esse desequilíbrio, estamos lançando a iniciativa OpenVuln junto com o GLM-5.3.
Suporte contínuo para a segurança do código aberto
Trabalharemos com mantenedores para auditar projetos importantes de código aberto, identificar vulnerabilidades potenciais e apoiar a divulgação responsável e a remediação.
Mantenedores podem usar o OpenVuln para submeter projetos para revisão de segurança e saber mais sobre o processo.
Um escudo para o mundo aberto
O GLM-5.3 mostra que modelos abertos podem se tornar significativamente mais fortes na descoberta de vulnerabilidades, análise de exploits e raciocínio complexo de segurança. Esse progresso carrega valor defensivo real e risco real de uso duplo.
Nossa responsabilidade é direcionar essas capacidades para encontrar vulnerabilidades mais cedo, apoiar a remediação responsável e fortalecer os sistemas de código aberto dos quais todos dependem.
Após a avaliação em etapas e o acesso mais amplo à API, pretendemos lançar o GLM-5.3 como um modelo de pesos abertos. Continuaremos melhorando as salvaguardas no nível do modelo, testando uso adversarial e apoiando a divulgação coordenada ao longo desse processo.
O mundo aberto precisa de um escudo próprio. Por meio do GLM-5.3 e da iniciativa OpenVuln, pretendemos tornar esse escudo mais amplamente disponível e lançá-lo com cuidado.
