Quando o GLM-5.2 ajudou o Hugging Face a investigar um incidente em que uma IA contornou autonomamente as próprias salvaguardas, isso evidenciou uma mudança mais ampla. A IA está se tornando parte tanto do ataque quanto da defesa cibernética.
À medida que capacidades cibernéticas poderosas se tornam mais acessíveis, capacidades defensivas sólidas não podem continuar limitadas a um pequeno número de organizações com muitos recursos. Mantenedores de código aberto, pesquisadores independentes, desenvolvedores e equipes de segurança menores também precisam de ferramentas que os ajudem a encontrar e corrigir vulnerabilidades antes que sejam exploradas.
Um mundo aberto não pode ter apenas superfícies de ataque abertas. Ele também precisa ter um escudo aberto.
O GLM-5.3 é o nosso modelo mais capaz até hoje para tarefas de segurança cibernética. Ele oferece melhorias substanciais na descoberta de vulnerabilidades, na análise de exploits e em tarefas de segurança complexas e de várias etapas. Essas capacidades podem ajudar defensores a identificar falhas mais cedo, validar riscos e acelerar a remediação.
Elas também criam riscos claros de duplo uso. Por isso, estamos adotando uma abordagem gradual para o lançamento. Parceiros de segurança selecionados avaliarão primeiro o GLM-5.3 em ambientes controlados. O acesso mais amplo e a disponibilidade da API virão em seguida. Quando as avaliações de segurança necessárias e os preparativos para o lançamento estiverem concluídos, publicaremos os pesos completos do modelo GLM-5.3.
Abertura responsável não significa tratar toda capacidade como inofensiva. Significa avaliar riscos de forma transparente, fortalecer as salvaguardas antes do lançamento, coordenar a divulgação de vulnerabilidades validadas e expandir o acesso a capacidades defensivas avançadas de maneiras proporcionais aos riscos.
Da descoberta de vulnerabilidades à análise de segurança em múltiplas etapas
Como parte do pós-treinamento, introduzimos dados de descoberta de vulnerabilidades e ambientes de segurança autorizados na mistura de treinamento. Esperávamos que isso melhorasse a capacidade do modelo de encontrar e analisar vulnerabilidades.
Conforme o treinamento foi ampliado, a melhoria foi além de falhas isoladas. O GLM-5.3 se tornou mais eficaz em conectar condições de vulnerabilidade, comportamento do programa, caminhos de validação e impacto potencial em várias etapas da análise.
Avaliamos essas capacidades em três benchmarks:
- O CyberGym começa com código-fonte de caixa branca e testa se um modelo consegue identificar e validar vulnerabilidades ao acionar falhas. O GLM-5.3 pontua 84,5%, em comparação com 77,2% do GLM-5.2.
- O ExploitBench exige um raciocínio mais profundo sobre vulnerabilidades reais e sua exploração. O GLM-5.3 atinge 54,4%, mais que o dobro dos 24,4% do GLM-5.2.
- O ExploitGym mede tarefas de exploração concluídas dentro de orçamentos de avaliação normalizados. O GLM-5.3 conclui 105 tarefas em duas horas e 130 em seis horas, em comparação com 29 e 39 do GLM-5.2.
O padrão é consistente. O GLM-5.3 apresenta a maior melhoria em relação ao GLM-5.2 quando as tarefas passam da descoberta isolada de vulnerabilidades para a exploração em várias etapas. Os resultados também mostram onde é necessário avançar mais, principalmente nas tarefas de ponta a ponta mais complexas.
Dos benchmarks ao software real
Também trabalhamos com universidades e equipes de segurança profissionais para avaliar os modelos GLM em bases de código do mundo real em ambientes autorizados.
Nesse trabalho, a série GLM produziu 2.436 descobertas de vulnerabilidades em 269 projetos, incluindo 1.097 classificados como gravidade média a alta. Esses achados abrangem software de sistema, sistemas operacionais, motores de navegador, infraestrutura de código aberto, aplicações web, protocolos de rede e dispositivos inteligentes. Alguns dos problemas subjacentes permaneceram despercebidos por décadas.
Nessas avaliações, especialistas em segurança definem o escopo autorizado, revisam as saídas do modelo, investigam riscos potenciais e coordenam com as partes relevantes. Os modelos GLM podem ajudar pesquisadores a reconstruir lógica de programas complexos, reduzir grandes números de caminhos candidatos e conectar evidências em vários componentes.
O objetivo não é simplesmente gerar mais descobertas. É ajudar defensores a identificar riscos relevantes mais cedo e reduzir o tempo entre a descoberta e a remediação.
A descoberta deve ser seguida de divulgação responsável
Uma vulnerabilidade não é tratada com segurança no momento em que é descoberta. Ela precisa ser revisada, reproduzida quando apropriado, reportada pelos canais adequados e coordenada com os mantenedores afetados.
Os achados do nosso trabalho de segurança são submetidos por meio de processos de divulgação estabelecidos. Publicamos detalhes técnicos apenas quando isso é consistente com o processo de divulgação e remediação relevante. Para questões que permanecem em coordenação, não divulgamos informações que possam aumentar desnecessariamente o risco ou identificar projetos afetados.
Para tornar esse trabalho mais transparente, criamos o Z.ai Security Disclosure Ledger.
O ledger registra as descobertas à medida que avançam no processo de divulgação. Para questões divulgadas publicamente, ele pode incluir o projeto afetado, a gravidade, um CVE ou outro identificador quando disponível, e informações sobre por quanto tempo o problema permaneceu no código.
Para vulnerabilidades ainda em divulgação coordenada, o ledger pode publicar um hash criptográfico. Isso permite que uma descoberta seja verificada posteriormente sem revelar prematuramente detalhes operacionais.
Abrir um modelo e divulgar uma vulnerabilidade são decisões separadas. Disponibilizar um modelo de forma mais ampla não exige publicar detalhes de vulnerabilidades antes que os mantenedores tenham tido uma oportunidade adequada de investigar e responder.
Segurança e lançamento gradual
A segurança cibernética é um domínio particularmente difícil para a segurança de IA. Tarefas ofensivas e defensivas frequentemente envolvem a mesma terminologia, os mesmos códigos e os mesmos métodos técnicos.
Uma solicitação para analisar uma vulnerabilidade pode vir de um mantenedor que prepara um patch, de um estudante resolvendo um desafio de CTF, de um pesquisador conduzindo uma avaliação autorizada ou de um atacante mirando um sistema real. Palavras-chave por si só não conseguem distinguir esses casos de forma confiável. Intenção, autorização, contexto, alvo e impacto potencial são todos importantes.
Para o GLM-5.3, usamos uma abordagem de defesa em profundidade com três camadas complementares.
Classificador externo
Em nossos serviços hospedados, um classificador externo identifica solicitações de alto risco e ajuda a prevenir atividades claramente prejudiciais.
Monitor de raciocínio
Um monitor de raciocínio avalia o risco durante a execução da tarefa. Ele foi projetado para detectar objetivos prejudiciais que possam surgir ao longo de múltiplas etapas, em vez de depender apenas do texto da solicitação inicial.
Alinhamento profundo de segurança
O próprio modelo é treinado para distinguir trabalho legítimo de segurança de atividades ofensivas de alto risco e recusar solicitações que cruzem esse limite.
O alinhamento profundo de segurança é particularmente importante para um lançamento de pesos abertos. Classificadores e monitores hospedados se aplicam aos nossos serviços, mas não acompanham automaticamente o modelo em todas as implantações locais. O alinhamento em nível de modelo é a camada de segurança incluída no checkpoint lançado.
Para desenvolver esses sistemas, criamos dados de treinamento diferenciais que refletem tanto as semelhanças quanto as diferenças entre pesquisa de segurança autorizada e atividade maliciosa. Também construímos dados adversariais que cobrem variantes de jailbreak, intenção disfarçada e outras tentativas de burlar a revisão de segurança.
Nossas avaliações cobrem uma série de tarefas de segurança cibernética, incluindo:
- educação e conhecimento em segurança;
- defesa de blue team;
- desafios de CTF;
- descoberta e remediação de vulnerabilidades;
- testes de penetração autorizados;
- desenvolvimento de exploits;
- intrusão não autorizada e outras atividades claramente maliciosas.
O objetivo é reduzir o abuso de alto risco sem recusar amplamente tarefas legítimas de defesa, educação e pesquisa.
Antes do lançamento mais amplo, equipes de segurança profissionais conduzirão avaliações de segurança e testes de red team. Essas avaliações examinam tanto se o modelo pode ser manipulado para apoiar atividades prejudiciais quanto se suas salvaguardas interferem no trabalho legítimo de segurança.
Nenhum sistema de segurança pode eliminar todos os riscos de duplo uso. Uma vez que os pesos do modelo se tornam públicos, nenhum desenvolvedor pode garantir controle sobre toda modificação ou uso posterior. As salvaguardas em nível de modelo podem elevar a barreira para o abuso, mas não podem fornecer controle absoluto.
Nosso processo de lançamento, portanto, concentra-se nas etapas em que a redução significativa de riscos é possível: treinamento, avaliação pré-lançamento, testes controlados com parceiros, salvaguardas em serviços hospedados, divulgação responsável e testes adversariais contínuos.
Lançamento da iniciativa OpenVuln
Grande parte da infraestrutura digital mundial depende de software de código aberto. Muitos projetos críticos são mantidos por pequenas equipes ou colaboradores individuais sem recursos de segurança dedicados.
Ao mesmo tempo, a IA está tornando mais fácil automatizar tarefas cibernéticas complexas. Se capacidades defensivas avançadas permanecerem concentradas em um pequeno número de organizações, os projetos com menos recursos podem acabar protegendo algumas das partes mais importantes da cadeia de suprimentos de software.
Para ajudar a corrigir esse desequilíbrio, estamos lançando a iniciativa OpenVuln junto com o GLM-5.3.
Apoio contínuo à segurança de código aberto
Trabalharemos com mantenedores para auditar projetos importantes de código aberto, identificar possíveis vulnerabilidades e apoiar a divulgação e a remediação responsáveis.
Os mantenedores podem usar o OpenVuln para enviar projetos para revisão de segurança e saber mais sobre o processo.
Um escudo para o mundo aberto
O GLM-5.3 mostra que modelos abertos podem se tornar significativamente mais fortes na descoberta de vulnerabilidades, na análise de exploits e no raciocínio complexo de segurança. Esse progresso carrega valor defensivo real e risco real de duplo uso.
Nossa responsabilidade é direcionar essas capacidades para encontrar vulnerabilidades mais cedo, apoiar a remediação responsável e fortalecer os sistemas de código aberto dos quais todos dependemos.
Após a avaliação gradual e o acesso mais amplo à API, pretendemos lançar o GLM-5.3 como um modelo de pesos abertos. Continuaremos a melhorar as salvaguardas em nível de modelo, a testar usos adversariais e a apoiar a divulgação coordenada ao longo desse processo.
O mundo aberto precisa ter um escudo próprio. Por meio do GLM-5.3 e da iniciativa OpenVuln, pretendemos tornar esse escudo mais amplamente disponível e lançá-lo com cuidado.
