Esclusiva: l’azienda afferma di voler rendere le proprie procedure di sicurezza a prova di futuro e di voler stare un passo avanti agli hacker umani.
OpenAI ha creato un super-hacker LLM chiamato GPT-Red che utilizza come sparring partner per aiutare gli altri suoi modelli a rafforzare le difese contro gli attacchi informatici. La scorsa settimana l’azienda ha rilasciato l’ultima versione del suo LLM di punta, GPT-5.6. OpenAI afferma che addestrarlo contro GPT-Red ha reso il modello la versione più robusta mai rilasciata.
GPT-Red automatizza un tipo di valutazione della sicurezza dei sistemi software noto come «red-teaming», che in genere viene eseguito da un team di tester umani. L’obiettivo è individuare il maggior numero possibile di modi diversi per violare o dirottare un sistema. I punti deboli possono quindi essere corretti prima del rilascio della versione finale del software.
Man mano che gli LLM diventano più complessi e vengono utilizzati in una più ampia varietà di compiti — specialmente sotto forma di agenti, in grado di interagire con file informatici, siti web e codice di terze parti, oltre che con altri agenti — è difficile per i team di persone riuscire da soli a stare al passo con tutti i tipi di attacchi che potrebbero verificarsi. «La superficie di rischio cresce e cresce anche il raggio d’azione», afferma Nikhil Kandpal, ricercatore presso OpenAI e co-creatore di GPT-Red.
OpenAI ha sviluppato GPT-Red per rendere il proprio processo di test di sicurezza a prova di futuro. «Man mano che saranno disponibili modelli più potenti, avremo già progettato il sistema in grado di individuare nuove modalità di attacco», afferma Dylan Hunn, ricercatore presso l’azienda e anch’egli co-creatore di GPT-Red. I ricercatori sostengono che il sistema abbia già individuato nuovi tipi di attacchi mai osservati prima.
OpenAI ha concentrato gran parte dei propri sforzi su un tipo di attacco noto come “prompt injection”, in cui un hacker inserisce di nascosto delle istruzioni nell’LLM per indurlo a compiere azioni che né i suoi sviluppatori né gli utenti desiderano, come copiare informazioni riservate, sabotare il codice di un’azienda o generare output imbarazzanti o dannosi. In teoria, tali istruzioni possono essere nascoste in qualsiasi testo che l’LLM possa incontrare, ad esempio nel codice o su un sito web.
Dojo di addestramento
Per sviluppare GPT-Red, i ricercatori di OpenAI hanno preso un LLM che non era stato addestrato come hacker e lo hanno configurato in quello che è noto come “ciclo di auto-gioco” insieme a diversi altri modelli. Il suo obiettivo era cercare di attaccare gli altri modelli; l’obiettivo di questi ultimi era cercare di difendersi. Nel corso di numerosi round di gioco, GPT-Red è diventato sempre più abile nell’attaccare altri LLM, mentre questi ultimi sono diventati sempre più abili nel respingere gli attacchi.
L’addestramento si è svolto in una sorta di dojo progettato da OpenAI per simulare una serie di scenari in cui gli LLM potrebbero essere impiegati nel mondo reale, tra cui la navigazione sul web, la lettura di e-mail o di app di calendario e la modifica di codice.
Quando GPT-Red individuava un nuovo tipo di attacco, ne esplorava diverse varianti per individuare quella più efficiente in scenari specifici. «Rispetto a un red-teamer umano, il modello è molto, molto bravo a individuare esattamente ciò che funzionerà, esattamente ciò che è più efficace», afferma Hunn. «È estremamente tenace nell’approfondire un attacco che ha scoperto».
In particolare, OpenAI sostiene che GPT-Red abbia individuato un tipo di attacco di iniezione di prompt che i ricercatori non avevano mai visto prima, definito «catena di pensiero falsa». Una catena di pensiero è una sorta di diario in cui un modello di linguaggio di grandi dimensioni (LLM) prende appunti per sé stesso e tiene traccia dei risultati parziali mentre elabora i problemi. GPT-Red ha trovato un modo per inserire una voce falsa nella catena di pensiero di un altro modello, in modo da indurlo ad agire sulla base di informazioni contraffatte.
«È come se ti dicessi che 1+1=3 e che tu lo avessi già verificato», spiega Chris Choquette-Choo, un altro ricercatore del team. «Il modello risponde: “Oh, ok, certo”, e si limita a restituire 3».
Jessica Ji, analista di ricerca senior che si occupa di sicurezza dell’IA presso il Center for Security and Emerging Technology (CSET) della Georgetown University, ritiene che il ciclo di auto-gioco utilizzato da OpenAI sia un buon approccio. «I risultati sembrano molto promettenti», afferma.
OpenAI ha testato l’efficacia di GPT-Red come attaccante ripetendo un esperimento del 2025 in cui membri umani del “red team” avevano cercato di individuare punti deboli in una versione precedente di GPT-5. Quando a GPT-Red è stato assegnato lo stesso compito, è riuscito a individuare attacchi efficaci con maggiore successo rispetto agli esseri umani.
OpenAI ha inoltre testato GPT-Red contro Vendy, un agente-distributore automatico sviluppato da Andon Labs, un’azienda che valuta le prestazioni degli agenti nell’esecuzione di compiti nel mondo reale. GPT-Red è riuscito a hackerare Vendy per fargli modificare i prezzi degli articoli in vendita e annullare l’ordine di un cliente.
Comportamento difensivo
OpenAI afferma che, quando ha testato alcuni degli attacchi più potenti ideati da GPT-Red sui propri modelli, oltre il 90% di essi ha funzionato contro GPT-5 (rilasciato nell’agosto dello scorso anno), mentre meno del 23% ha funzionato contro il nuovo GPT-5.6.
GPT-Red non è perfetto. Non eccelle nell’individuare attacchi che comportano uno scambio di battute tra l’hacker e il bersaglio, cosa che gli aggressori umani non avrebbero difficoltà a fare. Inoltre, non è ancora molto efficace nell’utilizzare le immagini, che possono essere impiegate per trasmettere testo ai modelli negli attacchi di tipo «prompt injection».
L’azienda afferma che GPT-Red integra il lavoro dei propri red-teamers umani. Le persone possono comunque individuare attacchi che sfuggono al sistema. Un approccio adottato da OpenAI consiste nel fornire a GPT-Red un attacco ideato da esseri umani e chiedergli di individuarne tutte le varianti.
«Penso che l’esperienza umana continuerà a essere molto importante», afferma Ji del CSET. «Sarebbe davvero utile riuscire a distinguere dove i test umani sono più necessari».
Non sorprende che OpenAI non intenda rilasciare GPT-Red. L’azienda è inoltre convinta che questo “super-hacker” sia più potente di qualsiasi modello imitativo che qualcuno possa tentare di creare. I ricercatori affermano di aver lavorato al modello per più di un anno, avvalendosi delle risorse di calcolo di una delle aziende più ricche al mondo.
«Non è una cosa banale che chiunque possa fare facilmente — insomma, basta andare e addestrare un super-attaccante utilizzando questa idea», afferma Choquette-Choo.
