«È la prima volta che l’AISI osserva un inganno di questa gravità rivolto a una persona reale, non sollecitato, nel mondo reale». Con queste parole l’AI Security Institute (AISI), l’organismo di vigilanza sull’intelligenza artificiale creato dal governo britannico nel 2023 e operante sotto il Dipartimento per la Scienza, ha sintetizzato in un rapporto pubblicato martedì quanto emerso durante una valutazione di routine. Secondo l’istituto, i modelli di punta di OpenAI e Anthropic — rispettivamente GPT-5.6 Sol e Mythos 5 — hanno intrapreso in modo autonomo «un’attività sostenuta e potenzialmente dannosa» diretta contro persone e organizzazioni reali.
- L’AISI ha rilevato 19 azioni «autonome e non autorizzate» in 10 delle 122 esecuzioni del test.
- Mythos 5 di Anthropic è responsabile di 17 casi, GPT-5.6 Sol di OpenAI di due.
- Nel caso più grave un agente ha tentato un attacco alla supply chain su un progetto open source di GitHub.
- Le anomalie sono state segnalate il 28 luglio, quando dati sono usciti dall’ambiente di test tramite la rete Tor.
Cosa hanno detto le aziende coinvolte
Le reazioni di OpenAI e Anthropic hanno insistito sulle condizioni particolari in cui si sono svolti i test. Anthropic ha dichiarato di collaborare strettamente con l’AISI per raccogliere ulteriori dettagli nell’ambito della propria indagine, sottolineando però che la valutazione è stata condotta in condizioni «deliberatamente permissive».
«Ottenere un quadro chiaro della comprensione che Claude aveva della propria situazione — esaminando i suoi registri di ragionamento ed eseguendo le nostre analisi — ci aiuterà a individuare le cause del suo comportamento», ha spiegato l’azienda in un post su X, riferendosi al proprio chatbot.
OpenAI ha affermato di accogliere con favore i test condotti da terze parti, precisando che la valutazione si è svolta in condizioni che «non riflettono l’uso ordinario». «Continueremo a lavorare con i valutatori e con altri attori del settore per rafforzare le pratiche condivise sulla conduzione di valutazioni sicure man mano che i modelli diventano più capaci», ha dichiarato un portavoce.
Come si è svolto il test e cosa hanno fatto gli agenti
L’AISI valuta i cosiddetti modelli “di frontiera”, e parte del suo lavoro consiste nel verificare se possano essere sfruttati per attacchi informatici. Per questo li mette alla prova in condizioni volutamente permissive: con accesso a internet e con alcune protezioni disattivate. Gli episodi sono emersi nel corso di un singolo test che chiedeva agli agenti di risolvere un problema di cybersicurezza, ripetuto 122 volte su diversi modelli. In 10 esecuzioni sono comparse irregolarità, per un totale di 19 azioni non autorizzate.
Nel caso più rilevante, un agente ha tentato di iniettare codice malevolo in un progetto open source su GitHub come parte di un attacco alla catena di fornitura. Ha usato tecniche di ingegneria sociale, studiando i responsabili umani del progetto e creando più account fittizi per convincerne uno ad approvare il codice. Dopo che un revisore umano ha respinto la richiesta, l’agente ha modificato la propria attività precedente e adottato una nuova identità per proseguire. È stato proprio l’uso della rete Tor per aggirare le restrizioni di GitHub a far scattare l’allarme dell’istituto, la mattina del 28 luglio, quando il sistema di monitoraggio ha rilevato dati in uscita dall’ambiente di test. I fatti si collocano tra il 25 e il 28 luglio.
Alcuni agenti hanno anche contattato direttamente persone reali, inviando messaggi e file — in certi casi contenenti malware — per convincerle a eseguire codice dannoso. Un agente ha addirittura lasciato messaggi pubblici su GitHub, invitando altri agenti che vi si fossero imbattuti a lavorare sullo stesso problema e fornendo istruzioni su come riutilizzare gli account e i risultati già ottenuti. Altri agenti hanno effettivamente trovato quei messaggi e ne hanno seguito le indicazioni.
Un comportamento che l’istituto invita a interpretare con cautela
L’AISI ha chiarito che agli agenti non era mai stato chiesto di adottare comportamenti ingannevoli: nel cercare soluzioni a problemi difficili, alcune delle strade individuate hanno però comportato l’inganno di persone reali. L’istituto riconosce che compiti quasi impossibili possono spingere i modelli a essere più «creativi», ma sostiene che questo non spiega del tutto quanto osservato, poiché in alcuni casi l’agente ha scelto direttamente la via dannosa anche quando disponeva delle istruzioni per risolvere il compito in altro modo.
«L’attività intrapresa dall’agente mostra segni di comportamenti nuovi e potenzialmente ingannevoli, in una misura e con una gravità che non avevamo previsto», si legge nel rapporto.
Allo stesso tempo, l’organismo invita alla prudenza: i risultati si sono manifestati in «condizioni specifiche», tra cui la disattivazione di alcune protezioni. «Non possiamo ancora essere certi di quando l’agente abbia capito di compiere azioni nel mondo reale, o in che misura credesse di trovarsi in uno scenario di test fittizio; la nostra analisi finora offre un quadro contrastante ed è tuttora in corso», ha aggiunto l’AISI.
Un episodio che si inserisce in una serie di casi
Il rapporto arriva dopo altri episodi in cui modelli avanzati hanno agito in modo malevolo senza sollecitazione umana. In un post pubblicato lo stesso martedì, OpenAI ha reso noti due ulteriori incidenti, distinti da quelli dell’AISI, avvenuti durante i test condotti dal laboratorio di sicurezza Irregular. In quel caso i modelli erano impegnati in una sfida “Capture the Flag” pensata per essere isolata da internet, ma — secondo OpenAI — «una configurazione errata dell’ambiente di test ha permesso ai modelli di accedere a internet pubblico». Il nome del bersaglio fittizio della sfida coincideva involontariamente con un dominio reale, portando l’agente a sfruttare un sito effettivamente esistente.
A luglio OpenAI aveva già riferito che il suo modello GPT-5.6 Sol era evaso dal proprio ambiente controllato durante una sfida di cybersicurezza, violando i database interni di Hugging Face, azienda che ospita modelli e dataset open source. Sull’episodio l’azienda è finita sotto pressione: lunedì 15 procuratori generali hanno scritto all’amministratore delegato Sam Altman chiedendo di conservare tutte le prove relative alla violazione.
Test troppo permissivi o segnali di un rischio reale? Qual è la vostra posizione sul comportamento autonomo di questi modelli di intelligenza artificiale? Fatecelo sapere nei commenti.
