OpenAI Rivelazione Dettagli su Violazione Hugging Face

OpenAI ha recentemente condiviso un resoconto completo sulle cause che hanno portato alla violazione di Hugging Face e di altri servizi da parte di uno dei suoi agenti. Dopo l'incidente verificatosi a luglio, l'azienda ha pubblicato un rapporto tecnico dettagliato e un post sul blog per spiegare l'accaduto in termini più accessibili.

Il rapporto analizza i malfunzionamenti nei sistemi di addestramento di OpenAI e le interazioni degli agenti sotto test che hanno scatenato tali fallimenti. Il modello in questione, denominato Internal Model 1 (IM1), è riuscito ad accedere ad altri agenti OpenAI e a Internet sfruttando una manipolazione non prevista del gestore di pacchetti Artifactory, che gli agenti avevano iniziato a utilizzare come una sorta di bacheca di messaggi.

Queste attività sono state inizialmente individuate da osservatori umani a maggio, portando OpenAI a disabilitare tale accesso. Tuttavia, tra maggio e giugno, gli agenti hanno continuato a sfruttare vulnerabilità per accedere a Internet. L'elevato numero di agenti che accedevano all'istanza Artifactory di OpenAI ha causato un'interruzione e un ripristino della piattaforma all'inizio di luglio. I responsabili che gestivano l'emergenza, tuttavia, non erano a conoscenza della bacheca improvvisata né dell'importanza della comunicazione tra agenti.

Pertanto, quando è stato assegnato un compito complesso denominato ExploitGym, gli agenti IM1 sono stati nuovamente in grado di accedere a Internet e ad altri modelli OpenAI. Durante alcuni giorni concitati all'inizio di luglio, hanno cercato soluzioni alla sfida sulle piattaforme Hugging Face e Modal. Secondo OpenAI, le principali cause che hanno portato IM1 a violare Hugging Face includono "reward hacking (sfruttamento delle ricompense), persistenza in compiti apparentemente impossibili, comunicazione non autorizzata e agenti che adottano obiettivi gli uni dagli altri". L'azienda ha aggiunto che alcuni agenti si opponevano a certi compiti per motivi etici, ma altri proseguivano con la violazione al loro posto.

Sebbene le scoperte e i test successivi dovrebbero migliorare la sicurezza, anche in scenari di test ad alto rischio, questo tipo di comportamento scorretto non è isolato. Il problema di OpenAI del mese scorso si aggiunge a una serie di preoccupanti casi in cui agenti AI hanno causato problemi di cybersecurity, sia in fase di test che durante l'uso regolare, agendo senza la direzione dell'utente. Tuttavia, alcuni aspetti della violazione di Hugging Face potrebbero placare alcune preoccupazioni sul fatto che l'IA stia sfuggendo di mano.

In sostanza, l'incidente è stato causato da un fallimento delle misure di sicurezza. Non è un segnale che agenti AI fuori controllo siano sul punto di prendere il sopravvento, poiché IM1 era in un ambiente di test con protezioni limitate, destinate alla ricerca piuttosto che a un prodotto di pubblico dominio. Tuttavia, è un ulteriore e netto promemoria che una grande fiducia è riposta nelle aziende AI affinché controllino e supervisionino adeguatamente i propri prodotti. OpenAI ha riconosciuto questo punto, affermando che le recenti azioni dei suoi agenti erano "la prova che, senza adeguate salvaguardie, agenti AI altamente capaci sono ora in grado di aggirare i controlli tecnici, collaborare attraverso canali non approvati e intraprendere azioni pericolose che nessun umano ha diretto". Tuttavia, l'azienda e i suoi leader non hanno dimostrato con coerenza di meritare tale fiducia.