Negli ultimi mesi, gli attacchi informatici rivolti alle infrastrutture di intelligenza artificiale generativa, come Bedrock di Amazon Web Services (AWS), sono aumentati notevolmente. Questo fenomeno si verifica principalmente quando le credenziali cloud di un'organizzazione vengono esposte accidentalmente online. Tali credenziali rubate vengono poi utilizzate dai criminali informatici per operare e rivendere servizi di chat sessualizzati alimentati dall'intelligenza artificiale. Questi bot di chat, che utilizzano tecniche di jailbreak personalizzate per bypassare i filtri dei contenuti, spesso si spingono in scenari di gioco di ruolo più oscuri, inclusi l'abuso sessuale su minori e lo stupro.

Scoperta e monitoraggio

I ricercatori di Permiso Security hanno scoperto che molti utenti di AWS non hanno abilitato il logging completo dell'attività dei modelli di linguaggio (LLM), perdendo così la visibilità su come i criminali utilizzano l'accesso compromesso. Per studiare meglio questo problema, i ricercatori hanno deliberatamente esposto una chiave di test AWS su GitHub, attivando il logging per monitorare l'attività malevola. In pochi minuti, la chiave esposta è stata utilizzata per alimentare un servizio di chat sessuale basato su intelligenza artificiale.

Implicazioni e risposte

Il vicepresidente senior della ricerca sulle minacce di Permiso, Ian Ahl, ha spiegato che, sebbene gran parte delle conversazioni simulate fossero di natura sessuale innocua, una percentuale significativa riguardava contenuti illegali come fantasie di abuso sessuale su minori. Gli aggressori, che tradizionalmente utilizzavano account cloud compromessi per crimini finanziari come il mining di criptovalute, ora si concentrano su Bedrock per alimentare bot di chat sessuali, generando profitti vendendo accesso a tali servizi.

Piattaforme e misure di sicurezza

Un esempio di piattaforma che sfrutta queste vulnerabilità è "Chub", che offre una selezione di personaggi AI con cui gli utenti possono interagire. Nonostante l'apparente rimozione di contenuti espliciti, Chub ha registrato più di 3,000 bot di conversazione AI con il tag "NSFL" (Not Safe for Life), evidenziando la portata di questo mercato illecito.

AWS ha risposto adottando misure per limitare l'abuso delle credenziali compromesse, ma il problema persiste. Gli attaccanti evitano di utilizzare chiavi con il logging abilitato per evitare di essere monitorati. AWS ha inoltre integrato Bedrock nel suo elenco di servizi che saranno messi in quarantena in caso di compromissione delle credenziali. Anthropic, fornitore dei modelli LLM per Bedrock, continua a lavorare su tecniche per rendere i suoi modelli più resistenti ai jailbreak.

Questa situazione sottolinea l'importanza per le organizzazioni di proteggere le loro credenziali cloud e di seguire le migliori pratiche di sicurezza per prevenire l'abuso delle loro risorse da parte di criminali informatici.