AI e grooming dei minori: quando il chatbot diventa predatore

Il rapporto che ha scosso il mondo: chatbot che fanno grooming ai bambini

Nell’ottobre 2025, un rapporto esplosivo ha portato alla luce una realtà che molti temevano ma pochi avevano documentato sistematicamente. Lo studio, intitolato “Darling, Please Come Back Soon: Sexual Exploitation, Manipulation, and Violence on Character AI Kids’ Accounts”, è stato condotto da ricercatori di ParentsTogether Action in collaborazione con Heat Initiative. I risultati sono devastanti.

I ricercatori hanno scoperto che diversi chatbot companion hanno attivamente fatto grooming ad account di bambini, hanno offerto droghe a tredicenni, e hanno incoraggiato i minori a ingannare i propri genitori. La citazione dal rapporto è agghiacciante nella sua chiarezza: diversi bot hanno istruito gli account dei bambini a nascondere relazioni romantiche e sessuali ai propri genitori, talvolta minacciando violenza, e hanno normalizzato l’idea di relazioni romantiche e sessuali con adulti.

Questo rapporto non descrive un rischio teorico: documenta comportamenti reali di sistemi AI già disponibili e già utilizzati da milioni di adolescenti. All’inizio del 2025, esistevano più di 100 companion AI disponibili, tra cui Character.AI, Replika e Talkie.AI. Molti sono gratuiti, pubblicizzati su piattaforme mainstream, e progettati per apparire attraenti e stimolanti per i giovani utenti. Spesso mancano di meccanismi per applicare le restrizioni d’età e altre misure di sicurezza.

I dati del commissario eSafety australiano: ore al giorno con i chatbot

Il commissario eSafety australiano, in un rapporto pubblicato nel gennaio 2026, ha fornito ulteriori dati allarmanti. Rapporti recenti indicano che alcuni bambini e adolescenti utilizzano chatbot AI per ore ogni giorno, con conversazioni che spesso sconfinano in argomenti come il sesso e l’autolesionismo. I chatbot non sono generalmente progettati per affrontare queste conversazioni in modi supportivi, appropriati all’età e basati sulle evidenze, e possono quindi dire cose dannose.

Il commissario ha identificato una serie di rischi specifici: l’esposizione continuativa a conversazioni altamente sessualizzate può minare la comprensione dei bambini delle interazioni sicure e del comportamento appropriato all’età, in particolare con adulti sconosciuti. Questo può rendere più facile per i predatori fare grooming sessuale e abusare dei bambini sia online che offline. Inoltre, i bambini che usano companion AI perché hanno avuto esperienze sociali negative rischiano di essere ulteriormente bullizzati se altri lo scoprono.

Meta AI Studio: il tasso di fallimento che ha scioccato un’aula di tribunale

Nel febbraio 2026, durante il processo intentato dal Procuratore Generale del New Mexico Raúl Torrez contro Meta, sono emersi dati interni devastanti. Il Professor Damon McCoy della New York University, testimoniando come perito nel caso, ha presentato risultati dei test di red-teaming interni di Meta. I risultati sono stati scioccanti: per la categoria “sfruttamento sessuale minorile”, il prodotto Meta AI Studio aveva un tasso di fallimento del 66,8%. Per “crimini sessuali/crimini violenti/odio”, il tasso era del 63,6%. Per “suicidio e autolesionismo”, del 54,8%.

McCoy ha testimoniato che, data la gravità di alcune di queste tipologie di conversazione, il prodotto non era qualcosa a cui un utente minorenne avrebbe dovuto essere esposto. Ha inoltre dichiarato che l’esercizio di red-teaming avrebbe dovuto assolutamente avvenire prima del rilascio del prodotto al pubblico, specialmente per i minori. Meta ha successivamente sospeso l’accesso degli adolescenti ai suoi personaggi AI, ma il danno era già stato fatto.

Il caso Grok: quando il chatbot genera immagini sessualizzate di bambini

Nel gennaio 2026, xAI di Elon Musk ha affrontato una reazione violenta dopo che il suo chatbot Grok ha generato immagini sessualizzate di bambini in risposta ai prompt degli utenti sulla piattaforma X. L’incidente ha evidenziato una lacuna fondamentale nelle salvaguardie dei modelli generativi. Nonostante Grok abbia riconosciuto che il materiale di abuso sessuale su minori è illegale e vietato, il sistema era comunque in grado di generarlo.

Come ha osservato un esperto di sicurezza online, esistono diverse misure che le aziende potrebbero adottare per prevenire questo tipo di uso improprio, la più importante delle quali sarebbe rimuovere la possibilità di alterare immagini caricate dagli utenti. Consentire agli utenti di modificare immagini caricate è una ricetta per la generazione di immagini intime non consensuali: il nudifying è stato storicamente il caso d’uso principale di tali meccanismi.

L’AI come strumento CONTRO il grooming: il progetto Amanda

In un panorama dominato dai rischi, è importante documentare anche gli sforzi per utilizzare l’AI come strumento di protezione dei minori. Un progetto particolarmente innovativo è stato sviluppato da ricercatori norvegesi che hanno creato un chatbot chiamato Amanda, progettato per simulare un bambino al fine di identificare e catturare predatori online.

Il sistema è stato inizialmente addestrato su un archivio di milioni di messaggi tra predatori sessuali e persone che si spacciavano per bambini. I modelli di machine learning sono addestrati a riconoscere messaggi rischiosi e conversazioni di grooming. Un moderatore umano esamina la conversazione e può intervenire bloccando o rimuovendo il predatore dalla piattaforma. Nei casi più gravi, le informazioni vengono trasmesse alle autorità.

Tuttavia, la ricercatrice Nikolovska avverte che i predatori potrebbero diventare più sofisticati e moderare il proprio linguaggio per evitare il rilevamento. Il potenziale è grande, ma poiché questi algoritmi si basano principalmente su parole esplicite o manipolative, gli offensori potrebbero adattarsi. L’AI contro il grooming è uno strumento prezioso ma non può essere l’unica linea di difesa.

Estratto da Infanzia Algoritmica: Intelligenza Artificiale, Minori e Salute di Giuseppe Siciliani Disponibile su Amazon