L'Allegheny Family Screening Tool e l'AI nei servizi di welfare

Quando un algoritmo decide il destino di una famiglia

Tra tutti i casi documentati di AI applicata ai minori, quello dell’Allegheny Family Screening Tool (AFST) nella contea di Allegheny, Pittsburgh, Pennsylvania, rappresenta forse il caso studio più istruttivo e più inquietante. L’AFST è un algoritmo progettato per aiutare gli operatori sociali a decidere quali famiglie segnalate per preoccupazioni relative al welfare infantile dovessero essere investigate. Il sistema analizza venti anni di dati storici delle chiamate alla hotline e li utilizza per predire istantaneamente se una segnalazione debba essere approfondita o archiviata.

La premessa è apparentemente ragionevole: utilizzare i dati per ridurre i bias umani nelle decisioni di screening di sicurezza alla hotline e per garantire che nessun bambino a rischio venga trascurato. Ma la realtà si è rivelata molto più complessa. Un’indagine della Associated Press ha rivelato potenziali problemi di bias razziale e trasparenza nell’algoritmo. I calcoli statistici del sistema aiutano gli operatori sociali a decidere quali famiglie investigare per negligenza — un termine sfumato che può includere dall’inadeguatezza abitativa all’igiene carente.

Le conseguenze di un’indagine di welfare infantile possono variare enormemente: le famiglie vulnerabili possono ricevere più supporto e servizi, ma possono anche vedersi sottrarre i figli per l’affidamento e, in ultima istanza, la perdita definitiva della potestà genitoriale. La posta in gioco non potrebbe essere più alta: un errore dell’algoritmo può letteralmente distruggere una famiglia.

Il bias contro disabilità, povertà e razza

Diverse denunce sono state presentate riguardo al modo in cui l’algoritmo può avere un potenziale bias contro le persone con disabilità e problemi di salute mentale. L’avvocata di diritto di famiglia Robin Frank ha presentato un reclamo per conto della sua cliente con disabilità intellettiva, che stava lottando per riavere la custodia della propria figlia dall’affidamento. Il Dipartimento di Giustizia degli Stati Uniti ha avviato un’indagine, con gli avvocati della Divisione Diritti Civili che hanno citato l’inchiesta dell’AP nel sollecitare la presentazione di denunce formali.

Il problema fondamentale è strutturale: se le decisioni storiche nel welfare infantile sono state contaminate da bias umani, inclusi razzismo e pregiudizio contro le famiglie povere — con il risultato che le famiglie nere e latine venivano segnalate al sistema al doppio del tasso delle famiglie bianche — allora un algoritmo addestrato su questi dati storicamente distorti porterà avanti i vecchi bias nel futuro. Come osserva la ricerca del Center for Advanced Studies in Child Welfare dell’Università del Minnesota, se si utilizzano questi dataset storicamente distorti per fare previsioni future, anche le previsioni porteranno avanti i vecchi pregiudizi.

L’Oregon ha dovuto sospendere l’uso del proprio algoritmo, ispirato all’AFST, dopo che i dati hanno mostrato una segnalazione sproporzionata di bambini neri per indagini obbligatorie sulla negligenza. Il caso solleva una domanda fondamentale per tutto il campo dell’AI applicata ai minori: i dati valutano caratteristiche che le persone non possono cambiare, piuttosto che il loro comportamento effettivo. Avere una disabilità mentale o un basso reddito non rende un genitore inadeguato, ma l’algoritmo può trattare questi fattori come predittori di rischio.

Le lezioni del caso Allegheny per la governance dell’AI

Il caso Allegheny offre lezioni cruciali per qualsiasi applicazione dell’AI che influenzi la vita dei minori. Primo: la trasparenza algoritmica non è un optional. L’opacità dell’algoritmo ha reso quasi impossibile per le famiglie contestare le decisioni che li riguardavano. Secondo: il “umano nel mezzo” non è sufficiente se l’umano tende a conformarsi alle raccomandazioni dell’algoritmo. La contea ha sostenuto che gli operatori della hotline determinano cosa succede con il caso di una famiglia e possono sempre prevalere sulle raccomandazioni dello strumento, ma nella pratica l’effetto di ancoraggio dell’algoritmo è potente. Terzo: i dati storici portano con sé i bias storici, e questo non è un difetto correggibile ma una caratteristica intrinseca dei sistemi predittivi basati su dati.

Quarto, e forse più importante: le conseguenze di un errore sono asimmetriche. Un falso negativo (non investigare una famiglia a rischio) può portare a un bambino non protetto. Un falso positivo (investigare una famiglia non a rischio) può portare alla separazione di un bambino dalla propria famiglia. Entrambi gli errori hanno conseguenze devastanti e irreversibili, ma il secondo tipo di errore colpisce sistematicamente le famiglie già marginalizzate. Come osserva la Ave Maria School of Law, la posta in gioco è fondamentale: non affrontare un’accusa può essere dannoso per un bambino, ma un’indagine ingiustificata può distruggere una famiglia.

Estratto da Infanzia Algoritmica: Intelligenza Artificiale, Minori e Salute di Giuseppe Siciliani Disponibile su Amazon