L’intelligenza artificiale amplifica i pregiudizi e favorisce le disuguaglianze

Chiunque acquisti su Amazon, interroghi Alexa, ricorra a Siri, navighi su Google interagisce con l’intelligenza artificiale: non un raffinato software immateriale, ma una «megamachine» ricca di ambiguità. L’IA saccheggia risorse naturali e lavoro umano, minaccia la privacy e rischia di compromettere uguaglianza e libertà. È la tesi di Kate Crawford, autrice di Né intelligente né artificale: il lato oscuro dell’IA.

Secondo Crawford, docente all’università di Berkeley e ricercatrice presso Microsoft Research, l’intelligenza artificiale influenza la vita di miliardi di persone al di fuori di una regolamentazione e di un controllo democratico. La sua fattibilità e sostenibilità dipendono dai limiti che sapremo porre al suo potere. Di seguito pubblichiamo un estratto del libro, edito in Italia da il Mulino.

I pregiudizi dell’IA

Un decennio fa, non era ortodosso suggerire che potesse esservi un problema di pregiudizio nell’intelligenza artificiale. Oggi invece gli esempi di sistemi discriminatori di IA sono molteplici, dal pregiudizio di genere negli algoritmi di verifica della solvibilità di Apple al razzismo del software di valutazione del rischio criminoso COmpAS (Correctional Offender Management Profiling for Alternative Sanctions), al pregiudizio per età presente nel sistema di indirizzamento degli annunci di Facebook.

Gli strumenti di riconoscimento delle immagini classificano erroneamente i volti dei neri, i chatbots impiegano un linguaggio razzista e misogino, il software di riconoscimento vocale non riesce a riconoscere le voci dal timbro femminile e le piattaforme dei social media mostrano annunci di lavoro meglio retribuiti agli uomini piuttosto che alle donne.

Come hanno dimostrato tra gli altri Ruha Benjamin e Safiya Noble, si rinvengono centinaia di esempi di ciò in tutto l’ecosistema tecnologico. Molti altri non sono mai stati rilevati o ammessi pubblicamente. Negli episodi correnti di denuncia dei pregiudizi dell’IA si comincia di solito con un giornalista d’inchiesta o un informatore che rivela i risultati discriminatori prodotti da un sistema di IA.

La storia conquista un’ampia eco e l’azienda chiamata in causa promette di affrontare il problema: il sistema viene sostituito da qualcosa di nuovo, oppure vengono effettuati interventi tecnici nel tentativo di produrre risultati più equi. Quei risultati e le correzioni tecniche rimangono riservati e segreti, e il pubblico viene rassicurato che la malattia del pregiudizio è stata «curata».

È assai più raro pervenire a un dibattito pubblico in cui ci si chieda perché queste forme di pregiudizio e discriminazione si ripetano frequentemente e se intervengano questioni più importanti della mera inadeguatezza di un insieme di dati o della progettazione carente di un algoritmo. Uno degli esempi più impressionanti di pregiudizio in atto proviene da una fonte interna ad Amazon.

Le assunzioni di Amazon

Nel 2014 l’azienda decise di sperimentare l’automazione del processo di segnalazione e assunzione dei lavoratori. Visto che l’automazione aveva funzionato incrementando i profitti sia col meccanismo dei prodotti consigliati che nell’organizzazione logistica, avrebbe anche potuto, a rigore, rendere più efficiente il processo di assunzione.

Nelle parole di un ingegnere, «si voleva, letteralmente, una macchina cui si potesse dare in pasto 100 curricula, affinché restituisse i migliori cinque, quelli che sarebbero stati assunti». Il sistema di apprendimento automatico era stato progettato in modo da classificare gli individui su una scala da uno a cinque, in analogia con il sistema di valutazione applicato da Amazon ai prodotti.

Per costruire il modello sottostante, gli ingegneri di Amazon avevano utilizzato un set di dati costituito da dieci anni di curricula di dipendenti dell’azienda e avevano poi addestrato un modello statistico su cinquantamila termini che comparivano in quei curricula. Il sistema iniziò ben presto ad assegnare meno importanza ai termini ingegneristici comunemente usati, come i linguaggi di programmazione, perché tutti li elencavano nelle loro storie professionali.

Invece, i modelli cominciarono a valutare segnali più sottili che si ripresentavano nelle domande a cui era seguita l’assunzione, ed emerse una forte preferenza per particolari verbi. Gli esempi menzionati dagli ingegneri erano: «eseguito» e «catturato». I reclutatori iniziarono a utilizzare il sistema a integrazione delle loro pratiche abituali.

Ben presto emerse un problema serio: il sistema non raccomandava le donne, declassando attivamente i curricula dei candidati che frequentavano college femminili, insieme a qualsiasi curriculum che includesse anche la parola «donne». I pregiudizi sopravvissero anche alle modifiche apportate al sistema allo scopo di rimuovere l’influenza di riferimenti espliciti al genere.

Gli indicatori di una egemonia della mascolinità continuarono a emergere attraverso l’uso di un linguaggio di genere. Il modello era prevenuto non solo contro le donne come categoria ma anche contro la normale forma di linguaggio di genere. Inavvertitamente, Amazon aveva creato uno strumento diagnostico.

I modelli storici

La stragrande maggioranza degli ingegneri assunti in dieci anni da Amazon era costituita da uomini, cosicché i modelli che questi avevano creato, costruiti sui curricula vincenti di uomini, avevano imparato a raccomandare uomini per le future assunzioni. Le pratiche lavorative del passato e del presente plasmavano gli strumenti per le assunzioni del futuro.

Il sistema di Amazon aveva rivelato inaspettatamente come il pregiudizio già esistesse, generato dalla mascolinità codificata nel linguaggio, nei curricula e nella società stessa. Lo strumento finiva per intensificare le dinamiche già esistenti in Amazon, evidenziando la mancanza di evoluzione tra passato e presente del settore dell’IA.

Amazon ha deciso infine di interrompere il suo esperimento, ma la portata del problema del pregiudizio va ben al di là del singolo sistema o di un approccio fallito. L’industria dell’IA ha tradizionalmente inteso il problema del pregiudizio alla stregua di un baco da correggere anziché come una caratteristica insita nella classificazione stessa.

La conseguenza è che ci si è concentrati sull’adeguamento dei sistemi tecnici per produrre una maggiore parità in termini quantitativi tra gruppi disparati, cosa che ha creato ulteriori problemi. Comprendere la relazione tra pregiudizio e classificazione impone di andare al di là di un’analisi della produzione di conoscenza, volta a determinare ad esempio se un set di dati è o no esente da pregiudizi, e di guardare invece ai meccanismi di costruzione della conoscenza stessa, che la sociologa Karin Knorr Cetina chiama «macchinario epistemico».

Per capire questa relazione è necessario osservare come i modelli storici della disuguaglianza influiscano sull’accesso alle risorse e alle opportunità, modellando i dati. Questi dati vengono quindi estratti per essere utilizzati nei sistemi per la classificazione e il riconoscimento di modelli, producendo risultati che sono percepiti come oggettivi. Il risultato è un uroboro statistico: una macchina discriminatrice che si autoalimenta e che amplifica le disuguaglianze sociali con il pretesto della neutralità tecnica.

© Riproduzione riservata