La polizia spagnola si è affidata a un algoritmo per stabilire la probabilità che le vittime di violenza domestica subiscano ulteriori abusi in futuro. Alcune delle donne giudicate a “basso rischio”, però, sono state uccise dai loro compagni. C’è un grosso problema di trasparenza ed efficacia
È lontanamente immaginabile poter prevedere un caso di violenza domestica? La risposta potrebbe essere sì. Da un certo punto di vista, determinate azioni volte a unire le donne con attori come le istituzioni e la società potrebbero portare a una maggiore coscienza del fenomeno. Per chi agisce la violenza, ma anche per chi la subisce. E dunque, prevedendo che possa succedere di nuovo, evitarla.
Non è però questo il ragionamento che ha seguito la polizia spagnola. A luglio un’inchiesta del New York Times ha rivelato come il paese faccia si sia affidato a un algoritmo per stabilire la probabilità che le vittime di violenza domestica subiscano ulteriori abusi in futuro.
Abusi che, come spesso viene riportato dalla stampa nostrana e internazionale, possono portare anche alla morte della vittima di violenza. L’algoritmo spagnolo compara una serie di dati nazionali sulla criminalità, verbali di polizia, e alcune ricerche pubblicate nel Regno Unito e Canada che hanno stilato indicatori apparentemente correlati alla violenza di genere. Abuso di sostanze, perdita di lavoro, incertezza economica sono tra i primi della lista.
Il caso di Lobna Hemid
Lobna Hemid era una donna residente a Madrid. Da tempo stava con suo marito, un uomo che in dieci anni l’ha picchiata più volte davanti ai loro quattro figli. Quando la donna si è rivolta alle forze dell’ordine per l’ennesima aggressione del marito, i poliziotti dovevano stabilire se fosse in pericolo. Se un incubo del genere si poteva ripetere di nuovo. Un agente di polizia ha quindi risposto a un questionario di 35 domande del tipo «è stata usata un’arma? L’aggressore ha mostrato comportamenti controllanti?», chiedendo all’algoritmo del sistema VioGén.
Il punteggio restituito è stato «basso rischio». Eppure erano dieci anni che il marito esercitava su di lei, e indirettamente sui figli, violenza domestica. La polizia spagnola ha mandato a casa Lobna e ha rilasciato il marito arrestato nella stessa sera. Quasi due mesi dopo, l’uomo ha pugnalato a morte la moglie prima al petto e poi all’addome, per poi uccidersi.
Il caso di Lobna non è l’unico. Sono almeno 247 le donne uccise in Spagna dal loro partner o dall’ex partner a partire dal 2007, e che risultano essere state valutate da VioGén come fuori pericolo. Una frazione piccola delle 92.000 totali, ma un numero sufficiente ad evidenziare l'enorme criticità di un sistema simile.
Come riporta il New York Times, l’83 per cento dei casi di violenza di genere scrutinati è considerato dall’algoritmo a basso rischio. Secondo il sistema insomma, per queste donne nuove aggressioni non dovrebbero essercene in futuro. Il ministero dell’Interno spagnolo però, che supervisiona il sistema, parla comunque di casi in cui donne hanno riferito di essere state nuovamente vittime di violenza domestica: il 14 per cento di quelle che VioGén riteneva essere a «basso rischio».
Il futuro non si prevede
Cosa succede se il confine tra output di una macchina e processo decisionale umano è sempre più sfocato? Nel migliore dei casi, il software VioGén potrebbe aiutare a individuare eventuali altri casi di violenza domestica. Nel peggiore, provocare la morte di persone perché le forze dell’ordine sottovalutano la condizione di pericolo in cui sono in quel momento.
Questo nonostante la polizia spagnola sia addestrata a ignorare il risultato che VioGén fornisce agli agenti quando hanno prove che portano decisamente su un’altra strada, e quindi a supporto di una violenza domestica. Il sistema fornisce risultati sulla base di un questionario e poi confronta le risposte con dati statistici storici: VioGén, come molti altri simili, non prevede il futuro, ma fornisce soluzioni sulla base di ciò che è accaduto in passato.
Come succede anche per questioni legate alla sicurezza pubblica, a istituzioni e autorità sembra più semplice trovare soluzioni utilizzando la tecnologia. Ciò anche se è attualmente impossibile che questa fornisca una risposta predittiva. Ogni caso di violenza domestica è a sé e, anche se ci sono dei campanelli d’allarme comuni in situazioni di questo tipo, ciò che insegna chi lavora con le donne vittime di violenza di genere è trovare risposte il più adatte possibili alla persona che si ha davanti.
La tendenza che sta pian piano prendendo piede risponde invece a un’idea di tecnosoluzionismo, figlia di quella parte di California chiamata Silicon Valley. La pretesa è quella di dare una risposta a fenomeni complessi come la violenza di genere utilizzando uno strumento tecnologico, con la convinzione che sia neutrale e che, soprattutto, fornisca risposte efficaci e complete in quanto macchina razionale e oggettiva.
Irresponsabilità e poca trasparenza
C’è anche un altro risvolto tanto interessante quanto spaventoso di VioGén. Nel caso in cui non siano accurati ed efficaci nei loro risultati, gli algoritmi sollevano le autorità da eventuali responsabilità. Come? Semplice: “Lo ha detto la macchina, dev’essere vero”.
Di casi simili ce ne sono stati ormai a decine negli ultimi anni. A partire dagli arresti errati nei confronti di persone nere negli Stati Uniti, passando poi per i tifosi misidentificati e arrestati erroneamente in Brasile, fino alle discriminazioni operate nei Paesi Bassi in cui, attraverso un algoritmo, il governo ha cercato di identificare i cittadini che potrebbero frodare il welfare. Il risultato è stato nefasto.
Per non parlare poi della mancanza di trasparenza. Degli algoritmi non conosciamo chiaramente il funzionamento, e le forze dell’ordine non si sbottonano mai abbastanza per chiarirne l’uso. Una recente inchiesta del Washington Post ha sottolineato proprio il ruolo di tecnologie di riconoscimento facciale nelle investigazioni, raccontando di come non sia possibile nemmeno per gli imputati sapere se sono stati soggetti a questa tecnologia e se è stato riscontrato un falso positivo. In altre parole, la probabilità di essere stato scambiato per qualcun altro e quindi essere sotto processo da innocente.
E se non funziona?
Anche se la tecnologia di VioGén è stata creata per limitare possibili casi futuri di violenza domestica, c’è quindi un grosso problema di trasparenza e di efficacia. Strumenti simili non sono imparziali, non devono essere immaginati come panacea per fenomeni complessi come la violenza di genere, non possono fornire una risposta utile a far abdicare il ruolo che la società ha nei confronti delle donne che subiscono violenza di questo tipo (e non solo).
Il ministero dell’Interno spagnolo, dal canto suo, risponde con i numeri. Solo lo 0,03 percento delle 814.000 vittime di violenza di genere in Spagna dal 2007 a oggi sono state uccise dopo una valutazione di VioGén. «Se non ci fosse stato avremmo più omicidi e violenza di genere» dice lo psicologo che ha contribuito alla creazione del sistema “predittivo”, Juan José López Ossorio.
Il dato statistico però, non è tutto. Il cognato di Lobna, tutore di due dei figli che ha lasciato soli dopo la sua morte, lo spiega perfettamente. «La tecnologia funziona, ma a volte no e allora diventa fatale. Il computer non ha un cuore».
© Riproduzione riservata
