Proprio ora, da qualche parte, un’azienda con cui non hai mai parlato — forse di cui non hai mai nemmeno sentito parlare — potrebbe decidere se ottieni un prestito, un appartamento o persino quanto tempo trascorri in prigione.

Conosciamo già il potere degli algoritmi di plasmare ciò che vediamo e con chi parliamo sui social media. Ma quella è solo la superficie. Gli algoritmi sono profondamente incorporati in dozzine di altri settori e spesso prendono decisioni con impatti che cambiano la vita. E si affidano ai dati che ottengono dai broker di dati.

Ma come funziona? Qual è esattamente il ruolo dei broker di dati nell’alimentare questi algoritmi? Quali sono le conseguenze nel mondo reale di questo business oscuro? E cosa più importante: cosa possiamo fare per garantire equità e responsabilità, specialmente mentre ci precipitiamo verso un futuro in cui il processo decisionale guidato dall’IA cresce esponenzialmente?

Il ruolo nascosto dei broker di dati

I broker di dati sono organizzazioni a scopo di lucro che raccolgono e vendono enormi quantità di dati personali, aggregando tutto(nuova finestra) dai tuoi record finanziari e abitudini di acquisto alla tua navigazione web e posizione in tempo reale. È un’industria massiccia — e redditizia. Si stima che 5.000 aziende di broker di dati(nuova finestra) operino in tutto il mondo in quello che è diventato un mercato da 270 miliardi di dollari.

Nonostante la sua dimensione, l’industria affronta praticamente nessuna supervisione completa(nuova finestra) (almeno negli USA), il che significa che i broker raccoglieranno e venderanno qualsiasi dato per cui c’è una domanda. Significa anche che hanno pochi incentivi a garantire che i dati che vendono siano accurati(nuova finestra).

Scopri di più sui broker di dati

Tutti i tipi di organizzazioni, dagli inserzionisti ai dipartimenti governativi USA, si rivolgono ai broker di dati per ottenere informazioni granulari e intime. Sempre più spesso, le aziende usano questi dati per alimentare i loro algoritmi e prendere decisioni che influenzano la vita quotidiana delle persone in tutti gli USA. Le informazioni raccolte e vendute dai broker di dati — dati che sono spesso pieni di errori — sono usate per determinare i tassi di interesse che le persone pagano, se vengono approvate per un prestito, se possono persino affittare un appartamento o ottenere un lavoro.

Ecco tre situazioni in cui le informazioni che non sapevi nemmeno di aver condiviso potrebbero finire per alterare invisibilmente la traiettoria della tua vita.

Sottoscrizione algoritmica

Le banche e altri fornitori fintech sono stati tra i primi settori ad adottare algoritmi, utilizzandoli per determinare chi viene approvato per un mutuo, un prestito aziendale o carte di credito. Si affidano ai punteggi di credito tradizionali insieme a una serie di altri dati alternativi (pagamenti delle utenze, istruzione, persino come compili i moduli) per prevedere se qualcuno rimborserà il prestito. Il risultato è un sistema a scatola nera che può fornire risultati divergenti per candidati apparentemente simili.

Un’indagine di The Markup(nuova finestra) del 2021 ha rilevato che i prestatori, confrontando determinati richiedenti con richiedenti bianchi similmente qualificati, erano:

  • il 40% più propensi a negare mutui casa ai richiedenti latini
  • il 50% più propensi a negare ai richiedenti asiatici/delle isole del Pacifico 
  • il 70% più propensi a negare ai nativi americani
  • l’80% più propensi a respingere i richiedenti neri 

Queste disparità persistevano anche dopo aver controllato i fattori che l’industria tradizionalmente incolpa per questi tassi di approvazione inferiori.

Chiunque abbia lavorato con le statistiche sa che i modelli sono validi solo quanto i dati che vengono inseriti in essi. Se quei dati riflettono, ad esempio, una storia di redlining(nuova finestra), allora il modello sarà distorto. E questi modelli contengono tutti i tipi di dati, come il tuo feed dei social media(nuova finestra) o persino se digiti il tuo nome in TUTTO MAIUSCOLO(nuova finestra). Come ha detto un CEO fintech, “Tutti i dati sono dati di credito”.

E con questi algoritmi, è spesso difficile individuare il fattore che ha portato a un rifiuto. Ciò rende impossibile per le persone fare appello o offrire una correzione, il che dovrebbe essere richiesto, considerando quanto tangenziali sembrino molti di questi dati e quanto spesso i broker di dati abbiano informazioni inaccurate e obsolete.

Controlli dei precedenti degli inquilini basati sui dati

Se decidi di affittare, non puoi sfuggire agli algoritmi. Proprietari e gestori immobiliari si rivolgono sempre più a servizi di screening degli inquilini automatizzati, come LeasingDesk o RentGrow, che si affidano ai broker di dati per eseguire controlli dei precedenti sui richiedenti. Questi servizi tentano di quantificare quanto rischioso potrebbe essere un inquilino guardando i punteggi di credito dei richiedenti, le pratiche di sfratto, i precedenti penali e una serie di altri dati personali. Il risultato è che a molte persone viene negato l’alloggio a causa di dati discutibili o obsoleti.

Nel 2021, la Federal Trade Commission (FTC) ha multato AppFolio, un servizio di screening degli inquilini, per 4,25 milioni di dollari per aver venduto rapporti sui precedenti che identificavano erroneamente i richiedenti(nuova finestra) e contenevano informazioni obsolete, come avvisi di sfratto annullati o risolti. Questi errori hanno avuto conseguenze nel mondo reale, costringendo le persone a trovare un altro posto dove vivere.

Anche gli algoritmi che generano questi punteggi sono una scatola nera. Nel 2021, ProPublica ha parlato con un’inquilina(nuova finestra) che aveva un punteggio di credito eccellente (oltre 750), nessun precedente penale e nessuno sfratto. Nonostante ciò, ha ricevuto un punteggio inquilino di 685 su 1.000 — l’equivalente di una D — senza spiegazione. È stata costretta a pagare un mese di affitto extra come deposito cauzionale. Come la maggior parte degli inquilini, non aveva idea del perché il suo punteggio fosse così basso o di come risolverlo.

Cauzione stabilita dall’algoritmo

Forse l’uso più consequenziale di algoritmi nascosti alimentati dai broker di dati è nel sistema di giustizia penale. Tribunali e agenzie delle forze dell’ordine in tutto il paese hanno adottato strumenti di valutazione del rischio algoritmico per aiutare i giudici a decidere se concedere la cauzione o il rilascio pre-processuale agli accusati. In alcuni casi, questi strumenti aiutano persino a decidere la condanna e la libertà condizionale. Gli algoritmi prendono dati di input (come la fedina penale di qualcuno, l’età, lo stato occupazionale e talvolta la posizione o il background familiare) e calcolano un punteggio che presumibilmente riflette il rischio della persona di commettere nuovamente reati o di non comparire in tribunale.

I sostenitori di questi sistemi affermano che automatizzare queste decisioni garantisce l’obiettività. Dopotutto, i giudici umani sono accusati di essere incoerenti e parziali tutto il tempo. Simile alla sottoscrizione automatizzata dei prestiti e allo screening degli inquilini, tuttavia, queste decisioni si basano sui dati. Se i dati sono inaffidabili, imprecisi o distorti, anche le loro conclusioni lo saranno.

Nel 2016, ProPublica ha condotto un’indagine su COMPAS(nuova finestra), o Correctional Offender Management Profiling for Alternative Sanctions. Questo sistema ampiamente utilizzato, sviluppato dalla società a scopo di lucro Northpointe (ora Equivant Supervision), è risultato fornire un numero schiacciante di falsi positivi per gli imputati neri e falsi negativi per gli imputati bianchi. In altre parole, gli imputati neri che non hanno commesso nuovamente reati avevano quasi il doppio delle probabilità rispetto agli imputati bianchi di essere etichettati ad alto rischio dall’algoritmo, mentre gli imputati bianchi che hanno continuato a commettere reati erano più frequentemente erroneamente etichettati a basso rischio. (Northpointe ha contestato la validità del rapporto di ProPublica.)

Allo stesso modo, nella sua revisione del 2022 dell’IA nel sistema giudiziario del Regno Unito(nuova finestra), la Commissione Giustizia e Affari Interni della Camera dei Lord ha affermato che ci sono “preoccupazioni sui pericoli che i pregiudizi umani contenuti nei dati originali si riflettano e siano ulteriormente incorporati nelle decisioni prese dagli algoritmi.”

Gli imputati possono fare poco per contestare questi punteggi poiché l’algoritmo è proprietario e i punteggi che sputa fuori vengono raramente rivelati in tribunale. Ciò significa che la libertà di un imputato può dipendere da un punteggio segreto generato da un modello non divulgato utilizzando dati sconosciuti e spesso inaffidabili.

Problemi comuni con gli algoritmi alimentati dai dati

Ogni volta che il processo decisionale è automatizzato — sia nella sottoscrizione di prestiti, nello screening degli inquilini o nella valutazione del rischio degli imputati — diversi problemi spuntano fuori più e più volte:

Affidabilità dei dati: se i dati che dai a un algoritmo sono inaffidabili, imprecisi o distorti, qualsiasi risultato che fornisce rifletterà quei difetti.

Mancanza di trasparenza: quando gli algoritmi sono proprietari, è impossibile per l’interessato ricontrollare o contestare la sua valutazione (e questo supponendo che siano consapevoli del punteggio in primo luogo).

Uso di dati inappropriati e personali: molti sosterrebbero che il modo in cui compili un modulo non dovrebbe influire sull’ottenimento di un prestito e che le persone dovrebbero essere in grado di mantenere privati altri tipi di dati sensibili e personali se lo scelgono.

Dobbiamo risolvere questi problemi prima che l’IA li adotti

È importante correggere la rotta per diversi motivi. In primo luogo, sempre più vite vengono influenzate dai sistemi algoritmici descritti sopra. In secondo luogo, sempre più informazioni vengono raccolte dai broker di dati — si prevede che il mercato dei broker di dati varrà più di 470 miliardi di dollari entro il 2030(nuova finestra). In terzo luogo, gli algoritmi si stanno espandendo in nuovi settori tutto il tempo, come polizia predittiva(nuova finestra) e previsione del rischio sanitario(nuova finestra), dove è stato riscontrato che gli algoritmi hanno rafforzato i pregiudizi che erano già presenti nei dati.

Ma di gran lunga il motivo più importante per cui dobbiamo risolvere questo problema ora è evitare questa situazione con l’IA. Ho usato principalmente il termine algoritmi in tutto questo articolo, poiché questi sistemi sono molto basilari rispetto alle offerte di IA di oggi, ma funzionano come assistenti IA di base per un compito specifico. E man mano che chatbot IA molto più potenti vengono integrati in sempre più sistemi, flussi di lavoro e organizzazioni, hanno il potenziale per replicare questi tipi di problemi su una scala molto più ampia.

E il pubblico sta già suonando l’allarme. Oltre la metà del pubblico statunitense (e professionisti dell’IA)(nuova finestra) vuole più controllo su come l’IA viene utilizzata nelle loro vite.

Come riprendere il controllo

Gli algoritmi nascosti e l’ecosistema dei broker di dati che li abilita devono essere tenuti a freno. Come garantiamo che la tecnologia funzioni per la società, non contro di essa? Esperti di privacy ed etica dell’IA hanno proposto un approccio su più fronti:

Riforma legale e supervisione: i governi — il governo USA in particolare — devono aggiornare le leggi per regolare i broker di dati e il processo decisionale algoritmico, colmando le lacune che consentono lo sfruttamento incontrollato dei dati. Gli USA devono approvare una legge federale sulla privacy. Sfortunatamente, le cose stanno andando nella direzione opposta. Il Consumer Finance Protection Bureau ha recentemente ritirato una proposta(nuova finestra) che avrebbe richiesto ai broker di dati di tenere registri più accurati e limitare a chi potevano vendere i dati.

Trasparenza algoritmica: per garantire la responsabilità, le aziende che utilizzano l’IA per prendere decisioni che impattano sulla vita devono divulgare i fattori chiave dietro i loro algoritmi e consentire audit indipendenti. Senza trasparenza, i consumatori non possono capire, contestare o correggere decisioni automatizzate dannose. L’AI Act dell’UE(nuova finestra) e la legge locale di New York City(nuova finestra) sono passi verso una supervisione significativa.

Supervisione umana e revisione delle decisioni: nessuna decisione che influisca sui diritti o sui mezzi di sostentamento di una persona dovrebbe essere lasciata interamente a un algoritmo — gli individui devono avere il diritto alla revisione umana. Mantenendo personale addestrato nel ciclo e attivando gli appelli, possiamo garantire che i sistemi automatizzati rimangano responsabili, contestuali e umani. Questo esiste già in Europa sotto il GDPR(nuova finestra), ma dovrebbe essere esteso agli USA.

Minimizzazione dei dati a livello personale: questo potrebbe sembrare schiacciante, ma ci sono cose che puoi fare per limitare quanti dati i broker di dati ricevono da te. Paga in contanti. Usa servizi crittografati end-to-end. Naviga in internet con una VPN affidabile(nuova finestra), ad-blocker(nuova finestra) e browser focalizzato sulla privacy. Queste semplici misure possono limitare i dati grezzi che alimentano decisioni algoritmiche ingiuste.

Per un internet migliore e un mondo migliore

Man mano che gli algoritmi influenzano sempre più le decisioni critiche della vita — dall’alloggio e credito all’impiego e giustizia — dobbiamo confrontarci con i sistemi opachi e i flussi di dati incontrollati che li alimentano. Queste tecnologie promettono efficienza ma spesso forniscono pregiudizi, esclusione e danni, specialmente quando alimentate da broker di dati non regolamentati.

Per cambiare rotta, abbiamo bisogno di leggi che impongano la trasparenza, limitino le pratiche di sfruttamento dei dati e garantiscano la supervisione umana dove conta di più. Costruire un futuro digitale più giusto significa scardinare le scatole nere algoritmiche e rimettere le persone al centro del processo decisionale. Se agiamo ora — come cittadini, sviluppatori e decisori politici — possiamo creare un mondo in cui la tecnologia rispetta la privacy, rafforza l’equità e guadagna la nostra fiducia.