Chiar acum, undeva, o companie cu care nu ați vorbit niciodată — poate că nici nu ați auzit de ea — ar putea decide dacă primiți un împrumut, un apartament sau chiar cât timp petreceți în închisoare.

Știm deja puterea algoritmilor de a modela ceea ce vedem și cu cine vorbim pe rețelele sociale. Dar asta este doar suprafața. Algoritmii sunt adânc încorporați în zeci de alte industrii și iau adesea decizii cu impact care schimbă viața. Și se bazează pe datele pe care le obțin de la brokeri de date.

Dar cum funcționează? Care este mai exact rolul brokerilor de date în alimentarea acestor algoritmi? Care sunt consecințele în lumea reală ale acestei afaceri obscure? Și cel mai important: Ce putem face pentru a asigura corectitudinea și responsabilitatea, mai ales pe măsură ce ne îndreptăm spre un viitor în care luarea deciziilor bazată pe AI crește exponențial?

Rolul ascuns al brokerilor de date

Brokerii de date sunt organizații cu scop lucrativ care colectează și vând cantități mari de date personale, agregând totul(fereastră nouă), de la înregistrările financiare și obiceiurile de cumpărături până la navigarea pe web și locația în timp real. Este o industrie masivă — și profitabilă. Se estimează că 5.000 de companii de brokeraj de date(fereastră nouă) operează la nivel mondial pe ceea ce a devenit o piață de 270 de miliarde de dolari.

În ciuda dimensiunii sale, industria se confruntă cu practic nicio supraveghere cuprinzătoare(fereastră nouă) (cel puțin în SUA), ceea ce înseamnă că brokerii vor colecta și vinde orice date pentru care există cerere. De asemenea, înseamnă că au puține stimulente pentru a se asigura că datele pe care le vând sunt exacte(fereastră nouă).

Aflați mai multe despre brokerii de date

Tot felul de organizații, de la agenți de publicitate la departamente guvernamentale din SUA, apelează la brokerii de date pentru a obține informații granulare, intime. Din ce în ce mai mult, companiile utilizează aceste date pentru a-și alimenta algoritmii și a lua decizii care afectează viața de zi cu zi a oamenilor din SUA. Informațiile colectate și vândute de brokerii de date — date care sunt adesea pline de erori — sunt utilizate pentru a determina ratele dobânzilor pe care oamenii le plătesc, dacă li se aprobă un împrumut, dacă pot chiar să închirieze un apartament sau să obțină un loc de muncă.

Iată trei situații în care informațiile pe care nu știați că le-ați partajat ar putea ajunge să vă modifice invizibil traiectoria vieții.

Subscriere algoritmică

Băncile și alți furnizori fintech au fost unele dintre primele industrii care au adoptat algoritmii, utilizându-i pentru a determina cine primește aprobarea pentru o ipotecă, un împrumut de afaceri sau carduri de credit. Ei se bazează pe scorurile de credit tradiționale împreună cu o serie de alte date alternative (plăți de utilități, educație, chiar și modul în care completați formularele) pentru a prezice dacă cineva va rambursa împrumutul. Rezultatul este un sistem de tip black-box care poate oferi rezultate divergente pentru candidați aparent similari.

O investigație din 2021 realizată de The Markup(fereastră nouă) a constatat că creditorii, atunci când compară anumiți solicitanți cu solicitanți albi calificați similar, aveau:

  • 40 % mai multe șanse să refuze împrumuturile pentru locuințe solicitanților latino
  • 50 % mai multe șanse să refuze solicitanții asiatici/din Insulele Pacificului
  • 70 % mai multe șanse să refuze nativii americani
  • 80 % mai multe șanse să respingă solicitanții de culoare

Aceste disparități au persistat chiar și după controlarea factorilor pe care industria îi învinovățește în mod tradițional pentru aceste rate de aprobare mai mici.

Oricine a lucrat cu statistici știe că modelele sunt la fel de bune ca datele care sunt introduse în ele. Dacă acele date reflectă, de exemplu, o istorie de redlining(fereastră nouă), atunci modelul va fi denaturat. Și aceste modele conțin tot felul de date, cum ar fi fluxul dvs. de pe rețelele sociale(fereastră nouă) sau chiar dacă vă scrieți numele cu MAJUSCULE(fereastră nouă). După cum a spus un CEO fintech, „Toate datele sunt date de credit”.

Și cu acești algoritmi, este adesea greu de identificat factorul care a dus la o respingere. Acest lucru face imposibil pentru oameni să conteste sau să ofere o corecție, ceea ce ar trebui să fie obligatoriu, având în vedere cât de tangențiale par multe dintre aceste date și cât de des brokerii de date au informații inexacte și învechite.

Verificări ale antecedentelor chiriașilor bazate pe date

Dacă decideți să închiriați, nu puteți scăpa de algoritmi. Proprietarii și administratorii de proprietăți apelează din ce în ce mai mult la servicii automate de screening al chiriașilor, cum ar fi LeasingDesk sau RentGrow, care se bazează pe brokerii de date pentru a efectua verificări ale antecedentelor solicitanților. Aceste servicii încearcă să cuantifice cât de riscant ar putea fi un chiriaș, analizând scorurile de credit ale solicitanților, dosarele de evacuare, cazierele judiciare și o serie de alte date personale. Rezultatul este că multor oameni li se refuză locuința pe baza unor date discutabile sau învechite.

În 2021, Comisia Federală pentru Comerț (FTC) a amendat AppFolio, un serviciu de screening al chiriașilor, cu 4,25 milioane de dolari pentru vânzarea de rapoarte de antecedente care au identificat greșit solicitanții(fereastră nouă) și au conținut informații învechite, cum ar fi notificări de evacuare anulate sau soluționate. Aceste greșeli au avut consecințe în lumea reală, forțând oamenii să găsească altundeva unde să locuiască.

Algoritmii care generează aceste scoruri sunt, de asemenea, o cutie neagră. În 2021, ProPublica a vorbit cu o chiriașă(fereastră nouă) care avea un scor de credit excelent (peste 750), niciun cazier judiciar și nicio evacuare. În ciuda acestui fapt, ea a primit un scor de chiriaș de 685 din 1.000 — echivalentul unui D — fără nicio explicație. A fost forțată să plătească o lună de chirie suplimentară ca depozit de garanție. La fel ca majoritatea chiriașilor, nu avea nicio idee de ce scorul ei era atât de mic sau cum să îl remedieze.

Cauțiune stabilită prin algoritm

Poate cea mai importantă utilizare a algoritmilor ascunși, alimentați de brokerii de date, este în sistemul de justiție penală. Instanțele și agențiile de aplicare a legii din întreaga țară au adoptat instrumente algoritmice de evaluare a riscurilor pentru a ajuta judecătorii să decidă dacă să acorde cauțiune sau eliberare înainte de proces acuzatului. În unele cazuri, aceste instrumente ajută chiar la deciderea sentinței și a eliberării condiționate. Algoritmii preiau date de intrare (cum ar fi cazierul judiciar al unei persoane, vârsta, statutul profesional și uneori locația sau mediul familial) și calculează un scor care se presupune că reflectă riscul persoanei de a recidiva sau de a nu se prezenta în instanță.

Susținătorii acestor sisteme susțin că automatizarea acestor decizii asigură obiectivitatea. La urma urmei, judecătorii umani sunt acuzați că sunt inconsecvenți și părtinitori tot timpul. Totuși, similar cu subscrierea automată a împrumuturilor și screening-ul chiriașilor, aceste decizii se bazează pe date. Dacă datele sunt nesigure, inexacte sau părtinitoare, constatările sale vor fi la fel.

În 2016, ProPublica a efectuat o investigație a COMPAS(fereastră nouă), sau Profilarea gestionării infractorilor corecționali pentru sancțiuni alternative. S-a constatat că acest sistem utilizat pe scară largă, dezvoltat de compania cu scop lucrativ Northpointe (acum Equivant Supervision), oferă un număr copleșitor de rezultate fals pozitive pentru inculpații de culoare și fals negative pentru inculpații albi. Cu alte cuvinte, inculpații de culoare care nu au recidivat aveau de aproape două ori mai multe șanse decât inculpații albi să fie etichetați cu risc ridicat de către algoritm, în timp ce inculpații albi care au recidivat au fost mai frecvent etichetați greșit cu risc scăzut. (Northpointe a contestat validitatea raportului ProPublica.)

În mod similar, în analiza sa din 2022 a AI în sistemul de justiție din Marea Britanie(fereastră nouă), Comitetul pentru Justiție și Afaceri Interne al Camerei Lorzilor a declarat că există „îngrijorări cu privire la pericolele părtinirii umane conținute în datele originale care sunt reflectate și mai mult încorporate în deciziile luate de algoritmi”.

Inculpații pot face puține lucruri pentru a contesta aceste scoruri, deoarece algoritmul este proprietar, iar scorurile pe care le scuipă sunt rareori dezvăluite în instanță. Aceasta înseamnă că libertatea unui inculpat poate depinde de un scor secret generat de un model nedivulgat folosind date necunoscute și adesea nesigure.

Probleme comune cu algoritmii alimentați cu date

Ori de câte ori luarea deciziilor este automatizată — fie în subscrierea împrumuturilor, screening-ul chiriașilor sau evaluarea riscurilor inculpaților — apar mai multe probleme din nou și din nou:

Fiabilitatea datelor: Dacă datele pe care le dați unui algoritm sunt nesigure, inexacte sau părtinitoare, atunci orice constatări pe care le oferă vor reflecta acele defecte.

Lipsa transparenței: Când algoritmii sunt proprietari, este imposibil pentru subiectul datelor să verifice sau să conteste evaluarea sa (și asta presupunând că sunt conștienți de scor în primul rând).

Utilizarea datelor inadecvate și personale: Mulți ar argumenta că modul în care completați un formular nu ar trebui să afecteze dacă obțineți un împrumut și că oamenii ar trebui să poată păstra private alte tipuri de date sensibile, personale, dacă aleg acest lucru.

Trebuie să remediem aceste probleme înainte ca AI să le adopte

Este important să corectăm cursul din mai multe motive. În primul rând, tot mai multe vieți sunt afectate de sistemele algoritmice descrise mai sus. În al doilea rând, tot mai multe informații sunt colectate de brokerii de date — se anticipează că piața brokerilor de date va valora peste 470 de miliarde de dolari până în 2030(fereastră nouă). În al treilea rând, algoritmii se extind în sectoare noi tot timpul, cum ar fi poliția predictivă(fereastră nouă) și predicția riscurilor pentru sănătate(fereastră nouă), unde s-a constatat că algoritmii au consolidat prejudecățile care erau deja prezente în date.

Dar, de departe, cel mai important motiv pentru care trebuie să remediem acest lucru acum este să evităm această situație cu AI. Am folosit mai ales termenul algoritmi pe parcursul acestui articol, deoarece aceste sisteme sunt foarte elementare în comparație cu ofertele AI de astăzi, dar funcționează ca asistenți AI de bază pentru o anumită sarcină. Și pe măsură ce roboții de chat AI mult mai puternici sunt integrați în tot mai multe sisteme, fluxuri de lucru și organizații, aceștia au potențialul de a replica aceste tipuri de probleme la o scară mult mai mare.

Și publicul trage deja un semnal de alarmă. Peste jumătate din publicul din SUA (și profesioniștii AI)(fereastră nouă) dorește mai mult control asupra modului în care AI este utilizat în viețile lor.

Cum să preluați din nou controlul

Algoritmii ascunși și ecosistemul de brokeri de date care îi permite trebuie ținuți în frâu. Cum ne asigurăm că tehnologia funcționează pentru societate, nu împotriva ei? Experții în confidențialitate și etica AI au propus o abordare pe mai multe direcții:

Reformă legală și supraveghere: Guvernele — guvernul SUA în special — trebuie să actualizeze legile pentru a reglementa brokerii de date și luarea deciziilor algoritmice, închizând lacunele care permit exploatarea necontrolată a datelor. SUA trebuie să adopte o lege federală privind confidențialitatea. Din păcate, lucrurile merg în direcția opusă. Biroul pentru Protecția Financiară a Consumatorului a retras recent o propunere(fereastră nouă) care ar fi impus brokerilor de date să păstreze înregistrări mai exacte și să limiteze cui ar putea vinde date.

Transparență algoritmică: Pentru a asigura responsabilitatea, companiile care utilizează AI pentru a lua decizii cu impact asupra vieții trebuie să dezvăluie factorii cheie din spatele algoritmilor lor și să permită audituri independente. Fără transparență, consumatorii nu pot înțelege, contesta sau corecta deciziile automate dăunătoare. Actul AI al UE(fereastră nouă) și legea locală din New York City(fereastră nouă) sunt pași către o supraveghere semnificativă.

Supraveghere umană și revizuirea deciziilor: Nicio decizie care afectează drepturile sau mijloacele de trai ale unei persoane nu ar trebui lăsată în întregime unui algoritm — indivizii trebuie să aibă dreptul la revizuire umană. Păstrând personal instruit în buclă și permițând contestațiile, ne putem asigura că sistemele automate rămân responsabile, contextuale și umane. Acest lucru există deja în Europa sub GDPR(fereastră nouă), dar ar trebui extins la SUA.

Minimizarea datelor la nivel personal: Acest lucru poate părea copleșitor, dar există lucruri pe care le puteți face pentru a limita cantitatea de date pe care o primesc brokerii de date de la dvs. Plătiți cu numerar. Utilizați servicii criptate de la un capăt la altul. Navigați pe internet cu un VPN aprobat(fereastră nouă), blocare reclame(fereastră nouă) și un browser axat pe confidențialitate. Aceste măsuri simple pot limita datele brute care alimentează deciziile algoritmice incorecte.

Pentru un internet mai bun și o lume mai bună

Pe măsură ce algoritmii influențează tot mai mult deciziile critice de viață — de la locuințe și credite la angajare și justiție — trebuie să ne confruntăm cu sistemele opace și fluxurile de date necontrolate care le alimentează. Aceste tehnologii promit eficiență, dar oferă adesea părtinire, excludere și daune, mai ales atunci când sunt alimentate de brokeri de date nereglementați.

Pentru a schimba cursul, avem nevoie de legi care să impună transparența, să limiteze practicile de exploatare a datelor și să garanteze supravegherea umană acolo unde contează cel mai mult. Construirea unui viitor digital mai drept înseamnă spargerea cutiilor negre algoritmice și punerea oamenilor înapoi în centrul luării deciziilor. Dacă acționăm acum — ca cetățeni, dezvoltatori și factori de decizie politică — putem crea o lume în care tehnologia respectă confidențialitatea, consolidează corectitudinea și câștigă încrederea noastră.