Lige nu, et eller andet sted, beslutter en virksomhed, du aldrig har talt med – måske aldrig engang har hørt om – måske, om du får et lån, en lejlighed eller endda hvor længe du skal tilbringe i fængsel.

Vi kender allerede algoritmernes magt til at forme, hvad vi ser, og hvem vi taler med på sociale medier. Men det er kun overfladen. Algoritmer er dybt indlejret i dusinvis af andre industrier og træffer ofte beslutninger med livsændrende konsekvenser. Og de er afhængige af data, de får fra datamæglere.

Men hvordan fungerer det? Hvad er præcis datamægleres rolle i at fodre disse algoritmer? Hvad er de virkelige konsekvenser af denne skyggefulde forretning? Og vigtigst af alt: Hvad kan vi gøre for at sikre retfærdighed og ansvarlighed, især når vi haster mod en fremtid, hvor AI-drevet beslutningstagning vokser eksponentielt?

Datamægleres skjulte rolle

Datamæglere er profitorienterede organisationer, der indsamler og sælger enorme mængder personlige data, og aggregerer alt(nyt vindue) fra dine finansielle optegnelser og shoppingvaner til din webbrowsing og placering i realtid. Det er en massiv – og lukrativ – industri. Det anslås, at 5.000 datamæglervirksomheder(nyt vindue) opererer verden over i det, der er blevet et marked på 270 milliarder dollars.

På trods af sin størrelse står industrien stort set uden omfattende tilsyn(nyt vindue) (i hvert fald i USA), hvilket betyder, at mæglere vil indsamle og sælge alle data, som der er efterspørgsel efter. Det betyder også, at de har ringe incitament til at sikre, at de data, de sælger, er nøjagtige(nyt vindue).

Få mere at vide om datamæglere

Alle mulige slags organisationer, fra annoncører til amerikanske regeringsdepartementer, henvender sig til datamæglere for at få granulære, intime oplysninger. I stigende grad bruger virksomheder disse data til at fodre deres algoritmer og træffe beslutninger, der påvirker hverdagen for mennesker over hele USA. Oplysninger indsamlet og solgt af datamæglere – data der ofte er fyldt med fejl – bruges til at bestemme de rentesatser folk betaler, om de bliver godkendt til et lån, om de overhovedet kan leje en lejlighed eller få et job.

Her er tre situationer, hvor oplysninger, du aldrig vidste, du delte, kunne ende med usynligt at ændre din livsbane.

Algoritmisk kreditvurdering

Banker og andre fintech-udbydere var nogle af de første industrier til at indføre algoritmer og bruge dem til at bestemme, hvem der bliver godkendt til et realkreditlån, et erhvervslån eller betalingskort. De stoler på traditionelle kreditscorer sammen med en lang række andre, alternative data (forsyningsbetalinger, uddannelse, endda hvordan du udfylder formularer) for at forudsige, om nogen vil tilbagebetale lånet. Resultatet er et black-box-system, der kan levere divergerende resultater for tilsyneladende ens kandidater.

En undersøgelse fra 2021 foretaget af The Markup(nyt vindue) fandt, at långivere, når de sammenlignede visse ansøgere med tilsvarende kvalificerede hvide ansøgere, var:

  • 40 % mere tilbøjelige til at nægte boliglån til latino-ansøgere
  • 50 % mere tilbøjelige til at nægte ansøgere fra Asien/Stillehavsøerne 
  • 70 % mere tilbøjelige til at nægte indfødte amerikanere
  • 80 % mere tilbøjelige til at afvise sorte ansøgere 

Disse uligheder varede ved, selv efter at der var korrigeret for faktorer, som branchen traditionelt giver skylden for disse lavere godkendelsesrater.

Enhver, der har arbejdet med statistik, ved, at modellerne kun er så gode som de data, der fodres ind i dem. Hvis disse data f.eks. afspejler en historie med redlining(nyt vindue), så vil modellen være skæv. Og disse modeller indeholder alle mulige slags data, som dit sociale medier-feed(nyt vindue) eller endda om du skriver dit navn med STORE BOGSTAVER(nyt vindue). Som en fintech-CEO sagde: “Alle data er kreditdata.”

Og med disse algoritmer er det ofte svært at udpege den faktor, der førte til en afvisning. Dette gør det umuligt for folk at appellere eller tilbyde en korrektion, hvilket burde være påkrævet, i betragtning af hvor tangentielle mange af disse data virker, og hvor ofte datamæglere har unøjagtige og forældede oplysninger.

Datadrevne baggrundstjek af lejere

Hvis du beslutter dig for at leje, kan du ikke undslippe algoritmer. Udlejere og ejendomsadministratorer vender sig i stigende grad mod automatiserede lejerscreeningstjenester, som LeasingDesk eller RentGrow, der er afhængige af datamæglere til at udføre baggrundstjek på ansøgere. Disse tjenester forsøger at kvantificere, hvor risikabel en lejer måske er ved at se på ansøgers kreditscorer, udsættelsessager, straffeattester og en række andre personlige data. Resultatet er, at mange mennesker nægtes bolig på grund af tvivlsomme eller forældede data.

I 2021 gav Federal Trade Commission (FTC) AppFolio, en lejerscreeningstjeneste, en bøde på 4,25 millioner dollars for at sælge baggrundsrapporter, der misidentificerede ansøgere(nyt vindue) og indeholdt forældede oplysninger, såsom omstødte eller løste udsættelsesvarsler. Disse fejl havde virkelige konsekvenser og tvang folk til at finde et andet sted at bo.

Algoritmerne, der genererer disse scorer, er også en black box. I 2021 talte ProPublica med en lejer(nyt vindue), der havde en fremragende kreditscore (over 750), ingen straffeattest og ingen udsættelser. På trods af dette modtog hun en lejerscore på 685 ud af 1.000 – svarende til et D – uden forklaring. Hun blev tvunget til at betale en ekstra måneds leje som depositum. Som de fleste lejere anede hun ikke, hvorfor hendes score var så lav, eller hvordan hun kunne rette den.

Kaution fastsat af algoritme

Måske er den mest konsekvensrige brug af skjulte, datamæglerdrevne algoritmer i strafferetssystemet. Domstole og retshåndhævende myndigheder over hele landet har vedtaget algoritmiske risikovurderingsværktøjer for at hjælpe dommere med at beslutte, om de skal bevilge kaution eller løsladelse før retssagen til de anklagede. I nogle tilfælde hjælper disse værktøjer endda med at beslutte strafudmåling og prøveløsladelse. Algoritmerne tager inputdata (såsom en persons straffeattest, alder, beskæftigelsesstatus og nogle gange placering eller familiebaggrund) og beregner en score, der angiveligt afspejler personens risiko for tilbagefald eller undladelse af at møde op i retten.

Tilhængere af disse systemer hævder, at automatisering af disse beslutninger sikrer objektivitet. Når alt kommer til alt, anklages menneskelige dommere for at være inkonsekvente og forudindtagede hele tiden. Ligesom ved automatiseret lånekreditvurdering og lejerscreening afhænger disse beslutninger dog af data. Hvis dataene er upålidelige, unøjagtige eller forudindtagede, vil resultaterne også være det.

I 2016 gennemførte ProPublica en undersøgelse af COMPAS(nyt vindue), eller Correctional Offender Management Profiling for Alternative Sanctions. Dette udbredte system, udviklet af den profitorienterede virksomhed Northpointe (nu Equivant Supervision), blev fundet at levere et overvældende antal falske positiver for sorte tiltalte og falske negativer for hvide tiltalte. Med andre ord var sorte tiltalte, der ikke begik ny kriminalitet, næsten dobbelt så tilbøjelige som hvide tiltalte til at blive mærket som højrisiko af algoritmen, mens hvide tiltalte, der begik ny kriminalitet, oftere blev fejlmærket som lavrisiko. (Northpointe har bestridt gyldigheden af ProPublicas rapport.)

Tilsvarende sagde House of Lords Justice and Home Affairs Committee i sin 2022-gennemgang af AI i Storbritanniens retssystem(nyt vindue), at der er “bekymringer om farerne ved menneskelig bias indeholdt i de oprindelige data, der afspejles og yderligere indlejres i beslutninger truffet af algoritmer.”

Der er ikke meget, tiltalte kan gøre for at udfordre disse scorer, da algoritmen er proprietær, og de scorer, de spytter ud, sjældent afsløres i retten. Det betyder, at en tiltaltes frihed kan afhænge af en hemmelig score genereret af en ukendt model ved hjælp af ukendte og ofte upålidelige data.

Almindelige problemer med datadrevne algoritmer

Hver gang beslutningstagning automatiseres – hvad enten det er ved lånekreditvurdering, lejerscreening eller risikovurdering af tiltalte – dukker flere problemer op igen og igen:

Pålidelighed af data: Hvis de data, du giver en algoritme, er upålidelige, unøjagtige eller forudindtagede, vil eventuelle resultater, den giver, afspejle disse fejl.

Mangel på gennemsigtighed: Når algoritmer er proprietære, er det umuligt for datasubjektet at dobbelttjekke eller udfordre vurderingen (og det forudsætter, at de er klar over scoren i første omgang).

Brug af upassende og personlige data: Mange vil hævde, at hvordan du udfylder en formular ikke bør påvirke, om du får et lån, og at folk skal have lov til at holde andre typer følsomme, personlige data private, hvis de vælger det.

Vi må løse disse problemer, før AI overtager dem

Det er vigtigt, at vi korrigerer kursen af flere årsager. For det første påvirkes flere og flere liv af de algoritmiske systemer beskrevet ovenfor. For det andet opsamles mere og mere information af datamæglere – datamæglermarkedet forventes at være mere end 470 milliarder dollars værd i 2030(nyt vindue). For det tredje udvides algoritmer hele tiden til nye sektorer, som forudsigende politiarbejde(nyt vindue) og sundhedsrisikoforudsigelse(nyt vindue), hvor det er blevet fundet, at algoritmer forstærkede bias, der allerede var til stede i dataene.

Men langt den vigtigste grund til, at vi skal løse dette nu, er for at undgå denne situation med AI. Jeg brugte primært udtrykket algoritmer gennem denne artikel, da disse systemer er meget basale sammenlignet med nutidens AI-tilbud, men de fungerer som basale AI-assistenter til en specifik opgave. Og efterhånden som meget mere kraftfulde AI-chatbots integreres i flere og flere systemer, arbejdsgange og organisationer, har de potentiale til at replikere disse typer problemer i meget større skala.

Og offentligheden slår allerede alarm. Over halvdelen af den amerikanske offentlighed (og AI-professionelle)(nyt vindue) ønsker mere kontrol over, hvordan AI bruges i deres liv.

Sådan tager du kontrollen tilbage

Skjulte algoritmer og det datamægler-økosystem, der muliggør dem, skal tøjles. Hvordan sikrer vi, at teknologi arbejder for samfundet, ikke imod det? Eksperter i privatliv og AI-etik har foreslået en flerstrenget tilgang:

Juridisk reform og tilsyn: Regeringer – især den amerikanske regering – skal opdatere love for at regulere datamæglere og algoritmisk beslutningstagning og lukke huller, der tillader ukontrolleret dataudnyttelse. USA skal vedtage en føderal privatlivslov. Desværre går tingene i den modsatte retning. Consumer Finance Protection Bureau trak for nylig et forslag tilbage(nyt vindue), der ville have krævet, at datamæglere skulle føre mere nøjagtige optegnelser og begrænse, hvem de kunne sælge data til.

Algoritmisk gennemsigtighed: For at sikre ansvarlighed skal virksomheder, der bruger AI til at træffe livsændrende beslutninger, afsløre nøglefaktorerne bag deres algoritmer og tillade uafhængige audits. Uden gennemsigtighed kan forbrugere ikke forstå, udfordre eller rette skadelige automatiserede beslutninger. EU’s AI Act(nyt vindue) og New York Citys lokale lov(nyt vindue) er skridt mod meningsfuldt tilsyn.

Menneskeligt tilsyn og gennemgang af beslutninger: Ingen beslutning, der påvirker en persons rettigheder eller levebrød, bør overlades helt til en algoritme – enkeltpersoner skal have ret til menneskelig gennemgang. Ved at holde uddannet personale i loopet og muliggøre appeller kan vi sikre, at automatiserede systemer forbliver ansvarlige, kontekstuelle og humane. Dette eksisterer allerede i Europa under GDPR(nyt vindue), men bør udvides til USA.

Dataminimering på personligt niveau: Dette kan virke overvældende, men der er ting, du kan gøre for at begrænse, hvor meget data datamæglere modtager fra dig. Betal med kontanter. Brug end-to-end krypterede tjenester. Browse på internettet med en troværdig VPN(nyt vindue), annonceblokering(nyt vindue) og privatlivsfokuseret browser. Disse enkle foranstaltninger kan begrænse de rådata, der nærer uretfærdige algoritmiske beslutninger.

For et bedre internet og en bedre verden

Da algoritmer i stigende grad påvirker kritiske livsbeslutninger – fra bolig og kredit til beskæftigelse og retfærdighed – må vi konfrontere de uigennemsigtige systemer og ukontrollerede datastrømme, der driver dem. Disse teknologier lover effektivitet, men leverer ofte bias, udelukkelse og skade, især når de næres af uregulerede datamæglere.

For at ændre kurs har vi brug for love, der håndhæver gennemsigtighed, begrænser udnyttende datapraksis og garanterer menneskeligt tilsyn, hvor det betyder mest. At bygge en mere retfærdig digital fremtid betyder at åbne de algoritmiske black boxes og sætte mennesker tilbage i centrum for beslutningstagning. Hvis vi handler nu – som borgere, udviklere og politiske beslutningstagere – kan vi skabe en verden, hvor teknologi respekterer privatliv, forstærker retfærdighed og gør sig fortjent til vores tillid.