Akkurat nå, et sted, kan et selskap du aldri har snakket med — kanskje aldri engang har hørt om — avgjøre om du får et lån, en leilighet eller til og med hvor lang tid du må tilbringe i fengsel.

Vi vet allerede kraften algoritmer har til å forme hva vi ser og hvem vi snakker med på sosiale medier. Men det er bare overflaten. Algoritmer er dypt integrert i dusinvis av andre bransjer og tar ofte avgjørelser med livsendrende konsekvenser. Og de er avhengige av data de får fra datameglere.

Men hvordan fungerer det? Hva nøyaktig er rollen til datameglere i å mate disse algoritmene? Hva er de virkelige konsekvensene av denne skyggefulle virksomheten? Og viktigst av alt: Hva kan vi gjøre for å sikre rettferdighet og ansvarlighet, spesielt når vi suser mot en fremtid der KI-drevet beslutningstaking vokser eksponentielt?

Den skjulte rollen til datameglere

Datameglere er profittbaserte organisasjoner som samler inn og selger enorme mengder personopplysninger, og samler alt(nytt vindu) fra økonomiske poster og handlevaner til nettlesingen din og plassering i sanntid. Det er en massiv — og lukrativ — bransje. Anslagsvis 5 000 datameglerselskaper(nytt vindu) opererer over hele verden i det som har blitt et marked på 270 milliarder dollar.

Til tross for sin størrelse står bransjen overfor nesten ingen omfattende tilsyn(nytt vindu) (i det minste i USA), noe som betyr at meglere vil samle inn og selge alle data det er etterspørsel etter. Det betyr også at de har lite insentiv til å sikre at dataene de selger er nøyaktige(nytt vindu).

Finn ut mer om datameglere

Alle slags organisasjoner, fra annonsører til amerikanske departementer, henvender seg til datameglere for å få detaljert, intim informasjon. I økende grad bruker selskaper disse dataene til å mate algoritmene sine og ta beslutninger som påvirker hverdagen til mennesker over hele USA. Informasjon samlet inn og solgt av datameglere — data som ofte er fulle av feil — brukes til å bestemme renten folk betaler, om de blir godkjent for et lån, om de i det hele tatt kan leie en leilighet eller få en jobb.

Her er tre situasjoner der informasjon du aldri visste at du delte, kan ende opp med å usynlig endre livets bane for deg.

Algoritmisk kredittvurdering

Banker og andre fintech-leverandører var noen av de første bransjene som tok i bruk algoritmer, og brukte dem til å bestemme hvem som blir godkjent for boliglån, bedriftslån eller kredittkort. De stoler på tradisjonelle kredittvurderinger sammen med en rekke andre, alternative data (strømregninger, utdanning, til og med hvordan du fyller ut skjemaer) for å forutsi om noen vil betale tilbake lånet. Resultatet er et «svart boks»-system som kan levere sprikende resultater for tilsynelatende lignende kandidater.

En undersøkelse fra 2021 utført av The Markup(nytt vindu) fant at långivere, når de sammenlignet visse søkere med tilsvarende kvalifiserte hvite søkere, var:

    \n
  • 40 % mer sannsynlig å nekte boliglån til latinamerikanske søkere
    • \n \n
  • 50 % mer sannsynlig å nekte asiatiske/stillehavsøysøkere 
    • \n \n
  • 70 % mer sannsynlig å nekte indianere (amerikansk urbefolkning)
    • \n \n
  • 80 % mer sannsynlig å avvise svarte søkere 
    • \n

Disse forskjellene vedvarte selv etter å ha kontrollert for faktorer bransjen tradisjonelt skylder på for disse lavere godkjenningsratene.

Alle som har jobbet med statistikk, vet at modellene bare er så gode som dataene som mates inn i dem. Hvis disse dataene for eksempel gjenspeiler en historie med «redlining»(nytt vindu), vil modellen bli skjev. Og disse modellene inneholder all slags data, som din strøm på sosiale medier(nytt vindu) eller til og med om du skriver navnet ditt med STORE BOKSTAVER(nytt vindu). Som en fintech-administrerende direktør sa: «All data er kredittdata.»

Og med disse algoritmene er det ofte vanskelig å peke ut faktoren som førte til et avslag. Dette gjør det umulig for folk å klage eller tilby en rettelse, noe som burde være påkrevd med tanke på hvor overflatisk mye av denne dataen virker og hvor ofte datameglere har unøyaktig og utdatert informasjon.

Datadrevne bakgrunnssjekker av leietakere

Hvis du bestemmer deg for å leie, kan du ikke unnslippe algoritmer. Utleiere og eiendomsforvaltere tyr i økende grad til automatiserte tjenester for vurdering av leietakere, som LeasingDesk eller RentGrow, som er avhengige av datameglere for å utføre bakgrunnssjekk på søkere. Disse tjenestene prøver å tallfeste hvor risikabel en leietaker kan være ved å se på søkeres kredittvurdering, utkastelsesbegjæringer, rulleblad og en rekke andre personopplysninger. Resultatet er at mange mennesker blir nektet bolig basert på tvilsomme eller utdaterte data.

I 2021 bøtela Federal Trade Commission (FTC) AppFolio, en tjeneste for vurdering av leietakere, 4,25 millioner dollar for å selge bakgrunnsrapporter som feilidentifiserte søkere(nytt vindu) og inneholdt utdatert informasjon, som opphevede eller løste utkastelsesvarsler. Disse feilene fikk virkelige konsekvenser, og tvang folk til å finne et annet sted å bo.

Algoritmene som genererer disse poengsummene er også en «svart boks». I 2021 snakket ProPublica med en leietaker(nytt vindu) som hadde en utmerket kredittvurdering (over 750), intet kriminelt rulleblad og ingen utkastelser. Til tross for dette fikk hun en leietakersum på 685 av 1 000 — tilsvarende karakteren D — uten noen forklaring. Hun ble tvunget til å betale en ekstra måneds leie som depositum. I likhet med de fleste leietakere hadde hun ingen anelse om hvorfor poengsummen hennes var så lav eller hvordan hun skulle fikse det.

Kausjon satt av algoritme

Kanskje den mest konsekvensielle bruken av skjulte, datameglerdrevne algoritmer er i strafferettssystemet. Domstoler og rettshåndhevelsesbyråer over hele landet har tatt i bruk algoritmiske risikovurderingsverktøy for å hjelpe dommere med å avgjøre om de skal innvilge kausjon eller løslatelse før rettssak for den tiltalte. I noen tilfeller hjelper disse verktøyene til og med med å bestemme straffeutmåling og prøveløslatelse. Algoritmene tar inndata (som noens kriminelle rulleblad, alder, ansettelsesstatus og noen ganger plassering eller familiebakgrunn) og beregner en poengsum som visstnok gjenspeiler personens risiko for å begå nye lovbrudd eller ikke møte i retten.

Tilhengere av disse systemene hevder at automatisering av disse beslutningene sikrer objektivitet. Tross alt anklages menneskelige dommere hele tiden for å være inkonsekvente og forutinntatte. I likhet med automatisert lånevurdering og vurdering av leietakere er imidlertid disse beslutningene avhengige av data. Hvis dataene er upålitelige, unøyaktige eller partiske, vil funnene også være det.

I 2016 gjennomførte ProPublica en undersøkelse av COMPAS(nytt vindu), eller Correctional Offender Management Profiling for Alternative Sanctions. Dette mye brukte systemet, utviklet av det profittbaserte selskapet Northpointe (nå Equivant Supervision), ble funnet å levere et overveldende antall falske positiver for svarte tiltalte og falske negativer for hvite tiltalte. Med andre ord var svarte tiltalte som ikke begikk nye lovbrudd, nesten dobbelt så sannsynlig som hvite tiltalte å bli merket som høy risiko av algoritmen, mens hvite tiltalte som begikk nye lovbrudd, oftere ble feilmerket som lav risiko. (Northpointe har bestridt gyldigheten av ProPublicas rapport.)

Tilsvarende uttalte House of Lords Justice and Home Affairs Committee i sin gjennomgang av KI i det britiske rettssystemet for 2022(nytt vindu) at det er «bekymringer for farene ved at menneskelige fordommer som finnes i de opprinnelige dataene, reflekteres og bygges ytterligere inn i beslutninger tatt av algoritmer.»

Det er lite tiltalte kan gjøre for å utfordre disse poengsummene ettersom algoritmen er proprietær og poengsummene de spytter ut sjelden avsløres i retten. Dette betyr at en tiltalts frihet kan avhenge av en hemmelig poengsum generert av en ikke-offentliggjort modell ved bruk av ukjente og ofte upålitelige data.

Vanlige problemer med datadrevne algoritmer

Når beslutningstaking automatiseres — enten i lånevurdering, vurdering av leietakere eller risikovurdering av tiltalte — dukker det opp flere problemer om og om igjen:

Dataenes pålitelighet: Hvis dataene du gir en algoritme er upålitelige, unøyaktige eller forutinntatte, vil alle funnene den gir reflektere disse feilene.

Mangel på åpenhet: Når algoritmer er proprietære, er det umulig for den registrerte å dobbeltsjekke eller utfordre vurderingen (og det forutsetter at de i det hele tatt er klar over poengsummen i utgangspunktet).

Bruk av upassende og personlige data: Mange vil hevde at hvordan du fyller ut et skjema ikke bør påvirke om du får lån, og at folk bør kunne holde andre typer sensitive personopplysninger private hvis de ønsker det.

Vi må løse disse problemene før KI tar dem i bruk

Det er viktig at vi korrigerer kursen av flere grunner. For det første blir flere og flere liv påvirket av de algoritmiske systemene beskrevet ovenfor. For det andre blir stadig mer informasjon samlet opp av datameglere — datameglermarkedet forventes å være verdt mer enn 470 milliarder dollar innen 2030(nytt vindu). For det tredje utvides algoritmer til nye sektorer hele tiden, som prediktivt politiarbeid(nytt vindu) og forutsigelse av helserisiko(nytt vindu), der det er funnet at algoritmer har forsterket fordommer som allerede var til stede i dataene.

Men den desidert viktigste grunnen til at vi må fikse dette nå, er for å unngå denne situasjonen med KI. Jeg brukte for det meste begrepet algoritmer gjennom denne artikkelen, da disse systemene er veldig grunnleggende sammenlignet med dagens KI-tilbud, men de fungerer som grunnleggende KI-assistenter for en spesifikk oppgave. Og etter hvert som mye kraftigere KI-chatboter integreres i flere og flere systemer, arbeidsflyter og organisasjoner, har de potensial til å replikere disse typene problemer i mye større skala.

Og offentligheten slår allerede alarm. Over halvparten av den amerikanske befolkningen (og KI-profesjonelle)(nytt vindu) ønsker mer kontroll over hvordan KI brukes i livene deres.

Hvordan ta tilbake kontrollen

Skjulte algoritmer og datameglerøkosystemet som aktiverer dem, må tøyles. Hvordan sikrer vi at teknologi fungerer for samfunnet, ikke mot det? Eksperter innen personvern og KI-etikk har foreslått en mangefasettert tilnærming:

Juridisk reform og tilsyn: Myndigheter — og spesielt den amerikanske regjeringen — må oppdatere lover for å regulere datameglere og algoritmisk beslutningstaking, og lukke smutthull som tillater ukontrollert datautnyttelse. USA må vedta en føderal personvernlov. Dessverre går ting i motsatt retning. Consumer Finance Protection Bureau trakk nylig et forslag(nytt vindu) som ville ha krevd at datameglere skulle føre mer nøyaktige registre og begrense hvem de kunne selge data til.

Algoritmisk åpenhet: For å sikre ansvarlighet må selskaper som bruker kunstig intelligens til å ta beslutninger som påvirker liv, offentliggjøre nøkkelfaktorene bak algoritmene sine og tillate uavhengige revisjoner. Uten åpenhet kan ikke forbrukere forstå, utfordre eller korrigere skadelige automatiserte beslutninger. EUs KI-lov(nytt vindu) og New Yorks lokale lov(nytt vindu) er skritt mot meningsfullt tilsyn.

Menneskelig tilsyn og gjennomgang av beslutninger: Ingen beslutning som påvirker en persons rettigheter eller levebrød bør overlates helt til en algoritme — enkeltpersoner må ha rett til menneskelig gjennomgang. Ved å holde opplært personell i sløyfen og aktivere muligheten for å klage, kan vi sikre at automatiserte systemer forblir ansvarlige, kontekstuelle og humane. Dette finnes allerede i Europa under GDPR(nytt vindu), men bør utvides til USA.

Dataminimering på personlig nivå: Dette kan virke overveldende, men det er ting du kan gjøre for å begrense hvor mye data datameglere mottar fra deg. Betal med kontanter. Bruk ende-til-ende-krypterte tjenester. Surf på nettet med en pålitelig VPN(nytt vindu), annonseblokkering(nytt vindu) og personvernfokusert nettleser. Disse enkle tiltakene kan begrense de rådataene som driver urettferdige algoritmiske beslutninger.

For et bedre internett og en bedre verden

Ettersom algoritmer i økende grad påvirker kritiske livsbeslutninger — fra bolig og kreditt til sysselsetting og rettferdighet — må vi konfrontere de uoversiktlige systemene og ukontrollerte dataflytene som driver dem. Disse teknologiene lover effektivitet, men leverer ofte skjevhet, ekskludering og skade, spesielt når de drives av uregulerte datameglere.

For å endre kurs trenger vi lover som håndhever åpenhet, begrenser utnyttende datapraksiser og garanterer menneskelig tilsyn der det betyr mest. Å bygge en mer rettferdig digital fremtid betyr å åpne algoritmiske svarte bokser og sette mennesker tilbake i sentrum for beslutningstaking. Hvis vi handler nå — som borgere, utviklere og beslutningstakere — kan vi skape en verden der teknologi respekterer personvern, forsterker rettferdighet og fortjener vår tillit.