Op dit moment, ergens, kan een bedrijf waarmee u nog nooit hebt gesproken — en waar u misschien nog nooit van hebt gehoord — beslissen of u een lening krijgt, een appartement, of zelfs hoe lang u in de gevangenis doorbrengt.

We kennen de kracht van algoritmen al om vorm te geven aan wat we zien en met wie we praten op sociale media. Maar dat is slechts het topje van de ijsberg. Algoritmen zijn diep ingebed in tientallen andere industrieën en nemen vaak beslissingen met levensveranderende gevolgen. En ze vertrouwen op gegevens die ze krijgen van datamakelaars.

Maar hoe werkt het? Wat is precies de rol van datamakelaars bij het voeden van deze algoritmen? Wat zijn de gevolgen in de echte wereld van deze schimmige business? En het belangrijkste: wat kunnen we doen om eerlijkheid en verantwoording te garanderen, vooral nu we afstevenen op een toekomst waarin AI-gestuurde besluitvorming exponentieel groeit?

De verborgen rol van datamakelaars

Datamakelaars zijn organisaties met winstoogmerk die enorme hoeveelheden persoonlijke gegevens verzamelen en verkopen, waarbij ze alles samenvoegen(nieuw venster), van uw financiële dossiers en winkelgewoonten tot uw webbrowsing en realtime locatie. Het is een enorme — en lucratieve — industrie. Naar schatting zijn er wereldwijd 5.000 datamakelaarsbedrijven(nieuw venster) actief in wat een markt van 270 miljard dollar is geworden.

Ondanks zijn grootte kent de industrie vrijwel geen alomvattend toezicht(nieuw venster) (althans in de VS), wat betekent dat makelaars alle gegevens zullen verzamelen en verkopen waar vraag naar is. Het betekent ook dat ze weinig prikkels hebben om ervoor te zorgen dat de gegevens die ze verkopen nauwkeurig zijn(nieuw venster).

Meer informatie over datamakelaars

Allerlei organisaties, van adverteerders tot Amerikaanse overheidsdepartementen, wenden zich tot datamakelaars om gedetailleerde, intieme informatie te verkrijgen. Bedrijven gebruiken deze gegevens steeds vaker om hun algoritmen te voeden en beslissingen te nemen die het dagelijks leven van mensen in de VS beïnvloeden. Informatie die wordt verzameld en verkocht door datamakelaars — gegevens die vaak vol fouten zitten — wordt gebruikt om te bepalen welke rentetarieven mensen betalen, of ze worden goedgekeurd voor een lening, of ze zelfs een appartement kunnen huren of een baan kunnen vinden.

Hier zijn drie situaties waarin informatie waarvan u nooit wist dat u die deelde, onzichtbaar uw levensloop zou kunnen veranderen.

Algoritmische acceptatie

Banken en andere fintech-aanbieders waren enkele van de eerste industrieën die algoritmen adopteerden en ze gebruikten om te bepalen wie wordt goedgekeurd voor een hypotheek, een zakelijke lening of kredietkaarten. Ze vertrouwen op traditionele kredietscores samen met een groot aantal andere, alternatieve gegevens (nutsbetalingen, opleiding, zelfs hoe u formulieren invult) om te voorspellen of iemand de lening zal terugbetalen. Het resultaat is een black-box-systeem dat uiteenlopende resultaten kan opleveren voor ogenschijnlijk vergelijkbare kandidaten.

Uit een onderzoek uit 2021 door The Markup(nieuw venster) bleek dat kredietverstrekkers, bij het vergelijken van bepaalde aanvragers met vergelijkbaar gekwalificeerde blanke aanvragers:

  • 40% meer kans hadden om woningleningen te weigeren aan Latino-aanvragers
  • 50% meer kans hadden om Aziatische/Pacifische eilandbewoner-aanvragers te weigeren
  • 70% meer kans hadden om Inheemse Amerikanen te weigeren
  • 80% meer kans hadden om Zwarte aanvragers af te wijzen

Deze ongelijkheden bleven bestaan, zelfs na correctie voor factoren die de industrie traditioneel de schuld geeft van deze lagere goedkeuringspercentages.

Iedereen die met statistieken heeft gewerkt, weet dat de modellen slechts zo goed zijn als de gegevens die erin worden ingevoerd. Als die gegevens bijvoorbeeld een geschiedenis van redlining(nieuw venster) weerspiegelen, zal het model vertekend zijn. En deze modellen bevatten allerlei soorten gegevens, zoals uw socialemediafeed(nieuw venster) of zelfs of u uw naam in HOOFDLETTERS typt(nieuw venster). Zoals een fintech-CEO zei: ‘Alle data is kredietdata’.

En met deze algoritmen is het vaak moeilijk om de factor aan te wijzen die tot een afwijzing heeft geleid. Dit maakt het voor mensen onmogelijk om in beroep te gaan of een correctie aan te bieden, wat verplicht zou moeten zijn, gezien hoe tangentieel veel van deze gegevens lijken en hoe vaak datamakelaars onnauwkeurige en verouderde informatie hebben.

Datagestuurde achtergrondcontroles van huurders

Als u besluit te huren, ontkomt u niet aan algoritmen. Verhuurders en vastgoedbeheerders wenden zich steeds vaker tot geautomatiseerde screeningdiensten voor huurders, zoals LeasingDesk of RentGrow, die vertrouwen op datamakelaars om achtergrondcontroles op aanvragers uit te voeren. Deze diensten proberen te kwantificeren hoe riskant een huurder kan zijn door te kijken naar kredietscores, uitzettingsdossiers, strafbladen en een groot aantal andere persoonlijke gegevens van aanvragers. Het resultaat is dat veel mensen huisvesting wordt geweigerd op basis van twijfelachtige of verouderde gegevens.

In 2021 legde de Federal Trade Commission (FTC) AppFolio, een screeningdienst voor huurders, een boete op van 4,25 miljoen dollar voor het verkopen van achtergrondrapporten die aanvragers verkeerd identificeerden(nieuw venster) en verouderde informatie bevatten, zoals vernietigde of opgeloste uitzettingsbevelen. Deze fouten hadden gevolgen in de echte wereld en dwongen mensen om ergens anders te gaan wonen.

De algoritmen die deze scores genereren zijn ook een black box. In 2021 sprak ProPublica met een huurder(nieuw venster) die een uitstekende kredietscore had (meer dan 750), geen strafblad en geen huisuitzettingen. Desondanks kreeg ze een huurdersscore van 685 van de 1.000 — het equivalent van een D — zonder uitleg. Ze werd gedwongen een extra maand huur te betalen als borgsom. Zoals de meeste huurders had ze geen idee waarom haar score zo laag was of hoe ze die kon repareren.

Borgtocht bepaald door algoritme

Misschien wel het meest ingrijpende gebruik van verborgen, door datamakelaars aangedreven algoritmen is in het strafrechtsysteem. Rechtbanken en wetshandhavingsinstanties in het hele land hebben algoritmische risicobeoordelingstools geadopteerd om rechters te helpen beslissen of ze borgtocht of voorlopige vrijlating verlenen aan de beschuldigde. In sommige gevallen helpen deze tools zelfs bij het bepalen van straffen en voorwaardelijke vrijlating. De algoritmen nemen invoergegevens (zoals iemands strafblad, leeftijd, arbeidsstatus en soms locatie of familieachtergrond) en berekenen een score die zogenaamd het risico weerspiegelt dat de persoon opnieuw in de fout gaat of niet in de rechtbank verschijnt.

Voorstanders van deze systemen beweren dat het automatiseren van deze beslissingen objectiviteit garandeert. Menselijke rechters worden er immers de hele tijd van beschuldigd inconsistent en bevooroordeeld te zijn. Net als bij geautomatiseerde acceptatie van leningen en screening van huurders, zijn deze beslissingen echter afhankelijk van gegevens. Als de gegevens onbetrouwbaar, onnauwkeurig of bevooroordeeld zijn, zullen de bevindingen dat ook zijn.

In 2016 voerde ProPublica een onderzoek uit naar COMPAS(nieuw venster), oftewel Correctional Offender Management Profiling for Alternative Sanctions. Dit veelgebruikte systeem, ontwikkeld door het commerciële bedrijf Northpointe (nu Equivant Supervision), bleek een overweldigend aantal valse positieven op te leveren voor Zwarte beklaagden en valse negatieven voor blanke beklaagden. Met andere woorden, Zwarte beklaagden die niet opnieuw in de fout gingen, hadden bijna twee keer zoveel kans als blanke beklaagden om door het algoritme als hoog risico te worden bestempeld, terwijl blanke beklaagden die wel opnieuw in de fout gingen, vaker ten onrechte als laag risico werden bestempeld. (Northpointe heeft de geldigheid van het rapport van ProPublica betwist.)

Evenzo zei de House of Lords Justice and Home Affairs Committee in zijn beoordeling van AI in het rechtssysteem van het VK uit 2022(nieuw venster) dat er ‘zorgen zijn over de gevaren van menselijke vooroordelen in de oorspronkelijke gegevens die worden weerspiegeld en verder ingesloten in beslissingen die door algoritmen worden genomen’.

Beklaagden kunnen weinig doen om deze scores aan te vechten, aangezien het algoritme eigendomsrechtelijk beschermd is en de scores die ze uitspugen zelden in de rechtbank worden onthuld. Dit betekent dat de vrijheid van een beklaagde kan afhangen van een geheime score die wordt gegenereerd door een niet-openbaar gemaakt model met behulp van onbekende en vaak onbetrouwbare gegevens.

Veelvoorkomende problemen met door data gevoede algoritmen

Wanneer besluitvorming wordt geautomatiseerd — of het nu gaat om acceptatie van leningen, screening van huurders of risicobeoordeling van beklaagden — duiken er steeds weer verschillende problemen op:

Betrouwbaarheid van gegevens: Als de gegevens die u aan een algoritme geeft onbetrouwbaar, onnauwkeurig of bevooroordeeld zijn, dan zullen alle bevindingen die het geeft die fouten weerspiegelen.

Gebrek aan transparantie: Wanneer algoritmen eigendomsrechtelijk beschermd zijn, is het voor de betrokkene onmogelijk om de beoordeling dubbel te controleren of aan te vechten (en dat veronderstelt dat ze zich überhaupt bewust zijn van de score).

Gebruik van ongepaste en persoonlijke gegevens: Velen zouden beweren dat hoe u een formulier invult, geen invloed zou moeten hebben op of u een lening krijgt en dat mensen andere soorten gevoelige, persoonlijke gegevens privé zouden moeten kunnen houden als ze dat willen.

We moeten deze problemen oplossen voordat AI ze overneemt

Het is om verschillende redenen belangrijk dat we de koers corrigeren. Ten eerste worden steeds meer levens beïnvloed door de hierboven beschreven algoritmische systemen. Ten tweede wordt er steeds meer informatie verzameld door datamakelaars — de markt voor datamakelaars zal naar verwachting in 2030 meer dan 470 miljard dollar waard zijn(nieuw venster). Ten derde breiden algoritmen zich voortdurend uit naar nieuwe sectoren, zoals voorspellend politiewerk(nieuw venster) en voorspelling van gezondheidsrisico’s(nieuw venster), waarbij is gebleken dat algoritmen vooroordelen versterkten die al in de gegevens aanwezig waren.

Maar veruit de belangrijkste reden waarom we dit nu moeten oplossen, is om deze situatie met AI te voorkomen. Ik heb in dit artikel voornamelijk de term algoritmen gebruikt, omdat deze systemen erg eenvoudig zijn in vergelijking met het huidige AI-aanbod, maar ze functioneren als eenvoudige AI-assistenten voor een specifieke taak. En naarmate veel krachtigere AI-chatbots in steeds meer systemen, workflows en organisaties worden geïntegreerd, hebben ze het potentieel om dit soort problemen op veel grotere schaal te repliceren.

En het publiek luidt al de noodklok. Meer dan de helft van het Amerikaanse publiek (en AI-professionals)(nieuw venster) wil meer controle over hoe AI in hun leven wordt gebruikt.

Hoe u de controle terugneemt

Verborgen algoritmen en het ecosysteem van datamakelaars dat ze mogelijk maakt, moeten worden beteugeld. Hoe zorgen we ervoor dat technologie voor de samenleving werkt, niet ertegen? Experts op het gebied van privacy en AI-ethiek hebben een veelzijdige aanpak voorgesteld:

Juridische hervorming en toezicht: Overheden — met name de Amerikaanse overheid — moeten wetten updaten om datamakelaars te reguleren en algoritmische besluitvorming aan banden te leggen, door gaten te dichten die ongecontroleerde gegevensexploitatie mogelijk maken. De VS moet een federale privacywet aannemen. Helaas gaan de dingen de tegenovergestelde kant op. Het Consumer Finance Protection Bureau trok onlangs een voorstel in(nieuw venster) dat datamakelaars zou hebben verplicht om nauwkeurigere gegevens bij te houden en te beperken aan wie ze gegevens konden verkopen.

Algoritmische transparantie: Om verantwoording te garanderen, moeten bedrijven die AI gebruiken om levensbepalende beslissingen te nemen, de sleutelfactoren achter hun algoritmen bekendmaken en onafhankelijke audits toestaan. Zonder transparantie kunnen consumenten schadelijke geautomatiseerde beslissingen niet begrijpen, aanvechten of corrigeren. De AI-verordening van de EU(nieuw venster) en de lokale wet van New York City(nieuw venster) zijn stappen in de richting van zinvol toezicht.

Menselijk toezicht en beoordeling van beslissingen: Geen enkele beslissing die de rechten of het levensonderhoud van een persoon beïnvloedt, mag volledig aan een algoritme worden overgelaten — individuen moeten recht hebben op menselijke beoordeling. Door getraind personeel op de hoogte te houden en beroep mogelijk te maken, kunnen we ervoor zorgen dat geautomatiseerde systemen verantwoordelijk, contextueel en menselijk blijven. Dit bestaat al in Europa onder de AVG(nieuw venster), maar zou moeten worden uitgebreid naar de VS.

Dataminimalisatie op persoonlijk niveau: Dit lijkt misschien overweldigend, maar er zijn dingen die u kunt doen om te beperken hoeveel gegevens datamakelaars van u ontvangen. Betaal contant. Gebruik end-to-end versleutelde diensten. Surf op internet met een betrouwbare VPN(nieuw venster), advertentieblokkering(nieuw venster) en privacygerichte browser. Deze eenvoudige maatregelen kunnen de ruwe gegevens beperken die oneerlijke algoritmische beslissingen voeden.

Voor een beter internet en een betere wereld

Naarmate algoritmen steeds meer invloed hebben op kritieke levensbeslissingen — van huisvesting en krediet tot werkgelegenheid en justitie — moeten we de ondoorzichtige systemen en ongecontroleerde gegevensstromen die ze voeden, aanpakken. Deze technologieën beloven efficiëntie, maar leveren vaak vooringenomenheid, uitsluiting en schade op, vooral wanneer ze worden gevoed door ongereguleerde datamakelaars.

Om van koers te veranderen, hebben we wetten nodig die transparantie afdwingen, uitbuitende gegevenspraktijken beperken en menselijk toezicht garanderen waar dat het belangrijkst is. Een rechtvaardigere digitale toekomst bouwen betekent de algoritmische black boxes openbreken en mensen weer centraal stellen in de besluitvorming. Als we nu handelen — als burgers, ontwikkelaars en beleidsmakers — kunnen we een wereld creëren waarin technologie privacy respecteert, eerlijkheid versterkt en ons vertrouwen verdient.