Just nu, någonstans, kan ett företag du aldrig har pratat med – kanske aldrig ens hört talas om – besluta om du ska få ett lån, en lägenhet eller till och med hur länge du spenderar i fängelse.

Vi känner redan till algoritmers makt att forma vad vi ser och vem vi pratar med på sociala medier. Men det är bara ytan. Algoritmer är djupt inbäddade i dussintals andra branscher och fattar ofta beslut med livsförändrande konsekvenser. Och de förlitar sig på data de får från datamäklare.

Men hur fungerar det? Vad exakt är datamäklares roll i att mata dessa algoritmer? Vad är de verkliga konsekvenserna av denna skuggiga verksamhet? Och viktigast av allt: Vad kan vi göra för att säkerställa rättvisa och ansvarsskyldighet, särskilt när vi rusar mot en framtid där AI-drivet beslutsfattande växer exponentiellt?

Datamäklares dolda roll

Datamäklare är vinstdrivande organisationer som samlar in och säljer enorma mängder personuppgifter, och aggregerar allt(nytt fönster) från dina finansiella register och shoppingvanor till din webbläsning och plats i realtid. Det är en massiv – och lukrativ – industri. Uppskattningsvis 5 000 datamäklarföretag(nytt fönster) verkar över hela världen på vad som har blivit en marknad värd 270 miljarder dollar.

Trots sin storlek möter industrin praktiskt taget ingen omfattande tillsyn(nytt fönster) (åtminstone i USA), vilket innebär att mäklare kommer att samla in och sälja alla data som det finns efterfrågan på. Det innebär också att de har små incitament att säkerställa att de data de säljer är korrekta(nytt fönster).

Lär dig mer om datamäklare

Alla sorters organisationer, från annonsörer till amerikanska regeringsdepartement, vänder sig till datamäklare för att få detaljerad, intim information. Allt oftare använder företag dessa data för att mata sina algoritmer och fatta beslut som påverkar vardagen för människor över hela USA. Information som samlas in och säljs av datamäklare – data som ofta är fyllda med fel – används för att avgöra vilka räntor människor betalar, om de beviljas ett lån, om de ens kan hyra en lägenhet eller få ett jobb.

Här är tre situationer där information du aldrig visste att du delade kunde sluta med att osynligt förändra din livsbana.

Algoritmisk kreditgivning

Banker och andra fintech-leverantörer var några av de första branscherna att anamma algoritmer och använda dem för att avgöra vem som får ett bolån, ett företagslån eller kreditkort. De förlitar sig på traditionella kreditvärdigheter tillsammans med en mängd andra, alternativa data (betalningar av allmännyttiga tjänster, utbildning, till och med hur du fyller i formulär) för att förutsäga om någon kommer att betala tillbaka lånet. Resultatet är ett ”black box”-system som kan leverera divergerande resultat för till synes liknande kandidater.

En utredning av The Markup(nytt fönster) från 2021 fann att långivare, när de jämförde vissa sökande med liknande kvalificerade vita sökande, var:

  • 40 % mer benägna att neka bostadslån till sökande av latinamerikanskt ursprung
  • 50 % mer benägna att neka sökande från Asien/Stillahavsöarna 
  • 70 % mer benägna att neka urprungsbefolkning
  • 80 % mer benägna att avvisa svarta sökande 

Dessa skillnader kvarstod även efter kontroll av faktorer som branschen traditionellt skyller på för dessa lägre godkännandegrader.

Alla som har arbetat med statistik vet att modellerna bara är så bra som de data som matas in i dem. Om dessa data till exempel återspeglar en historia av redlining(nytt fönster), kommer modellen att vara snedvriden. Och dessa modeller innehåller alla sorters data, som ditt flöde på sociala medier(nytt fönster) eller till och med om du skriver ditt namn med VERSALER(nytt fönster). Som en fintech-VD sa: ”All data är kreditdata.”

Och med dessa algoritmer är det ofta svårt att peka ut den faktor som ledde till ett avslag. Detta gör det omöjligt för människor att överklaga eller erbjuda en korrigering, vilket borde krävas med tanke på hur tangential mycket av denna data verkar och hur ofta datamäklare har felaktig och föråldrad information.

Datadrivna bakgrundskontroller av hyresgäster

Om du bestämmer dig för att hyra kan du inte undkomma algoritmer. Hyresvärdar och fastighetsförvaltare vänder sig i allt högre grad till automatiserade tjänster för hyresgästscreening, som LeasingDesk eller RentGrow, som förlitar sig på datamäklare för att utföra bakgrundskontroller av sökande. Dessa tjänster försöker kvantifiera hur riskfylld en hyresgäst kan vara genom att titta på sökandes kreditvärdighet, vräkningsansökningar, brottsregister och en mängd andra personuppgifter. Resultatet är att många människor nekas bostad på grund av tveksamma eller föråldrade data.

År 2021 bötfällde Federal Trade Commission (FTC) AppFolio, en hyresgästscreeningstjänst, med 4,25 miljoner dollar för att ha sålt bakgrundsrapporter som felidentifierade sökande(nytt fönster) och innehöll föråldrad information, som upphävda eller lösta vräkningsbesked. Dessa misstag fick verkliga konsekvenser och tvingade människor att hitta någon annanstans att bo.

Algoritmerna som genererar dessa poäng är också en ”black box”. År 2021 talade ProPublica med en hyresgäst(nytt fönster) som hade en utmärkt kreditvärdighet (över 750), inget brottsregister och inga vräkningar. Trots detta fick hon en hyresgästpoäng på 685 av 1 000 – motsvarande ett D – utan förklaring. Hon tvingades betala en extra månadshyra som deposition. Precis som de flesta hyresgäster hade hon ingen aning om varför hennes poäng var så låg eller hur hon skulle åtgärda det.

Borgen satt av algoritm

Kanske är den mest betydelsefulla användningen av dolda, datamäklar-drivna algoritmer inom rättsväsendet. Domstolar och brottsbekämpande myndigheter över hela landet har antagit algoritmiska riskbedömningsverktyg för att hjälpa domare att avgöra om de ska bevilja borgen eller frigivning före rättegång till anklagade. I vissa fall hjälper dessa verktyg till och med att besluta om straffmätning och villkorlig frigivning. Algoritmerna tar indata (såsom någons brottsregister, ålder, anställningsstatus och ibland plats eller familjebakgrund) och beräknar en poäng som förment återspeglar personens risk att återfalla i brott eller misslyckas med att dyka upp i rätten.

Förespråkare för dessa system hävdar att automatisering av dessa beslut säkerställer objektivitet. När allt kommer omkring anklagas mänskliga domare för att vara inkonsekventa och partiska hela tiden. I likhet med automatiserad låneprövning och hyresgästscreening förlitar sig dock dessa beslut på data. Om dessa data är otillförlitliga, felaktiga eller partiska, kommer dess resultat också att vara det.

År 2016 genomförde ProPublica en utredning av COMPAS(nytt fönster), eller Correctional Offender Management Profiling for Alternative Sanctions. Detta allmänt använda system, utvecklat av det vinstdrivande företaget Northpointe (nu Equivant Supervision), visade sig leverera ett överväldigande antal falska positiva för svarta åtalade och falska negativa för vita åtalade. Med andra ord var svarta åtalade som inte återföll i brott nästan dubbelt så benägna som vita åtalade att stämplas som högrisk av algoritmen, medan vita åtalade som faktiskt återföll i brott oftare felaktigt stämplades som lågrisk. (Northpointe har bestridit giltigheten i ProPublicas rapport.)

På liknande sätt sa House of Lords Justice and Home Affairs Committee i sin översyn av AI i Storbritanniens rättssystem 2022(nytt fönster) att det finns ”oro över farorna med att mänsklig partiskhet som finns i originaldatan återspeglas, och ytterligare inbäddas, i beslut som fattas av algoritmer”.

Det finns lite åtalade kan göra för att utmana dessa poäng eftersom algoritmen är proprietär och poängen de spottar ut sällan avslöjas i rätten. Detta innebär att en åtalads frihet kan hänga på en hemlig poäng genererad av en hemlig modell som använder okända och ofta otillförlitliga data.

Vanliga problem med datadrivna algoritmer

Närhelst beslutsfattande automatiseras – oavsett om det gäller låneprövning, hyresgästscreening eller riskbedömning av åtalade – dyker flera problem upp om och om igen:

Tillförlitlighet hos data: Om datan du ger en algoritm är otillförlitlig, felaktig eller partisk, kommer alla resultat den ger att återspegla dessa fel.

Brist på transparens: När algoritmer är proprietära är det omöjligt för den registrerade att dubbelkolla eller utmana dess bedömning (och det förutsätter att de är medvetna om poängen i första hand).

Användning av olämpliga och personliga data: Många skulle hävda att hur du fyller i ett formulär inte borde påverka om du får ett lån och att människor borde kunna hålla andra typer av känsliga, personliga data privata om de väljer det.

Vi måste åtgärda dessa problem innan AI antar dem

Det är viktigt att vi korrigerar kursen av flera skäl. För det första påverkas fler och fler liv av de algoritmiska system som beskrivs ovan. För det andra sopas mer och mer information upp av datamäklare – datamäklarmarknaden förväntas vara värd mer än 470 miljarder dollar år 2030(nytt fönster). För det tredje expanderar algoritmer till nya sektorer hela tiden, som förutsägande polisarbete(nytt fönster) och hälsoriskförutsägelse(nytt fönster), där det har visat sig att algoritmer förstärkte fördomar som redan fanns i datan.

Men den absolut viktigaste anledningen till att vi behöver fixa detta nu är att undvika denna situation med AI. Jag använde mest termen algoritmer genom hela denna artikel, eftersom dessa system är väldigt grundläggande jämfört med dagens AI-erbjudanden, men de fungerar som grundläggande AI-assistenter för en specifik uppgift. Och i takt med att mycket kraftfullare AI-chattbotar integreras i allt fler system, arbetsflöden och organisationer, har de potentialen att replikera dessa typer av problem i mycket större skala.

Och allmänheten slår redan larm. Över hälften av den amerikanska allmänheten (och AI-professionella)(nytt fönster) vill ha mer kontroll över hur AI används i deras liv.

Hur man tar tillbaka kontrollen

Dolda algoritmer och ekosystemet av datamäklare som möjliggör dem måste tyglas. Hur säkerställer vi att tekniken arbetar för samhället, inte emot det? Experter inom integritet och AI-etik har föreslagit ett mångfacetterat tillvägagångssätt:

Juridisk reform och tillsyn: Regeringar – särskilt den amerikanska regeringen – måste uppdatera lagar för att reglera datamäklare och algoritmiskt beslutsfattande, och täppa till luckor som tillåter okontrollerad dataexploatering. USA måste anta en federal integritetslag. Tyvärr går saker i motsatt riktning. Consumer Finance Protection Bureau drog nyligen tillbaka ett förslag(nytt fönster) som skulle ha krävt att datamäklare förde mer exakta register och begränsade vem de kunde sälja data till.

Algoritmisk transparens: För att säkerställa ansvarsskyldighet måste företag som använder AI för att fatta livspåverkande beslut avslöja nyckelfaktorerna bakom sina algoritmer och tillåta oberoende revisioner. Utan transparens kan konsumenter inte förstå, utmana eller korrigera skadliga automatiserade beslut. EU:s AI-förordning(nytt fönster) och New York Citys lokala lag(nytt fönster) är steg mot meningsfull tillsyn.

Mänsklig tillsyn och granskning av beslut: Inget beslut som påverkar en persons rättigheter eller levebröd bör överlåtas helt till en algoritm – individer måste ha rätt till mänsklig granskning. Genom att hålla utbildad personal i loopen och möjliggöra överklaganden kan vi säkerställa att automatiserade system förblir ansvariga, kontextuella och humana. Detta finns redan i Europa under GDPR(nytt fönster), men bör utvidgas till USA.

Dataminimering på personlig nivå: Detta kan verka överväldigande, men det finns saker du kan göra för att begränsa hur mycket data datamäklare får från dig. Betala med kontanter. Använd end-to-end-krypterade tjänster. Surfa på internet med en pålitlig VPN(nytt fönster), annonsblockerare(nytt fönster) och integritetsfokuserad webbläsare. Dessa enkla åtgärder kan begränsa den rådata som driver orättvisa algoritmiska beslut.

För ett bättre internet och en bättre värld

När algoritmer alltmer påverkar kritiska livsbeslut – från boende och kredit till anställning och rättvisa – måste vi konfrontera de ogenomskinliga system och okontrollerade dataflöden som driver dem. Dessa tekniker lovar effektivitet men levererar ofta partiskhet, uteslutning och skada, särskilt när de drivs av oreglerade datamäklare.

För att ändra kurs behöver vi lagar som verkställer transparens, begränsar exploaterande datapraxis och garanterar mänsklig tillsyn där det betyder mest. Att bygga en mer rättvis digital framtid innebär att öppna de algoritmiska svarta lådorna och sätta människor tillbaka i centrum för beslutsfattandet. Om vi agerar nu – som medborgare, utvecklare och beslutsfattare – kan vi skapa en värld där teknik respekterar integritet, förstärker rättvisa och förtjänar vårt förtroende.