Juuri nyt, jossain, yritys, jolle et ole koskaan puhunut – ehkä et ole koskaan edes kuullut siitä – saattaa päättää, saatko lainan, asunnon tai jopa kuinka kauan vietät vankilassa.

Tiedämme jo algoritmien voiman muokata sitä, mitä näemme ja kenelle puhumme sosiaalisessa mediassa. Mutta se on vain pintaa. Algoritmit on upotettu syvälle kymmeniin muihin teollisuudenaloihin, ja ne tekevät usein päätöksiä, joilla on elämää mullistavia vaikutuksia. Ja ne luottavat tietoon, jonka ne saavat tietovälittäjiltä.

Mutta miten se toimii? Mikä tarkalleen on tietovälittäjien tehtävä näiden algoritmien ruokkimisessa? Mitkä ovat tämän hämärän liiketoiminnan todelliset seuraukset? Ja tärkeintä: Mitä voimme tehdä varmistaaksemme oikeudenmukaisuuden ja vastuullisuuden, varsinkin kun syöksymme kohti tulevaisuutta, jossa tekoälyohjattu päätöksenteko kasvaa eksponentiaalisesti?

Tietovälittäjien piilotettu tehtävä

Tietovälittäjät ovat voittoa tavoittelevia organisaatioita, jotka keräävät ja myyvät valtavia määriä henkilötietoja, koostaen kaiken(uusi ikkuna) taloustiedoistasi ja ostostottumuksistasi selaushistoriaasi ja reaaliaikaiseen sijaintiisi. Se on massiivinen – ja tuottoisa – teollisuudenala. Arvioidut 5 000 tietovälittäjäyritystä(uusi ikkuna) toimii maailmanlaajuisesti markkinoilla, joista on tullut 270 miljardin dollarin markkinat.

Koostaan huolimatta ala kohtaa käytännössä ei minkäänlaista kattavaa valvontaa(uusi ikkuna) (ainakaan Yhdysvalloissa), mikä tarkoittaa, että välittäjät keräävät ja myyvät mitä tahansa tietoja, joille on kysyntää. Se tarkoittaa myös, että heillä on vain vähän kannustimia varmistaa, että heidän myymänsä tiedot ovat tarkkoja(uusi ikkuna).

Lue lisää tietovälittäjistä

Kaikenlaiset organisaatiot, mainostajista Yhdysvaltain hallituksen osastoihin, kääntyvät tietovälittäjien puoleen saadakseen yksityiskohtaista, intiimiä tietoa. Yhä useammin yritykset käyttävät tätä tietoa ruokkiakseen algoritmejaan ja tehdäkseen päätöksiä, jotka vaikuttavat ihmisten jokapäiväiseen elämään kaikkialla Yhdysvalloissa. Tietovälittäjien keräämää ja myymää tietoa – tietoa, joka on usein täynnä virheitä – käytetään määrittämään ihmisten maksamat korot, hyväksytäänkö heille laina, voivatko he edes vuokrata asunnon tai saada työpaikan.

Tässä on kolme tilannetta, joissa tieto, jonka et edes tiennyt jakaneesi, saattaa päätyä muuttamaan elämäsi suuntaa näkymättömästi.

Algoritminen luotonmyöntö

Pankit ja muut fintech-palveluntarjoajat olivat ensimmäisiä aloja, jotka ottivat käyttöön algoritmeja, käyttäen niitä määrittämään, kuka saa asuntolainan, yrityslainan tai maksukortteja. Ne luottavat perinteisiin luottopisteisiin sekä lukuisiin muihin vaihtoehtoisiin tietoihin (sähkölaskut, koulutus, jopa miten täytät lomakkeita) ennustaakseen, maksaako joku lainan takaisin. Tuloksena on mustan laatikon järjestelmä, joka voi tuottaa erilaisia tuloksia näennäisesti samankaltaisille hakijoille.

Vuoden 2021 The Markupin tutkimus(uusi ikkuna) havaitsi, että lainanantajat, verratessaan tiettyjä hakijoita vastaavasti päteviin valkoisiin hakijoihin, olivat:

  • 40 % todennäköisemmin hylkäämässä asuntolainat latinohakijoilta
  • 50 % todennäköisemmin hylkäämässä aasialaisten/tyynenmeren saarelaisten hakijoiden hakemukset 
  • 70 % todennäköisemmin hylkäämässä alkuperäisamerikkalaiset
  • 80 % todennäköisemmin hylkäämässä mustat hakijat 

Nämä eroavaisuudet säilyivät jopa sen jälkeen, kun kontrolloitiin tekijöitä, joita ala perinteisesti syyttää näistä alhaisemmista hyväksymisluvuista.

Jokainen tilastojen parissa työskennellyt tietää, että mallit ovat vain niin hyviä kuin niihin syötetty data. Jos tuo data heijastaa esimerkiksi historiaa asuntolainasyrjinnästä(uusi ikkuna), malli on vääristynyt. Ja nämä mallit sisältävät kaikenlaista tietoa, kuten sosiaalisen median syötteesi(uusi ikkuna) tai jopa sen, kirjoitatko nimesi ISOILLA KIRJAIMILLA(uusi ikkuna). Kuten eräs fintech-toimitusjohtaja sanoi: ”Kaikki data on luottotietoa.”

Ja näiden algoritmien kanssa on usein vaikea osoittaa tekijää, joka johti hylkäämiseen. Tämä tekee mahdottomaksi ihmisille valittaa tai tarjota korjausta, minkä pitäisi olla vaadittua, ottaen huomioon, kuinka epäolennaiselta suuri osa tästä tiedosta vaikuttaa ja kuinka usein tietovälittäjillä on epätarkkaa ja vanhentunutta tietoa.

Dataohjatut vuokralaisten taustatarkistukset

Jos päätät vuokrata, et voi paeta algoritmeja. Vuokranantajat ja isännöitsijät kääntyvät yhä useammin automaattisten vuokralaisten seulontapalveluiden, kuten LeasingDesk tai RentGrow, puoleen, jotka luottavat tietovälittäjiin tehdäkseen taustatarkistuksia hakijoista. Nämä palvelut yrittävät määrittää määrällisesti, kuinka riskialtis vuokralainen saattaa olla tarkastelemalla hakijoiden luottopisteitä, häätömerkintöjä, rikosrekistereitä ja lukuisia muita henkilötietoja. Tuloksena on, että monilta ihmisiltä evätään asuminen kyseenalaisen tai vanhentuneen tiedon perusteella.

Vuonna 2021 Yhdysvaltain kauppakomissio (FTC) sakotti AppFoliota, vuokralaisten seulontapalvelua, 4,25 miljoonaa dollaria taustaraporttien myymisestä, jotka tunnistivat hakijat väärin(uusi ikkuna) ja sisälsivät vanhentunutta tietoa, kuten kumottuja tai ratkaistuja häätöilmoituksia. Näillä virheillä oli todellisia seurauksia, pakottaen ihmiset löytämään asuinpaikan muualta.

Algoritmit, jotka luovat nämä pisteet, ovat myös musta laatikko. Vuonna 2021 ProPublica puhui vuokralaiselle(uusi ikkuna), jolla oli erinomaiset luottopisteet (yli 750), ei rikosrekisteriä eikä häätöjä. Tästä huolimatta hän sai 685 vuokralaispistettä 1 000:sta – mikä vastaa arvosanaa D – ilman selitystä. Hänet pakotettiin maksamaan ylimääräisen kuukauden vuokra takuuvuokrana. Kuten useimmat vuokralaiset, hänellä ei ollut aavistustakaan, miksi hänen pisteensä olivat niin alhaiset tai miten korjata ne.

Algoritmin asettamat takuut

Ehkä merkittävin piilotettujen, tietovälittäjävetoisten algoritmien käyttö on rikosoikeusjärjestelmässä. Tuomioistuimet ja lainvalvontaviranomaiset ympäri maata ovat ottaneet käyttöön algoritmisia riskinarviointityökaluja auttaakseen tuomareita päättämään, myönnetäänkö syytetylle takuut tai vapauttaminen ennen oikeudenkäyntiä. Joissakin tapauksissa nämä työkalut auttavat jopa päättämään tuomioista ja ehdonalaisesta. Algoritmit ottavat syötetyn datan (kuten henkilön rikosrekisteri, ikä, työllisyystilanne ja joskus sijainti tai perhetausta) ja laskevat pistemäärän, joka oletettavasti heijastaa henkilön riskiä uusia rikos tai jättää saapumatta oikeuteen.

Näiden järjestelmien kannattajat väittävät, että näiden päätösten automatisointi varmistaa objektiivisuuden. Loppujen lopuksi ihmistuomareita syytetään epäjohdonmukaisuudesta ja puolueellisuudesta koko ajan. Kuitenkin samankaltaisesti kuin automaattisessa lainojen myöntämisessä ja vuokralaisten seulonnassa, nämä päätökset luottavat dataan. Jos data on epäluotettavaa, epätarkkaa tai puolueellista, sen löydökset ovat myös.

Vuonna 2016 ProPublica suoritti tutkimuksen COMPASista(uusi ikkuna) eli Correctional Offender Management Profiling for Alternative Sanctions -järjestelmästä. Tämä laajasti käytetty järjestelmä, jonka kehitti voittoa tavoitteleva yritys Northpointe (nykyään Equivant Supervision), havaittiin tuottavan ylivoimaisen määrän vääriä hälytyksiä mustille vastaajille ja vääriä negatiivisia valkoisille vastaajille. Toisin sanoen, mustat vastaajat, jotka eivät uusineet rikosta, tulivat lähes kaksi kertaa todennäköisemmin leimatuksi korkean riskin henkilöiksi algoritmin toimesta kuin valkoiset vastaajat, kun taas valkoiset vastaajat, jotka uusivat rikoksen, tulivat useammin väärin leimatuksi matalan riskin henkilöiksi. (Northpointe on kiistänyt ProPublican raportin pätevyyden.)

Samankaltaisesti, vuoden 2022 katsauksessaan tekoälystä Ison-Britannian oikeusjärjestelmässä(uusi ikkuna), House of Lords Justice and Home Affairs Committee sanoi, että on ”huolia alkuperäiseen dataan sisältyvän inhimillisen puolueellisuuden vaaroista, jotka heijastuvat ja edelleen uppoavat algoritmien tekemiin päätöksiin”.

Vastaajat voivat tehdä vain vähän haastaakseen nämä pisteet, koska algoritmi on omisteinen ja sen sylkemiä pisteitä paljastetaan harvoin oikeudessa. Tämä tarkoittaa, että vastaajan vapaus voi riippua salaisesta pistemäärästä, jonka on luonut julkistamaton malli käyttäen tuntematonta ja usein epäluotettavaa dataa.

Yleisiä ongelmia datalla ruokittujen algoritmien kanssa

Aina kun päätöksenteko automatisoidaan – olipa kyse lainojen myöntämisestä, vuokralaisten seulonnasta tai vastaajan riskinarvioinnista – useita ongelmia nousee esiin yhä uudelleen:

Datan luotettavuus: Jos data, jonka annat algoritmille, on epäluotettavaa, epätarkkaa tai puolueellista, kaikki sen antamat löydökset heijastavat noita virheitä.

Läpinäkyvyyden puute: Kun algoritmit ovat omisteisia, datan kohteen on mahdotonta tarkistaa tai haastaa sen arviota (ja se olettaen, että he ovat tietoisia pisteistä ylipäätään).

Sopimattoman ja henkilökohtaisen datan käyttö: Monet väittäisivät, että sen, miten täytät lomakkeen, ei pitäisi vaikuttaa siihen, saatko lainan, ja että ihmisten pitäisi voida pitää muun tyyppiset arkaluontoiset, henkilökohtaiset tiedot yksityisinä, jos he valitsevat niin.

Meidän on korjattava nämä ongelmat ennen kuin tekoäly omaksuu ne

On tärkeää, että korjaamme kurssia useista syistä. Ensinnäkin, yhä useammat elämät ovat yllä kuvattujen algoritmisten järjestelmien vaikutuksen alaisena. Toiseksi, tietovälittäjät keräävät yhä enemmän tietoa – tietovälittäjämarkkinoiden ennakoidaan olevan arvoltaan yli 470 miljardia dollaria vuoteen 2030 mennessä(uusi ikkuna). Kolmanneksi, algoritmit laajenevat uusille sektoreille koko ajan, kuten ennakoiva poliisitoiminta(uusi ikkuna) ja terveysriskien ennustaminen(uusi ikkuna), missä on havaittu, että algoritmit vahvistivat ennakkoluuloja, jotka olivat jo läsnä datassa.

Mutta ylivoimaisesti tärkein syy, miksi meidän on korjattava tämä nyt, on välttää tämä tilanne tekoälyn kanssa. Käytin termiä algoritmit enimmäkseen läpi tämän artikkelin, koska nämä järjestelmät ovat hyvin yksinkertaisia verrattuna nykypäivän tekoälytarjontaan, mutta ne toimivat perusmuotoisina tekoälyavustajina tiettyä tehtävää varten. Ja kun paljon tehokkaammat tekoälychatbotit integroidaan yhä useampiin järjestelmiin, työnkulkuihin ja organisaatioihin, niillä on potentiaalia toistaa nämä ongelmatyypit paljon suuremmassa mittakaavassa.

Ja yleisö soittaa jo hälytyskelloja. Yli puolet Yhdysvaltain yleisöstä (ja tekoälyammattilaisista)(uusi ikkuna) haluaa enemmän hallintaa siihen, miten tekoälyä käytetään heidän elämässään.

Miten ottaa hallinta takaisin

Piilotetut algoritmit ja tietovälittäjäekosysteemi, joka mahdollistaa ne, täytyy saada kuriin. Miten varmistamme, että teknologia toimii yhteiskunnan hyväksi, ei sitä vastaan? Yksityisyyden ja tekoälyetiikan asiantuntijat ovat ehdottaneet moniosaista lähestymistapaa:

Lakiuudistus ja valvonta: Hallitusten – erityisesti Yhdysvaltain hallituksen – täytyy päivittää lakeja säätelemään tietovälittäjiä ja algoritmista päätöksentekoa, sulkien aukot, jotka sallivat valvomattoman tietojen hyväksikäytön. Yhdysvaltojen täytyy hyväksyä liittovaltion yksityisyyslaki. Valitettavasti asiat ovat menossa päinvastaiseen suuntaan. Consumer Finance Protection Bureau veti äskettäin pois ehdotuksen(uusi ikkuna), joka olisi vaatinut tietovälittäjiä pitämään tarkempia rekistereitä ja rajoittamaan kenelle he voisivat myydä tietoja.

Algoritminen läpinäkyvyys: Vastuullisuuden varmistamiseksi yritysten, jotka käyttävät tekoälyä tehdäkseen elämään vaikuttavia päätöksiä, täytyy paljastaa algoritmiensa keskeiset tekijät ja sallia riippumattomat tarkastukset. Ilman läpinäkyvyyttä kuluttajat eivät voi ymmärtää, haastaa tai korjata haitallisia automaattisia päätöksiä. EU:n tekoälysäädös(uusi ikkuna) ja New York Cityn paikallinen laki(uusi ikkuna) ovat askeleita kohti merkityksellistä valvontaa.

Inhimillinen valvonta ja päätösten tarkistus: Mitään päätöstä, joka vaikuttaa henkilön oikeuksiin tai toimeentuloon, ei pitäisi jättää kokonaan algoritmille – yksilöillä täytyy olla oikeus inhimilliseen tarkistukseen. Pitämällä koulutettu henkilökunta mukana ja mahdollistamalla valitukset voimme varmistaa, että automaattiset järjestelmät pysyvät vastuullisina, kontekstisidonnaisina ja inhimillisinä. Tämä on jo olemassa Euroopassa GDPR:n(uusi ikkuna) alla, mutta se tulisi laajentaa Yhdysvaltoihin.

Tietojen minimointi henkilökohtaisella tasolla: Tämä saattaa vaikuttaa ylivoimaiselta, mutta on asioita, joita voit tehdä rajoittaaksesi, kuinka paljon tietoa tietovälittäjät saavat sinusta. Maksa käteisellä. Käytä päästä päähän -salattuja palveluita. Selaa internetiä luotettavalla VPN:llä(uusi ikkuna), mainosestolla(uusi ikkuna) ja yksityisyyteen keskittyvällä selaimella. Nämä yksinkertaiset toimenpiteet voivat rajoittaa raakadataa, joka ruokkii epäreiluja algoritmisia päätöksiä.

Paremman internetin ja paremman maailman puolesta

Kun algoritmit vaikuttavat yhä enemmän kriittisiin elämänpäätöksiin – asumisesta ja luotoista työllisyyteen ja oikeuteen – meidän on kohdattava läpinäkymättömät järjestelmät ja valvomattomat tietovirrat, jotka niitä pyörittävät. Nämä teknologiat lupaavat tehokkuutta, mutta tarjoavat usein puolueellisuutta, syrjäytymistä ja haittaa, etenkin kun niitä ruokkivat sääntelemättömät tietovälittäjät.

Kurssin muuttamiseksi tarvitsemme lakeja, jotka toimeenpanevat läpinäkyvyyttä, rajoittavat hyväksikäyttäviä tietokäytäntöjä ja takaavat inhimillisen valvonnan siellä, missä sillä on eniten merkitystä. Oikeudenmukaisemman digitaalisen tulevaisuuden rakentaminen tarkoittaa algoritmisten mustien laatikoiden murtamista auki ja ihmisten asettamista takaisin päätöksenteon keskiöön. Jos toimimme nyt – kansalaisina, kehittäjinä ja päättäjinä – voimme luoda maailman, jossa teknologia kunnioittaa yksityisyyttä, vahvistaa oikeudenmukaisuutta ja ansaitsee luottamuksemme.