Právě teď, někde, může společnost, se kterou jste nikdy nemluvili — možná jste o ní ani neslyšeli — rozhodovat o tom, zda dostanete půjčku, byt, nebo dokonce jak dlouho strávíte ve vězení.

Už známe sílu algoritmů utvářet to, co vidíme a s kým mluvíme na sociálních sítích. Ale to je jen povrch. Algoritmy jsou hluboce zakořeněny v desítkách dalších odvětví a často činí rozhodnutí s dopady měnícími život. A spoléhají na data, která získávají od zprostředkovatelů dat.

Ale jak to funguje? Jaká je přesně role zprostředkovatelů dat v krmení těchto algoritmů? Jaké jsou skutečné důsledky tohoto stínového byznysu? A co je nejdůležitější: Co můžeme udělat pro zajištění spravedlnosti a odpovědnosti, zvláště když se řítíme vstříc budoucnosti, ve které rozhodování řízené umělou inteligencí exponenciálně roste?

Skrytá role zprostředkovatelů dat

Zprostředkovatelé dat jsou ziskové organizace, které shromažďují a prodávají obrovské množství osobních údajů, agregují vše(nové okno) od vašich finančních záznamů a nákupních zvyklostí až po procházení webu a polohu v reálném čase. Je to masivní — a lukrativní — odvětví. Odhaduje se, že na celém světě působí 5 000 společností zprostředkujících data(nové okno) na trhu, jehož hodnota dosáhla 270 miliard dolarů.

Navzdory své velikosti čelí toto odvětví prakticky nulovému komplexnímu dohledu(nové okno) (alespoň v USA), což znamená, že makléři budou shromažďovat a prodávat jakákoli data, po kterých je poptávka. Znamená to také, že mají malou motivaci zajistit přesnost prodávaných dat(nové okno).

Zjistěte více o zprostředkovatelích dat

Všechny druhy organizací, od inzerentů až po americká ministerstva, se obracejí na zprostředkovatele dat, aby získaly podrobné a intimní informace. Společnosti stále častěji používají tato data ke krmení svých algoritmů a k rozhodování, která ovlivňují každodenní život lidí v celých USA. Informace shromážděné a prodávané zprostředkovateli dat — data, která jsou často plná chyb — se používají k určení úrokových sazeb, které lidé platí, zda jim bude schválena půjčka, zda si vůbec mohou pronajmout byt nebo získat práci.

Zde jsou tři situace, ve kterých informace, o kterých jste ani nevěděli, že jste je sdíleli, mohou neviditelně změnit trajektorii vašeho života.

Algoritmické upisování

Banky a další poskytovatelé finančních technologií byli jedněmi z prvních odvětví, která přijala algoritmy a používají je k určení toho, kdo dostane hypotéku, podnikatelský úvěr nebo kreditní karty. Spoléhají na tradiční úvěrové skóre spolu s řadou dalších, alternativních dat (platby za služby, vzdělání, dokonce i to, jak vyplňujete formuláře), aby předpověděli, zda někdo půjčku splatí. Výsledkem je systém černé skříňky, který může přinést rozdílné výsledky pro zdánlivě podobné kandidáty.

Vyšetřování provedené organizací The Markup(nové okno) v roce 2021 zjistilo, že věřitelé při porovnávání určitých žadatelů s podobně kvalifikovanými bílými žadateli:

  • O 40 % častěji zamítali půjčky na bydlení žadatelům latinskoamerického původu
  • O 50 % častěji zamítali žadatele z Asie/Tichomoří 
  • O 70 % častěji zamítali původní obyvatele Ameriky
  • O 80 % častěji odmítali černé žadatele 

Tyto rozdíly přetrvávaly i po kontrole faktorů, které průmysl tradičně viní z těchto nižších měr schválení.

Každý, kdo pracoval se statistikou, ví, že modely jsou jen tak dobré, jak dobrá jsou data, která do nich vstupují. Pokud tato data odrážejí například historii redliningu(nové okno), pak bude model zkreslený. A tyto modely obsahují nejrůznější data, jako je váš kanál sociálních médií(nové okno), nebo dokonce to, zda píšete své jméno VELKÝMI PÍSMENY(nové okno). Jak řekl jeden generální ředitel fintech společnosti: „Všechna data jsou úvěrová data.“

A u těchto algoritmů je často těžké určit faktor, který vedl k odmítnutí. To znemožňuje lidem odvolat se nebo nabídnout opravu, což by mělo být vyžadováno vzhledem k tomu, jak okrajová se mnohá tato data zdají a jak často mají zprostředkovatelé dat nepřesné a zastaralé informace.

Prověrky nájemníků na základě dat

Pokud se rozhodnete pronajmout si byt, algoritmům neutečete. Pronajímatelé a správci nemovitostí se stále častěji obracejí na automatizované služby prověřování nájemníků, jako jsou LeasingDesk nebo RentGrow, které spoléhají na zprostředkovatele dat při provádění prověrek žadatelů. Tyto služby se pokoušejí kvantifikovat, jak riskantní by nájemník mohl být, a to zkoumáním úvěrového skóre žadatelů, záznamů o vystěhování, trestních rejstříků a řady dalších osobních údajů. Výsledkem je, že mnoha lidem je odepřeno bydlení na základě pochybných nebo zastaralých dat.

V roce 2021 udělila Federální obchodní komise (FTC) společnosti AppFolio, službě pro prověřování nájemníků, pokutu ve výši 4,25 milionu dolarů za prodej zpráv o pozadí, které chybně identifikovaly žadatele(nové okno) a obsahovaly zastaralé informace, jako jsou zrušená nebo vyřešená oznámení o vystěhování. Tyto chyby měly reálné důsledky a nutily lidi hledat si bydlení jinde.

Algoritmy, které tato skóre generují, jsou také černou skříňkou. V roce 2021 hovořila ProPublica s nájemnicí(nové okno), která měla vynikající úvěrové skóre (přes 750), čistý trestní rejstřík a žádná vystěhování. Přesto obdržela skóre nájemníka 685 z 1 000 — což odpovídá známce D — bez vysvětlení. Byla nucena zaplatit nájem za jeden měsíc navíc jako kauci. Stejně jako většina nájemníků netušila, proč je její skóre tak nízké nebo jak to napravit.

Kauce stanovená algoritmem

Snad nejzávažnější využití skrytých algoritmů poháněných zprostředkovateli dat je v systému trestního soudnictví. Soudy a orgány činné v trestním řízení po celé zemi přijaly nástroje pro algoritmické hodnocení rizik, které pomáhají soudcům rozhodnout, zda obviněnému udělit kauci nebo propuštění před soudem. V některých případech tyto nástroje dokonce pomáhají rozhodovat o trestu a podmínečném propuštění. Algoritmy berou vstupní data (jako je trestní rejstřík, věk, status zaměstnání a někdy poloha nebo rodinné zázemí) a vypočítají skóre, které údajně odráží riziko, že osoba znovu spáchá trestný čin nebo se nedostaví k soudu.

Zastánci těchto systémů tvrdí, že automatizace těchto rozhodnutí zajišťuje objektivitu. Koneckonců, lidští soudci jsou neustále obviňováni z nedůslednosti a zaujatosti. Podobně jako u automatizovaného upisování půjček a prověřování nájemníků však tato rozhodnutí závisí na datech. Pokud jsou data nespolehlivá, nepřesná nebo zaujatá, budou taková i jejich zjištění.

V roce 2016 provedla ProPublica vyšetřování systému COMPAS(nové okno) (Correctional Offender Management Profiling for Alternative Sanctions). U tohoto široce používaného systému, vyvinutého ziskovou společností Northpointe (nyní Equivant Supervision), bylo zjištěno, že poskytuje ohromující množství falešných pozitiv pro černé obžalované a falešných negativ pro bílé obžalované. Jinými slovy, u černých obžalovaných, kteří znovu nespáchali trestný čin, bylo téměř dvakrát pravděpodobnější než u bílých obžalovaných, že budou algoritmem označeni jako vysoce rizikoví, zatímco bílí obžalovaní, kteří trestný čin znovu spáchali, byli častěji chybně označeni jako nízkorizikoví. (Společnost Northpointe zpochybnila platnost zprávy ProPublica.)

Podobně ve svém přezkumu AI v britském justičním systému z roku 2022(nové okno) uvedl výbor pro spravedlnost a vnitřní věci Sněmovny lordů, že existují „obavy z nebezpečí lidské zaujatosti obsažené v původních datech, která se odráží a dále upevňuje v rozhodnutích činěných algoritmy“.

Obžalovaní mají jen málo možností, jak tato skóre napadnout, protože algoritmus je proprietární a skóre, která vyplivne, jsou u soudu zřídka odhalena. To znamená, že svoboda obžalovaného může záviset na tajném skóre vygenerovaném nezveřejněným modelem pomocí neznámých a často nespolehlivých dat.

Běžné problémy s algoritmy poháněnými daty

Kdykoli je rozhodování automatizováno — ať už v upisování půjček, prověřování nájemníků nebo hodnocení rizik obžalovaných — stále dokola se objevuje několik problémů:

Spolehlivost dat: Pokud algoritmu poskytnete nespolehlivá, nepřesná nebo zaujatá data, pak jakákoli zjištění, která poskytne, budou tyto chyby odrážet.

Nedostatek transparentnosti: Když jsou algoritmy proprietární, je pro subjekt údajů nemožné dvakrát zkontrolovat nebo napadnout jejich hodnocení (a to za předpokladu, že o skóre vůbec ví).

Použití nevhodných a osobních údajů: Mnozí by namítali, že to, jak vyplníte formulář, by nemělo mít vliv na to, zda dostanete půjčku, a že lidé by měli mít možnost ponechat si jiné typy citlivých, osobních údajů v soukromí, pokud se tak rozhodnou.

Tyto problémy musíme vyřešit dříve, než si je osvojí AI

Je důležité, abychom kurz korigovali z několika důvodů. Za prvé, výše popsané algoritmické systémy ovlivňují stále více životů. Za druhé, zprostředkovatelé dat shromažďují stále více informací — očekává se, že trh zprostředkovatelů dat bude mít do roku 2030 hodnotu více než 470 miliard dolarů(nové okno). Za třetí, algoritmy se neustále rozšiřují do nových sektorů, jako je prediktivní policejní práce(nové okno) a předpověď zdravotních rizik(nové okno), kde bylo zjištěno, že algoritmy posilují předsudky, které již v datech byly přítomny.

Zdaleka nejdůležitějším důvodem, proč to musíme napravit hned, je vyhnout se této situaci u AI. V celém článku jsem většinou používal termín algoritmy, protože tyto systémy jsou ve srovnání s dnešními nabídkami AI velmi základní, ale fungují jako základní asistenti AI pro konkrétní úkol. A jak se mnohem výkonnější chatboti AI integrují do stále více systémů, pracovních postupů a organizací, mají potenciál replikovat tyto typy problémů v mnohem větším měřítku.

A veřejnost už bije na poplach. Více než polovina americké veřejnosti (a odborníků na AI)(nové okno) chce větší kontrolu nad tím, jak je AI využívána v jejich životech.

Jak převzít zpět kontrolu

Skryté algoritmy a ekosystém zprostředkovatelů dat, který je umožňuje, je třeba zkrotit. Jak zajistíme, aby technologie fungovala pro společnost, a ne proti ní? Odborníci na soukromí a etiku AI navrhli mnohostranný přístup:

Právní reforma a dohled: Vlády — zejména vláda USA — musí aktualizovat zákony regulující zprostředkovatele dat a algoritmické rozhodování a uzavřít mezery, které umožňují nekontrolované využívání dat. USA musí přijmout federální zákon o ochraně soukromí. Bohužel se věci ubírají opačným směrem. Úřad pro finanční ochranu spotřebitelů (CFPB) nedávno stáhl návrh(nové okno), který by vyžadoval, aby zprostředkovatelé dat vedli přesnější záznamy a omezili, komu mohou data prodávat.

Algoritmická transparentnost: Aby byla zajištěna odpovědnost, musí společnosti používající AI k rozhodnutím ovlivňujícím život zveřejnit klíčové faktory stojící za jejich algoritmy a umožnit nezávislé audity. Bez transparentnosti nemohou spotřebitelé pochopit, napadnout nebo napravit škodlivá automatizovaná rozhodnutí. Akt EU o umělé inteligenci(nové okno) a místní zákon města New York(nové okno) jsou kroky k smysluplnému dohledu.

Lidský dohled a přezkum rozhodnutí: Žádné rozhodnutí ovlivňující práva nebo živobytí člověka by nemělo být ponecháno zcela na algoritmu — jednotlivci musí mít právo na lidský přezkum. Udržením vyškoleného personálu v procesu a umožněním odvolání můžeme zajistit, že automatizované systémy zůstanou odpovědné, kontextuální a humánní. To již v Evropě existuje v rámci GDPR(nové okno), ale mělo by se to rozšířit i do USA.

Minimalizace dat na osobní úrovni: Může se to zdát zdrcující, ale existují věci, které můžete udělat, abyste omezili množství dat, která od vás zprostředkovatelé dat dostávají. Plaťte hotově. Používejte koncově šifrované služby. Procházejte internet pomocí důvěryhodné VPN(nové okno), blokátoru reklam(nové okno) a prohlížeče zaměřeného na soukromí. Tato jednoduchá opatření mohou omezit surová data, která pohánějí nespravedlivá algoritmická rozhodnutí.

Za lepší internet a lepší svět

Protože algoritmy stále více ovlivňují kritická životní rozhodnutí — od bydlení a úvěrů až po zaměstnání a spravedlnost — musíme čelit neprůhledným systémům a nekontrolovaným tokům dat, které je pohánějí. Tyto technologie slibují efektivitu, ale často přinášejí zaujatost, vyloučení a škody, zejména pokud jsou živeny neregulovanými zprostředkovateli dat.

Abychom změnili kurz, potřebujeme zákony, které vynutí transparentnost, omezí vykořisťovatelské datové praktiky a zaručí lidský dohled tam, kde na tom nejvíce záleží. Budování spravedlivější digitální budoucnosti znamená otevřít algoritmické černé skříňky a vrátit lidi do středu rozhodování. Pokud budeme jednat nyní — jako občané, vývojáři a tvůrci politik — můžeme vytvořit svět, kde technologie respektuje soukromí, posiluje spravedlnost a získává si naši důvěru.