Neste momento, algures, uma empresa com a qual nunca falou — talvez nunca tenha ouvido falar — pode estar a decidir se obtém um empréstimo, um apartamento ou até quanto tempo passa na prisão.

Já conhecemos o poder dos algoritmos para moldar o que vemos e com quem falamos nas redes sociais. Mas isso é apenas a superfície. Os algoritmos estão profundamente incorporados em dezenas de outras indústrias e muitas vezes tomam decisões com impactos que mudam a vida. E dependem de dados que obtêm de corretores de dados.

Mas como funciona? Qual é exatamente o papel dos corretores de dados na alimentação destes algoritmos? Quais são as consequências no mundo real deste negócio obscuro? E o mais importante: O que podemos fazer para garantir justiça e responsabilidade, especialmente à medida que avançamos para um futuro em que a tomada de decisão impulsionada por IA cresce exponencialmente?

O papel oculto dos corretores de dados

Os corretores de dados são organizações com fins lucrativos que recolhem e vendem grandes quantidades de dados pessoais, agregando tudo(nova janela), desde os seus registos financeiros e hábitos de compra até à sua navegação na web e localização em tempo real. É uma indústria massiva — e lucrativa. Estima-se que 5000 empresas de corretagem de dados(nova janela) operem em todo o mundo no que se tornou um mercado de 270 mil milhões de dólares.

Apesar do seu tamanho, a indústria enfrenta virtualmente nenhuma supervisão abrangente(nova janela) (pelo menos nos EUA), o que significa que os corretores recolherão e venderão quaisquer dados para os quais haja procura. Também significa que têm pouco incentivo para garantir que os dados que vendem são precisos(nova janela).

Saiba mais sobre corretores de dados

Todo o tipo de organizações, desde anunciantes a departamentos governamentais dos EUA, recorrem a corretores de dados para obter informações granulares e íntimas. Cada vez mais, as empresas estão a usar estes dados para alimentar os seus algoritmos e tomar decisões que afetam a vida quotidiana das pessoas em todos os EUA. As informações recolhidas e vendidas por corretores de dados — dados que muitas vezes estão repletos de erros — são usadas para determinar as taxas de juro que as pessoas pagam, se são aprovadas para um empréstimo, se podem sequer alugar um apartamento ou conseguir um emprego.

Eis três situações em que informações que nunca soube que partilhou poderiam acabar por alterar invisivelmente a trajetória da sua vida.

Subscrição algorítmica

Os bancos e outros fornecedores de fintech foram algumas das primeiras indústrias a adotar algoritmos, usando-os para determinar quem é aprovado para uma hipoteca, um empréstimo comercial ou cartões de crédito. Dependem de pontuações de crédito tradicionais juntamente com uma série de outros dados alternativos (pagamentos de serviços públicos, educação, até como preenche formulários) para prever se alguém pagará o empréstimo. O resultado é um sistema de caixa negra que pode entregar resultados divergentes para candidatos aparentemente semelhantes.

Uma investigação de 2021 do The Markup(nova janela) descobriu que os credores, ao comparar certos candidatos com candidatos brancos com qualificações semelhantes, eram:

  • 40% mais propensos a negar empréstimos habitação a candidatos latinos
  • 50% mais propensos a negar candidatos asiáticos/das ilhas do Pacífico 
  • 70% mais propensos a negar nativos americanos
  • 80% mais propensos a rejeitar candidatos negros 

Estas disparidades persistiram mesmo após o controlo de fatores que a indústria tradicionalmente culpa por estas taxas de aprovação mais baixas.

Qualquer pessoa que tenha trabalhado com estatística sabe que os modelos são tão bons quanto os dados que neles são inseridos. Se esses dados refletirem, por exemplo, um histórico de redlining(nova janela), então o modelo será distorcido. E estes modelos contêm todo o tipo de dados, como o seu feed de redes sociais(nova janela) ou até se escreve o seu nome em MAIÚSCULAS(nova janela). Como disse um CEO de fintech, “Todos os dados são dados de crédito”.

E com estes algoritmos, é muitas vezes difícil identificar o fator que levou a uma rejeição. Isto torna impossível para as pessoas recorrerem ou oferecerem uma correção, o que deveria ser exigido, considerando quão tangencial muitos destes dados parecem e com que frequência os corretores de dados têm informações imprecisas e desatualizadas.

Verificações de antecedentes de inquilinos baseadas em dados

Se decidir arrendar, não pode escapar aos algoritmos. Os senhorios e gestores de propriedades estão a recorrer cada vez mais a serviços automatizados de triagem de inquilinos, como LeasingDesk ou RentGrow, que dependem de corretores de dados para realizar verificações de antecedentes dos candidatos. Estes serviços tentam quantificar o quão arriscado um inquilino pode ser, analisando as pontuações de crédito, registos de despejo, registos criminais e uma série de outros dados pessoais dos candidatos. O resultado é que muitas pessoas veem a habitação negada devido a dados questionáveis ou desatualizados.

Em 2021, a Federal Trade Commission (FTC) multou a AppFolio, um serviço de triagem de inquilinos, em 4,25 milhões de dólares por vender relatórios de antecedentes que identificavam incorretamente os candidatos(nova janela) e continham informações desatualizadas, como avisos de despejo anulados ou resolvidos. Estes erros tiveram consequências no mundo real, forçando as pessoas a encontrar outro lugar para viver.

Os algoritmos que geram estas pontuações são também uma caixa negra. Em 2021, a ProPublica falou com uma inquilina(nova janela) que tinha uma excelente pontuação de crédito (mais de 750), sem registo criminal e sem despejos. Apesar disso, recebeu uma pontuação de inquilino de 685 em 1000 — o equivalente a um D — sem explicação. Foi forçada a pagar um mês extra de renda como depósito de segurança. Como a maioria dos inquilinos, ela não fazia ideia por que a sua pontuação era tão baixa ou como corrigi-la.

Fiança definida por algoritmo

Talvez a utilização mais consequente de algoritmos ocultos alimentados por corretores de dados seja no sistema de justiça criminal. Tribunais e agências de aplicação da lei em todo o país adotaram ferramentas de avaliação de risco algorítmicas para ajudar os juízes a decidir se concedem fiança ou libertação pré-julgamento aos acusados. Em alguns casos, estas ferramentas até ajudam a decidir a sentença e a liberdade condicional. Os algoritmos recebem dados de entrada (como o registo criminal, idade, situação profissional e, por vezes, localização ou antecedentes familiares de alguém) e calculam uma pontuação que supostamente reflete o risco de a pessoa reincidir ou não comparecer em tribunal.

Os defensores destes sistemas afirmam que a automatização destas decisões garante objetividade. Afinal, os juízes humanos são acusados de serem inconsistentes e tendenciosos o tempo todo. Semelhante à subscrição automática de empréstimos e à triagem de inquilinos, no entanto, estas decisões dependem de dados. Se os dados forem pouco fiáveis, imprecisos ou tendenciosos, as suas conclusões também o serão.

Em 2016, a ProPublica realizou uma investigação do COMPAS(nova janela), ou Correctional Offender Management Profiling for Alternative Sanctions. Descobriu-se que este sistema amplamente utilizado, desenvolvido pela empresa com fins lucrativos Northpointe (agora Equivant Supervision), entregava um número esmagador de falsos positivos para réus negros e falsos negativos para réus brancos. Por outras palavras, os réus negros que não reincidiram tinham quase o dobro da probabilidade dos réus brancos de serem classificados como de alto risco pelo algoritmo, enquanto os réus brancos que acabaram por reincidir foram mais frequentemente classificados incorretamente como de baixo risco. (A Northpointe contestou a validade do relatório da ProPublica.)

Da mesma forma, na sua análise de 2022 da IA no sistema de justiça do Reino Unido(nova janela), o Comité de Justiça e Assuntos Internos da Câmara dos Lordes afirmou haver “preocupações sobre os perigos do preconceito humano contido nos dados originais ser refletido, e ainda mais incorporado, nas decisões tomadas por algoritmos”.

Há pouco que os arguidos possam fazer para contestar estas pontuações, uma vez que o algoritmo é proprietário e as pontuações que produz raramente são reveladas em tribunal. Isto significa que a liberdade de um arguido pode depender de uma pontuação secreta gerada por um modelo não divulgado utilizando dados desconhecidos e muitas vezes pouco fiáveis.

Problemas comuns com algoritmos alimentados por dados

Sempre que a tomada de decisão é automatizada — seja na subscrição de empréstimos, triagem de inquilinos ou avaliação de risco de arguidos — surgem vários problemas repetidamente:

Fiabilidade dos dados: Se os dados que fornecer a um algoritmo forem pouco fiáveis, imprecisos ou tendenciosos, quaisquer conclusões que ele forneça refletirão essas falhas.

Falta de transparência: Quando os algoritmos são proprietários, é impossível para o titular dos dados verificar ou contestar a sua avaliação (e isso assumindo que têm conhecimento da pontuação em primeiro lugar).

Utilização de dados inadequados e pessoais: Muitos argumentariam que a forma como preenche um formulário não deve afetar se obtém um empréstimo e que as pessoas devem poder manter outros tipos de dados sensíveis e pessoais privados, se assim o escolherem.

Temos de corrigir estes problemas antes que a IA os adote

É importante corrigirmos o rumo por várias razões. Primeiro, cada vez mais vidas estão a ser impactadas pelos sistemas algorítmicos descritos acima. Segundo, cada vez mais informações estão a ser recolhidas por corretores de dados — prevê-se que o mercado de corretagem de dados valha mais de 470 mil milhões de dólares até 2030(nova janela). Terceiro, os algoritmos estão a expandir-se para novos setores a toda a hora, como policiamento preditivo(nova janela) e previsão de riscos de saúde(nova janela), onde se descobriu que os algoritmos reforçavam preconceitos que já estavam presentes nos dados.

Mas, de longe, a razão mais importante pela qual precisamos de corrigir isto agora é evitar esta situação com a IA. Usei principalmente o termo algoritmos ao longo deste artigo, pois estes sistemas são muito básicos em comparação com as ofertas de IA atuais, mas funcionam como assistentes básicos de IA para uma tarefa específica. E à medida que chatbots de IA muito mais poderosos são integrados em cada vez mais sistemas, fluxos de trabalho e organizações, têm o potencial de replicar estes tipos de problemas numa escala muito maior.

E o público já está a fazer soar o alarme. Mais de metade do público dos EUA (e profissionais de IA)(nova janela) quer mais controlo sobre a forma como a IA é usada nas suas vidas.

Como recuperar o controlo

Algoritmos ocultos e o ecossistema de corretores de dados que os viabiliza precisam de ser controlados. Como garantimos que a tecnologia funciona para a sociedade, não contra ela? Especialistas em privacidade e ética da IA propuseram uma abordagem multifacetada:

Reforma legal e supervisão: Os governos — o governo dos EUA em particular — devem atualizar as leis para regular os corretores de dados e a tomada de decisão algorítmica, fechando lacunas que permitem a exploração de dados não verificada. Os EUA devem aprovar uma lei federal de privacidade. Infelizmente, as coisas estão a ir na direção oposta. O Consumer Finance Protection Bureau retirou recentemente uma proposta(nova janela) que teria exigido que os corretores de dados mantivessem registos mais precisos e limitassem a quem poderiam vender dados.

Transparência algorítmica: Para garantir a responsabilidade, as empresas que utilizam IA para tomar decisões com impacto na vida devem divulgar os fatores-chave por trás dos seus algoritmos e permitir auditorias independentes. Sem transparência, os consumidores não podem compreender, contestar ou corrigir decisões automatizadas prejudiciais. O Regulamento IA da UE(nova janela) e a lei local da cidade de Nova Iorque(nova janela) são passos em direção a uma supervisão significativa.

Supervisão humana e revisão de decisões: Nenhuma decisão que afete os direitos ou a subsistência de uma pessoa deve ser deixada inteiramente a um algoritmo — os indivíduos devem ter o direito à revisão humana. Ao manter pessoal treinado no ciclo e permitir recursos, podemos garantir que os sistemas automatizados permanecem responsáveis, contextuais e humanos. Isto já existe na Europa ao abrigo do RGPD(nova janela), mas deve ser alargado aos EUA.

Minimização de dados a nível pessoal: Isto pode parecer avassalador, mas há coisas que pode fazer para limitar a quantidade de dados que os corretores de dados recebem de si. Pague com dinheiro. Utilize serviços encriptados ponto a ponto. Navegue na internet com um VPN de confiança(nova janela), bloqueador de anúncios(nova janela) e navegador focado na privacidade. Estas medidas simples podem limitar os dados brutos que alimentam decisões algorítmicas injustas.

Por uma internet melhor e um mundo melhor

À medida que os algoritmos influenciam cada vez mais decisões críticas da vida — desde habitação e crédito a emprego e justiça — devemos confrontar os sistemas opacos e os fluxos de dados não controlados que os alimentam. Estas tecnologias prometem eficiência, mas muitas vezes entregam preconceito, exclusão e danos, especialmente quando alimentadas por corretores de dados não regulamentados.

Para mudar de rumo, precisamos de leis que imponham transparência, limitem práticas de dados abusivas e garantam supervisão humana onde ela é mais importante. Construir um futuro digital mais justo significa abrir as caixas negras algorítmicas e colocar as pessoas de volta no centro da tomada de decisões. Se agirmos agora — como cidadãos, programadores e decisores políticos — podemos criar um mundo onde a tecnologia respeita a privacidade, reforça a justiça e ganha a nossa confiança.