Ahora mismo, en algún lugar, una empresa con la que nunca has hablado — de la que quizás nunca hayas oído hablar — podría estar decidiendo si obtienes un préstamo, un apartamento o incluso cuánto tiempo pasas en prisión.

Ya conocemos el poder de los algoritmos para moldear lo que vemos y con quién hablamos en las redes sociales. Pero eso es solo la superficie. Los algoritmos están profundamente incrustados en docenas de otras industrias y a menudo toman decisiones con impactos que cambian la vida. Y dependen de los datos que obtienen de los corredores de datos.

Pero, ¿cómo funciona? ¿Cuál es exactamente el rol de los corredores de datos en la alimentación de estos algoritmos? ¿Cuáles son las consecuencias en el mundo real de este negocio en la sombra? Y lo más importante: ¿Qué podemos hacer para garantizar la equidad y la responsabilidad, especialmente a medida que nos precipitamos hacia un futuro en el que la toma de decisiones impulsada por la IA crece exponencialmente?

El rol oculto de los corredores de datos

Los corredores de datos son organizaciones con fines de lucro que recopilan y venden grandes cantidades de datos personales, agregando todo(ventana nueva), desde tus registros financieros y hábitos de compra hasta tu navegación web y ubicación en tiempo real. Es una industria masiva y lucrativa. Se estima que 5000 empresas de corredores de datos(ventana nueva) operan en todo el mundo en lo que se ha convertido en un mercado de 270 000 millones de dólares.

A pesar de su tamaño, la industria se enfrenta a prácticamente ninguna supervisión integral(ventana nueva) (al menos en EE. UU.), lo que significa que los corredores recopilarán y venderán cualquier dato para el que haya demanda. También significa que tienen pocos incentivos para garantizar que los datos que venden sean precisos(ventana nueva).

Más información acerca de los corredores de datos

Todo tipo de organizaciones, desde anunciantes hasta departamentos gubernamentales de EE. UU., recurren a corredores de datos para obtener información granular e íntima. Cada vez más, las empresas están utilizando estos datos para alimentar sus algoritmos y tomar decisiones que afectan la vida cotidiana de las personas en todo EE. UU. La información recopilada y vendida por corredores de datos — datos que a menudo están plagados de errores — se utiliza para determinar las tasas de interés que paga la gente, si se les aprueba un préstamo, si pueden siquiera alquilar un apartamento o conseguir un trabajo.

Aquí hay tres situaciones en las que la información que nunca supiste que compartiste podría terminar alterando invisiblemente tu trayectoria vital.

Suscripción algorítmica

Los bancos y otros proveedores de tecnología financiera fueron algunas de las primeras industrias en adoptar algoritmos, utilizándolos para determinar a quién se le aprueba una hipoteca, un préstamo comercial o tarjetas de crédito. Dependen de las puntuaciones de crédito tradicionales junto con una gran cantidad de otros datos alternativos (pagos de servicios públicos, educación, incluso cómo rellenas formularios) para predecir si alguien pagará el préstamo. El resultado es un sistema de caja negra que puede ofrecer resultados divergentes para candidatos aparentemente similares.

Una investigación de 2021 de The Markup(ventana nueva) descubrió que los prestamistas, al comparar a ciertos solicitantes con solicitantes blancos calificados de manera similar, tenían:

  • Un 40 % más de probabilidades de denegar préstamos hipotecarios a solicitantes latinos
  • Un 50 % más de probabilidades de denegar a solicitantes asiáticos/isleños del Pacífico
  • Un 70 % más de probabilidades de denegar a nativos americanos
  • Un 80 % más de probabilidades de rechazar a solicitantes negros

Estas disparidades persistieron incluso después de controlar los factores a los que la industria tradicionalmente culpa de estas tasas de aprobación más bajas.

Cualquiera que haya trabajado con estadísticas sabe que los modelos son tan buenos como los datos que se introducen en ellos. Si esos datos reflejan, por ejemplo, una historia de redlining(ventana nueva) (discriminación sistemática), entonces el modelo estará sesgado. Y estos modelos contienen todo tipo de datos, como tu feed de redes sociales(ventana nueva) o incluso si escribes tu nombre en MAYÚSCULAS(ventana nueva). Como dijo un CEO de tecnología financiera: “Todos los datos son datos de crédito”.

Y con estos algoritmos, a menudo es difícil identificar el factor que llevó a un rechazo. Esto hace imposible que las personas apelen u ofrezcan una corrección, lo cual debería ser obligatorio, considerando cuán tangenciales parecen muchos de estos datos y con qué frecuencia los corredores de datos tienen información inexacta y desactualizada.

Comprobaciones de antecedentes de inquilinos basadas en datos

Si decides alquilar, no puedes escapar de los algoritmos. Los propietarios y administradores de propiedades recurren cada vez más a servicios automatizados de selección de inquilinos, como LeasingDesk o RentGrow, que dependen de corredores de datos para realizar comprobaciones de antecedentes de los solicitantes. Estos servicios intentan cuantificar cuán arriesgado podría ser un inquilino mirando las puntuaciones de crédito de los solicitantes, archivos de desalojo, antecedentes penales y una gran cantidad de otros datos personales. El resultado es que a muchas personas se les niega la vivienda por datos cuestionables o desactualizados.

En 2021, la Comisión Federal de Comercio (FTC) multó a AppFolio, un servicio de selección de inquilinos, con 4,25 millones de dólares por vender informes de antecedentes que identificaban erróneamente a los solicitantes(ventana nueva) y contenían información desactualizada, como avisos de desalojo anulados o resueltos. Estos errores tuvieron consecuencias en el mundo real, obligando a las personas a encontrar otro lugar para vivir.

Los algoritmos que generan estas puntuaciones también son una caja negra. En 2021, ProPublica habló con una inquilina(ventana nueva) que tenía una excelente puntuación de crédito (más de 750), sin antecedentes penales y sin desalojos. A pesar de esto, recibió una puntuación de inquilino de 685 sobre 1000 — el equivalente a una D — sin explicación. Se vio obligada a pagar un mes extra de alquiler como depósito de seguridad. Como la mayoría de los inquilinos, no tenía idea de por qué su puntuación era tan baja o cómo arreglarla.

Fianza fijada por algoritmo

Quizás el uso más trascendental de algoritmos ocultos impulsados por corredores de datos sea en el sistema de justicia penal. Los tribunales y las agencias de aplicación de la ley en todo el país han adoptado herramientas de evaluación de riesgos algorítmicas para ayudar a los jueces a decidir si conceder la fianza o la libertad provisional a los acusados. En algunos casos, estas herramientas incluso ayudan a decidir la sentencia y la libertad condicional. Los algoritmos toman datos de entrada (como los antecedentes penales de alguien, edad, situación laboral y, a veces, ubicación o antecedentes familiares) y calculan una puntuación que supuestamente refleja el riesgo de la persona de reincidir o no comparecer ante el tribunal.

Los partidarios de estos sistemas afirman que automatizar estas decisiones garantiza la objetividad. Después de todo, se acusa a los jueces humanos de ser inconsistentes y sesgados todo el tiempo. Sin embargo, al igual que la suscripción automatizada de préstamos y la selección de inquilinos, estas decisiones dependen de los datos. Si los datos son poco fiables, inexactos o sesgados, sus conclusiones también lo serán.

En 2016, ProPublica realizó una investigación de COMPAS(ventana nueva), o Perfiles de Gestión de Delincuentes Correccionales para Sanciones Alternativas. Se descubrió que este sistema ampliamente utilizado, desarrollado por la empresa con fines de lucro Northpointe (ahora Equivant Supervision), entregaba un número abrumador de falsos positivos para acusados negros y falsos negativos para acusados blancos. En otras palabras, los acusados negros que no reincidieron tenían casi el doble de probabilidades que los acusados blancos de ser etiquetados como de alto riesgo por el algoritmo, mientras que los acusados blancos que sí reincidieron fueron etiquetados erróneamente con más frecuencia como de bajo riesgo. (Northpointe ha disputado la validez del informe de ProPublica).

De manera similar, en su revisión de 2022 de la IA en el sistema de justicia del Reino Unido(ventana nueva), el Comité de Justicia y Asuntos de Interior de la Cámara de los Lores dijo que hay “preocupaciones sobre los peligros de que el sesgo humano contenido en los datos originales se refleje, y se incruste aún más, en las decisiones tomadas por algoritmos”.

Hay poco que los acusados puedan hacer para desafiar estas puntuaciones, ya que el algoritmo es propietario y las puntuaciones que escupe rara vez se revelan en el tribunal. Esto significa que la libertad de un acusado puede depender de una puntuación secreta generada por un modelo no revelado utilizando datos desconocidos y a menudo poco fiables.

Problemas comunes con algoritmos alimentados por datos

Siempre que se automatiza la toma de decisiones — ya sea en la suscripción de préstamos, la selección de inquilinos o la evaluación de riesgos de acusados — surgen varios problemas una y otra vez:

Fiabilidad de los datos: si los datos que le das a un algoritmo son poco fiables, inexactos o sesgados, entonces cualquier conclusión que dé reflejará esos fallos.

Falta de transparencia: cuando los algoritmos son propietarios, es imposible para el sujeto de los datos verificar o desafiar su evaluación (y eso asumiendo que son conscientes de la puntuación en primer lugar).

Uso de datos inapropiados y personales: muchos argumentarían que cómo rellenas un formulario no debería afectar si obtienes un préstamo y que las personas deberían poder mantener otros tipos de datos sensibles y personales privados si así lo deciden.

Debemos solucionar estos problemas antes de que la IA los adopte

Es importante que corrijamos el rumbo por varias razones. Primero, cada vez más vidas se ven afectadas por los sistemas algorítmicos descritos anteriormente. Segundo, cada vez más información está siendo barrida por los corredores de datos: se anticipa que el mercado de corredores de datos valdrá más de 470 000 millones de dólares para 2030(ventana nueva). Tercero, los algoritmos se están expandiendo a nuevos sectores todo el tiempo, como la policía predictiva(ventana nueva) y la predicción de riesgos para la salud(ventana nueva), donde se ha encontrado que los algoritmos reforzaron sesgos que ya estaban presentes en los datos.

Pero, con mucho, la razón más importante por la que necesitamos arreglar esto ahora es para evitar esta situación con la IA. He utilizado principalmente el término algoritmos a lo largo de este artículo, ya que estos sistemas son muy básicos en comparación con las ofertas de IA actuales, pero funcionan como asistentes de IA básicos para una tarea específica. Y a medida que los chatbots de IA mucho más potentes se integren en más y más sistemas, flujos de trabajo y organizaciones, tienen el potencial de replicar este tipo de problemas a una escala mucho mayor.

Y el público ya está dando la voz de alarma. Más de la mitad del público estadounidense (y profesionales de IA)(ventana nueva) quiere más control sobre cómo se utiliza la IA en sus vidas.

Cómo recuperar el control

Los algoritmos ocultos y el ecosistema de corredores de datos que los habilita necesitan ser controlados. ¿Cómo aseguramos que la tecnología funcione para la sociedad, no contra ella? Los expertos en privacidad y ética de la IA han propuesto un enfoque multifacético:

Reforma legal y supervisión: los gobiernos — el gobierno de EE. UU. en particular — deben actualizar las leyes para regular a los corredores de datos y la toma de decisiones algorítmica, cerrando las brechas que permiten la explotación de datos sin control. EE. UU. debe aprobar una ley federal de privacidad. Desafortunadamente, las cosas van en la dirección opuesta. La Oficina de Protección Financiera del Consumidor retiró recientemente una propuesta(ventana nueva) que habría requerido que los corredores de datos mantuvieran registros más precisos y limitaran a quién podían vender datos.

Transparencia algorítmica: para garantizar la rendición de cuentas, las empresas que utilizan IA para tomar decisiones que afectan la vida deben revelar los factores clave detrás de sus algoritmos y permitir auditorías independientes. Sin transparencia, los consumidores no pueden entender, desafiar o corregir decisiones automatizadas dañinas. La Ley de IA de la UE(ventana nueva) y la ley local de la ciudad de Nueva York(ventana nueva) son pasos hacia una supervisión significativa.

Supervisión humana y revisión de decisiones: ninguna decisión que afecte los derechos o el sustento de una persona debe dejarse completamente en manos de un algoritmo; las personas deben tener derecho a una revisión humana. Manteniendo personal capacitado en el circuito y permitiendo apelaciones, podemos asegurar que los sistemas automatizados sigan siendo responsables, contextuales y humanos. Esto ya existe en Europa bajo el RGPD(ventana nueva), pero debería extenderse a EE. UU.

Minimización de datos a nivel personal: esto puede parecer abrumador, pero hay cosas que puedes hacer para limitar la cantidad de datos que los corredores de datos reciben de ti. Paga en efectivo. Usa servicios cifrados de extremo a extremo. Navega por internet con una VPN de confianza(ventana nueva), bloqueador de anuncios(ventana nueva) y un navegador centrado en la privacidad. Estas medidas simples pueden limitar los datos brutos que alimentan decisiones algorítmicas injustas.

Por un internet mejor y un mundo mejor

A medida que los algoritmos influyen cada vez más en decisiones críticas de la vida — desde vivienda y crédito hasta empleo y justicia — debemos confrontar los sistemas opacos y los flujos de datos no verificados que los impulsan. Estas tecnologías prometen eficiencia pero a menudo entregan sesgo, exclusión y daño, especialmente cuando son alimentadas por corredores de datos no regulados.

Para cambiar el rumbo, necesitamos leyes que impongan transparencia, limiten las prácticas de datos explotadoras y garanticen la supervisión humana donde más importa. Construir un futuro digital más justo significa abrir las cajas negras algorítmicas y volver a poner a las personas en el centro de la toma de decisiones. Si actuamos ahora — como ciudadanos, desarrolladores y legisladores — podemos crear un mundo donde la tecnología respete la privacidad, refuerce la equidad y se gane nuestra confianza.