就在此刻，在某个地方，一家您从未打过交道、甚至可能从未听说过的公司，可能正在决定您能否获得贷款、租到公寓，甚至在狱中服刑多久。
我们已经知道算法在社交媒体上塑造我们所见内容及交流对象的强大力量。但这只是冰山一角。算法已深深嵌入数十个其他行业，其决策往往会对人生产生重大影响。而这些算法依赖从数据经纪人那里获取的数据。
但这一切是如何运作的？数据经纪人在为这些算法提供数据方面究竟扮演什么角色？这个隐秘行当会带来哪些现实影响？最重要的是：在 AI 驱动的决策呈指数级增长的未来，我们能做些什么来确保公平与问责？
数据经纪人的隐秘角色
数据经纪人是营利性组织，收集并出售海量个人数据，汇总一切信息（新窗口），从您的财务记录、购物习惯到网页浏览记录和实时位置。这是一个庞大且利润丰厚的行业。据估计，全球有 5,000 家数据经纪公司（新窗口）在运营，市场规模已达 2700 亿美元。
尽管规模庞大，该行业实际上几乎不受任何全面监管（新窗口）（至少在美国如此），这意味着经纪人会收集并出售任何有需求的数据。这也意味着他们几乎没有动力去确保所售数据准确无误（新窗口）。
从广告商到美国政府各部门，各类组织都会向数据经纪人索取精细、私密的个人信息。越来越多的公司利用这些数据来喂养算法，做出影响全美民众日常生活的决定。数据经纪人收集和出售的信息——往往错误百出——被用来决定人们支付的利率、能否获得贷款批准，甚至能否租到公寓或找到工作。
以下三种情形中，您从未意识到自己分享过的信息可能会在不知不觉中改变您的人生轨迹。
算法承保
银行和其他金融科技服务商是最早采用算法的行业之一，用它们来决定谁能获得抵押贷款、商业贷款或信用卡。它们除了依赖传统信用评分外，还依赖大量其他替代数据（水电费缴纳记录、教育背景，甚至是填写表格的方式）来预测某人是否会偿还贷款。结果就是一个黑箱系统，可能对看似相似的申请人给出截然不同的结果。
2021 年，The Markup 的一项调查（新窗口）发现，在将某些申请人与资质相近的白人申请人进行比较时，放贷方：
- 拒绝向拉美裔申请人提供住房贷款的可能性高出 40%
- 拒绝亚裔/太平洋岛民申请人的可能性高出 50%
- 拒绝美洲原住民的可能性高出 70%
- 拒绝黑人申请人的可能性高出 80%
即使在剔除了行业通常归咎于这些低批准率的因素之后，这些差异依然存在。
任何接触过统计学的人都知道，模型的好坏取决于输入的数据。如果这些数据反映的是例如历史上的“红线歧视”（新窗口），那么模型就会产生偏差。而这些模型包含各种数据，比如您的 社交媒体动态（新窗口），甚至您是否用全大写字母输入姓名（新窗口）。正如一位金融科技公司首席执行官所说：“所有数据都是信用数据。”
而且，这些算法往往难以查明导致拒绝的具体因素。这使得人们无法申诉或更正错误——考虑到其中许多数据看似毫不相干，且数据经纪人的信息经常不准确、过时，申诉和更正本应是必备机制。
数据驱动的租客背景调查
如果您决定租房，算法无处不在。房东和物业管理公司越来越多地使用 LeasingDesk 或 RentGrow 等自动化租客筛查服务，这些服务依赖数据经纪人来对申请人进行背景调查。它们试图通过查看申请人的信用评分、驱逐记录、犯罪记录以及大量其他个人数据，来量化租客的风险程度。结果是，许多人因可疑或过时的数据而被拒绝租房。
2021 年，联邦贸易委员会（FTC）对租客筛查服务 AppFolio 处以 425 万美元罚款，原因是其出售的背景报告错误识别申请人身份（新窗口），并包含过时信息，例如已被推翻或已解决的驱逐通知。这些错误造成了现实后果，迫使人们另寻住处。
生成这些评分的算法同样是个黑箱。2021 年，ProPublica 采访了一位租客（新窗口），她的信用评分极佳（超过 750 分），没有犯罪记录，也没有被驱逐过。尽管如此，她获得的租客评分只有 1,000 分中的 685 分——相当于 D 等——且没有任何解释。她被迫多缴纳一个月的租金作为押金。和大多数租客一样，她不知道自己的评分为何这么低，也不知道如何改善。
由算法设定保释金
隐秘的数据经纪人驱动算法影响最深远的应用领域也许是刑事司法系统。全国各地的法院和执法机构已采用算法风险评估工具，帮助法官决定是否对被告准予保释或审前释放。在某些情况下，这些工具甚至会影响量刑和假释的决定。 算法接收输入数据（例如某人的犯罪记录、年龄、就业状况，有时还有位置或家庭背景），并计算出一个分数，据称该分数反映了此人再次犯罪或不出庭受审的风险。
这些系统的支持者声称，将决策自动化可以确保客观性。毕竟，人类法官一直被指责不一致和有偏见。然而，与自动化贷款承保和租客筛查类似，这些决策同样依赖数据。如果数据不可靠、不准确或有偏见，其结论也会如此。
2016 年，ProPublica 对 COMPAS（新窗口） (Correctional Offender Management Profiling for Alternative Sanctions，替代制裁的矫正罪犯管理分析系统) 进行了一项调查。这个由营利性公司 Northpointe (现 Equivant Supervision) 开发的系统应用广泛，结果发现，它对黑人被告给出大量假阳性结果，而对白人被告则给出大量假阴性结果。换言之，没有再次犯罪的黑人被告被算法标记为高风险的可能性几乎是白人被告的两倍，而后来确实再次犯罪的白人被告则更常被错误地标记为低风险。(Northpointe 对 ProPublica 报告的有效性提出了异议)
同样，在上议院司法与内政事务委员会2022 年对英国司法系统中 AI 的审查（新窗口）中，该委员会表示，存在“对原始数据中包含的人为偏见在算法决策中被反映并进一步固化的担忧”。
被告几乎无法质疑这些评分，因为算法属于专有技术，其输出的评分也很少在法庭上公开。这意味着，被告的自由可能取决于一个由未公开模型使用未知且往往不可靠的数据生成的秘密评分。
数据驱动算法的常见问题
只要决策被自动化——无论是贷款承保、租客筛查还是被告风险评估——以下几个问题就会反复出现：
数据可靠性：如果您提供给算法的数据不可靠、不准确或有偏见，那么它得出的任何结论都会反映这些缺陷。
缺乏透明度：当算法属于专有技术时，数据主体根本无法复核或质疑其评估结果（这还是假设他们首先知道这个评分的存在）。
使用不当数据和个人数据：很多人会认为，填写表格的方式不应影响能否获得贷款，而且人们应能自行决定将其他类型的敏感个人数据保持私密。
我们必须在 AI 沿袭这些问题之前加以解决
纠偏之所以重要，原因有几个。第一，越来越多人的生活正受到上述算法系统的影响。第二，越来越多的信息正被数据经纪人搜集——数据经纪市场预计到 2030 年价值将超过 4700 亿美元（新窗口）。第三，算法正在不断扩展到新领域，例如 预测性警务（新窗口）和 健康风险预测（新窗口），在这些领域，已有研究发现算法强化了数据中原本存在的偏见。
但到目前为止，我们现在必须解决这一问题的最重要原因，是避免 AI 重蹈覆辙。在本文中，我大多使用“算法”一词，因为与如今的 AI 产品相比，这些系统非常基础，但它们的功能类似于针对特定任务的基础 AI 助手。随着功能更强大的 AI 聊天机器人被集成到越来越多的系统、工作流程和组织中，它们有可能在更大规模上复制这类问题。
而公众已经敲响了警钟。超过一半的美国公众（和 AI 专业人士）（新窗口）希望对 AI 在自己生活中的使用拥有更多控制权。
如何夺回控制权
隐秘的算法以及使其成为可能的数据经纪生态系统需要受到约束。我们如何确保技术是为社会服务，而非与之作对？隐私和 AI 伦理专家提出了一种多管齐下的方法：
法律改革与监督：各国政府——尤其是美国政府—— 必须更新监管数据经纪人的法律和算法决策机制，填补任由数据滥用不受制约的漏洞。美国必须通过联邦隐私法。不幸的是，事态正朝着相反的方向发展。消费者金融保护局最近撤回了一项提案（新窗口），该提案原本要求数据经纪人保存更准确的记录并限制其数据出售对象。
算法透明度：为了确保问责，使用 AI 作出影响人生的决策的企业，必须披露算法背后的关键因素，并接受独立审计。缺乏透明度，消费者就无法理解、质疑或纠正有害的自动化决策。欧盟 AI 法案和纽约市地方法律（新窗口）正是朝着有效监督迈出的重要一步。
人工监督与决策审查：任何影响个人权利或生计的决定都不应完全交给算法——个人必须有权获得人工审查。通过让受过培训的工作人员参与决策并启用申诉机制，我们可以确保自动化系统保持问责、贴合实际且富有人情味。这已在欧洲通过 GDPR（新窗口） 实现，但应扩展到美国。
个人层面的数据最小化：这看似让人不知所措，但您可以采取一些措施来限制数据经纪人从您这里获取的数据量。用现金付款。使用 端到端加密服务。使用可信的 VPN（新窗口）、广告屏蔽器（新窗口）和注重隐私的浏览器上网。这些简单的措施可以限制为不公平的算法决策提供原料的原始数据。
为了更美好的互联网和更美好的世界
随着算法日益影响住房、信用、就业和司法等重大人生决策，我们必须正视驱动它们的黑箱系统和不受约束的数据流动。这些技术承诺效率，却往往带来偏见、排斥和伤害，尤其是在不受监管的数据经纪人的推波助澜下。
要扭转方向，我们需要法律来强制透明度、限制掠夺性数据行为，并在最关键的地方保障人工监督。构建更公正的数字未来意味着撬开算法黑箱，让人们重新成为决策的中心。如果我们现在行动起来——作为公民、开发者和政策制定者——我们就能创造一个技术尊重隐私、维护公平并赢得信任的世界。
