就在現在，某個地方，一家您從未交談過 —— 甚至從未聽說過的 —— 公司可能正在決定您是否獲得貸款、公寓，甚至您在監獄中度過多長時間。
我們已經知道演算法塑造我們在社群媒體上看到什麼以及與誰交談的力量。但這只是表面。演算法深入內崁於數十個其他產業中，並且經常用於做出具有改變生活影響的決定。而且它們依賴從資料仲介那裡獲得的資料。
但是它是如何運作的？資料仲介在餵養這些演算法方面究竟扮演什麼角色？這種陰暗生意的現實後果是什麼？最重要的是：我們能做些什麼來確保公平和問責，特別是當我們衝向一個由 AI 驅動決策呈指數級增長的未來時？
資料仲介的隱藏角色
資料仲介是營利性組織，收集並出售大量個人資料，匯總一切(新視窗)從您的財務記錄和購物習慣到您的網頁瀏覽和即時位置。這是一個龐大 —— 且利潤豐厚 —— 的產業。估計有 5,000 家資料仲介公司(新視窗)在全球運作，市場規模達 2,700 億美元。
儘管規模龐大，該產業實際上沒有全面的監督(新視窗)（至少在美國），這意味著仲介將收集並出售任何有需求的資料。這也意味著他們幾乎沒有動機去確保他們出售的資料是準確的(新視窗)。
各種組織，從廣告商到美國政府部門，都轉向資料仲介以獲取精細、私密的資訊。越來越多的公司使用這些資料來餵養他們的演算法，並做出影響全美人民日常生活的決定。由資料仲介收集和出售的資訊 —— 通常充滿錯誤的資料 —— 被用來決定人們支付的利率、他們是否獲准貸款、他們是否能租到公寓或找到工作。
這裡有三種情況，在這些情況中，您不知道您共享的資訊可能最終會在無形中改變您的人生軌跡。
演算法承保
銀行和其他金融科技供應商是最早採用演算法的產業之一，使用它們來決定誰獲得抵押貸款、商業貸款或信用卡的批准。他們依賴傳統信用評分以及許多其他替代資料（公用事業付款、教育，甚至您如何填寫表格）來預測某人是否會償還貸款。結果是一個黑箱系統，可能為看似相似的候選人提供截然不同的結果。
2021 年 The Markup 的一項調查(新視窗)發現，貸款人在將某些申請人與類似資格的白人申請人進行比較時，會：
- 拒絕拉丁裔申請人房屋貸款的可能性高出 40%
- 拒絕亞裔/太平洋島民申請人的可能性高出 50%
- 拒絕美洲原住民的可能性高出 70%
- 拒絕黑人申請人的可能性高出 80%
即使在控制了該產業傳統上歸咎於這些較低批准率的因素之後，這些差異仍然存在。
任何使用過統計數據的人都知道，模型的好壞取決於輸入其中的資料。如果該資料反映了例如紅線政策 (redlining)(新視窗) 的歷史，那麼模型就會出現偏差。而這些模型包含各種資料，如您的 社群媒體動態(新視窗)，甚至您是否用全大寫輸入您的名字(新視窗)。正如一位金融科技執行長所說，「所有資料都是信用資料。」
而有了這些演算法，通常很難指出導致拒絕的因素。這使得人們不可能上訴或提供更正，考慮到這些資料中有多少看起來無關緊要，以及資料仲介經常擁有不準確和過時的資訊，這應該是必要的。
資料驅動的租戶背景調查
如果您決定租房，您無法逃避演算法。房東和物業經理越來越多地轉向自動化租戶篩選服務，如 LeasingDesk 或 RentGrow，這些服務依賴資料仲介對申請人進行背景調查。這些服務試圖透過檢視申請人的信用評分、驅逐檔案、犯罪記錄和許多其他個人資料來量化租戶的風險。結果是許多人因為可疑或過時的資料而被拒絕住房。
2021 年，聯邦貿易委員會 (FTC) 對租戶篩選服務 AppFolio 處以 425 萬美元罰款，因為它出售錯誤識別申請人的背景報告(新視窗)並包含過時資訊，如已推翻或解決的驅逐通知。這些錯誤產生了現實後果，迫使人們尋找其他地方居住。
產生這些分數的演算法也是一個黑箱。2021 年，ProPublica 採訪了一位租戶(新視窗)，她有極佳的信用評分（超過 750），沒有犯罪記錄，也沒有被驅逐過。儘管如此，她在滿分 1,000 分中只獲得了 685 分的租戶評分 —— 相當於 D —— 且沒有解釋。她被迫支付額外一個月的租金作為保證金。像大多數租戶一樣，她不知道為什麼她的分數這麼低，也不知道如何修復它。
由演算法設定的保釋金
也許隱藏的、資料仲介驅動的演算法最具影響力的用途是在刑事司法系統中。全國各地的法院和執法機構已採用演算法風險評估工具來協助法官決定是否准予被告保釋或審前釋放。在某些情況下，這些工具甚至協助決定判刑和假釋。這些演算法獲取輸入資料（如某人的犯罪記錄、年齡、就業狀況，有時還有位置或家庭背景）並計算一個分數，據稱反映了該人再犯或未出庭的風險。
這些系統的支持者聲稱自動化這些決策確保了客觀性。畢竟，人類法官一直被指責不一致和有偏見。然而，類似於自動化貸款承保和租戶篩選，這些決策依賴資料。如果資料不可靠、不準確或有偏見，其調查結果也會如此。
2016 年，ProPublica 對 COMPAS（Correctional Offender Management Profiling for Alternative Sanctions，替代制裁的懲教罪犯管理分析）進行了一項調查(新視窗)。這個廣泛使用的系統由營利性公司 Northpointe（現為 Equivant Supervision）開發，被發現對黑人被告產生壓倒性數量的誤報（false positives），對白人被告產生漏報（false negatives）。換句話說，未再犯的黑人被告被演算法標記為高風險的可能性幾乎是白人被告的兩倍，而確實再犯的白人被告則更頻繁地被錯誤標記為低風險。（Northpointe 已對 ProPublica 報告的有效性提出異議。）
同樣地，在其 2022 年對英國司法系統中 AI 的審查(新視窗)中，上議院司法和內政事務委員會表示「擔心原始資料中包含的人類偏見危險會被反映出來，並進一步內崁在演算法做出的決策中。」
被告幾乎無法挑戰這些分數，因為演算法是專有的，而且它們吐出的分數很少在法庭上被揭露。這意味著被告的自由可能取決於一個使用未知且通常不可靠資料的未公開模型所產生的秘密分數。
資料驅動演算法的常見問題
每當決策自動化時 —— 無論是在貸款承保、租戶篩選還是被告風險評估中 —— 幾個問題就會反覆出現：
資料的可靠性：如果您給演算法的資料不可靠、不準確或有偏見，那麼它給出的任何調查結果都會反映這些錯誤。
缺乏透明度：當演算法是專有的時，資料當事人不可能再次檢查或挑戰其評估（這是在假設他們首先知道該分數的情況下）。
不適當和個人資料的使用：許多人會爭辯說，您如何填寫表格不應影響您是否獲得貸款，並且人們應該能夠選擇將其他類型的敏感、個人資料保持私有。
我們必須在 AI 採用它們之前解決這些問題
我們修正路線很重要，原因有幾個。首先，越來越多的生活受到上述演算法系統的影響。其次，越來越多的資訊被資料仲介搜刮 —— 預計到 2030 年，資料仲介市場價值將超過 4,700 億美元(新視窗)。第三，演算法一直在擴展到新領域，如預測性警務(新視窗)和健康風險預測(新視窗)，在這些領域發現演算法強化了資料中已經存在的偏見。
但目前為止，我們需要現在解決這個問題的最重要原因是避免這種情況發生在 AI 上。我在整篇文章中主要使用演算法這個詞，因為與今天的 AI 產品相比，這些系統非常基本，但它們作為特定任務的基本 AI 助理發揮作用。隨著更強大的 AI 聊天機器人被整合到越來越多的系統、工作流程和組織中，它們有可能在更大規模上複製這類問題。
公眾已經拉響警報。超過一半的美國公眾（和 AI 專業人士）(新視窗)希望對 AI 如何在他們的生活中使用有更多控制權。
如何取回控制權
隱藏的演算法和使其成為可能的資料仲介生態系統需要受到控制。我們如何確保技術為社會服務，而不是與之對抗？隱私和 AI 倫理專家提出了一個多管齊下的方法：
法律改革和監督：政府 —— 特別是美國政府 —— 必須更新法律以監管資料仲介和演算法決策，填補允許不受檢查的資料剝削的漏洞。美國必須通過聯邦隱私法。不幸的是，事情正朝著相反的方向發展。消費者金融保護局最近撤回了一項提案(新視窗)，該提案原本要求資料仲介保留更準確的記錄並限制他們可以將資料出售給誰。
演算法透明度：為了確保問責制，使用 AI 做出生死攸關決策的公司必須揭露其演算法背後的關鍵因素，並允許獨立稽核。沒有透明度，消費者就無法理解、挑戰或糾正有害的自動化決策。歐盟的 AI 法案(新視窗)和紐約市的地方法律(新視窗)是邁向有意義監督的步驟。
決策的人類監督和審查：任何影響個人權利或生計的決定都不應完全留給演算法 —— 個人必須有權進行人類審查。透過讓受過訓練的員工參與並啟用上訴，我們可以確保自動化系統保持負責任、有背景和人性化。這在歐洲根據 GDPR(新視窗) 已經存在，但也應該擴展到美國。
個人層面的資料最小化：這似乎令人不知所措，但您可以做一些事情來限制資料仲介從您那裡接收多少資料。用現金支付。使用端對端加密服務。使用值得信賴的 VPN(新視窗)、廣告攔截程式(新視窗)和隱私為中心的瀏覽器瀏覽網際網路。這些簡單的措施可以限制助長不公平演算法決策的原始資料。
為了一個更好的網際網路和更好的世界
隨著演算法越來越多地影響關鍵的生活決策 —— 從住房和信用到就業和司法 —— 我們必須對抗為它們提供動力的不透明系統和不受檢查的資料流。這些技術承諾效率，但往往帶來偏見、排斥和傷害，特別是當受到不受監管的資料仲介助長時。
為了改變方向，我們需要強制執行透明度、限制剝削性資料做法，並在最重要的地方保證人類監督的法律。建立一個更公正的數位未來意味著打開演算法黑箱，並將人放回決策的中心。如果我們現在行動 —— 作為公民、開發者和政策制定者 —— 我們可以創造一個技術尊重隱私、強化公平並贏得我們信任的世界。
