今まさに、どこかで、あなたが話したこともない（聞いたこともないかもしれない）会社が、あなたがローンやアパートを借りられるかどうか、あるいは刑務所にどれくらいの期間入るかさえも決めているかもしれません。

私たちはすでに、ソーシャルメディアで何を見るか、誰と話すかを形作るアルゴリズムの力を知っています。しかし、それはほんの表面にすぎません。アルゴリズムは他の数十の業界に深く埋め込まれており、人生を変えるような影響力を持つ決定を下すことがよくあります。そして、それらはデータブローカーから得たデータに依存しています。

しかし、それはどのように機能するのでしょうか？これらのアルゴリズムにデータを提供するデータブローカーの役割とは正確には何でしょうか？この怪しげなビジネスの現実世界への影響は何でしょうか？そして最も重要なことは、特に AI 主導の意思決定が指数関数的に増大する未来に向かって突き進む中で、公正さと説明責任を確保するために私たちに何ができるかということです。

データブローカーの隠された役割

データブローカーは、膨大な量の個人データを収集して販売する営利組織であり、財務記録や買い物習慣からウェブ閲覧やリアルタイムの位置情報まで、あらゆるものを集約しています(新しいウィンドウ)。それは巨大で、そして有利な産業です。推定 5,000 社のデータブローカー企業(新しいウィンドウ)が世界中で事業を展開しており、2,700 億ドルの市場になっています。

その規模にもかかわらず、業界は事実上包括的な監視を受けておらず(新しいウィンドウ)（少なくとも米国では）、ブローカーは需要のあるデータであれば何でも収集して販売します。また、彼らが販売するデータが正確であることを保証する(新しいウィンドウ)インセンティブがほとんどないことも意味します。

データブローカーについてより詳しく学ぶ

広告主から米国政府部門まで、あらゆる種類の組織が、きめ細かく親密な情報を得るためにデータブローカーに頼っています。企業はますます、このデータを使用してアルゴリズムに情報を供給し、全米の人々の日常生活に影響を与える決定を下しています。データブローカーによって収集され販売される情報（エラーだらけであることが多いデータ）は、人々が支払う金利、ローンの承認可否、アパートを借りられるか、仕事に就けるかどうかを決定するために使用されています。

ここでは、共有した覚えのない情報が、目に見えない形であなたの人生の軌道を変えてしまう可能性がある 3 つの状況を紹介します。

アルゴリズムによる引受

銀行やその他のフィンテックプロバイダーは、アルゴリズムを採用した最初の業界の一部であり、住宅ローン、ビジネスローン、クレジットカードの承認対象者を決定するために使用していました。彼らは、従来のクレジットスコアに加えて、他の多くの代替データ（公共料金の支払い、教育、フォームへの記入方法など）に依存して、誰かがローンを返済するかどうかを予測しています。その結果、一見似たような候補者に対して異なる結果をもたらす可能性のあるブラックボックスシステムが生まれます。

2021 年の The Markup による調査(新しいウィンドウ)では、貸し手は特定の申請者と同様の資格を持つ白人の申請者を比較したときに、以下の傾向があることがわかりました：

  • ラテン系の申請者への住宅ローンを拒否する可能性が 40% 高い
  • アジア/太平洋諸島系の申請者への住宅ローンを拒否する可能性が 50% 高い 
  • ネイティブアメリカンへの住宅ローンを拒否する可能性が 70% 高い
  • 黒人の申請者を却下する可能性が 80% 高い 

これらの格差は、業界が伝統的にこれらの低い承認率の原因としている要因を制御した後も持続しました。

統計を扱ったことのある人なら誰でも、モデルはそれに入力されるデータと同じ程度にしか良くないことを知っています。たとえば、そのデータがレッドライニング(新しいウィンドウ)の歴史を反映している場合、モデルは歪められます。そして、これらのモデルには、ソーシャルメディアのフィード(新しいウィンドウ)や、名前をすべて大文字で入力する(新しいウィンドウ)かどうかなど、あらゆる種類のデータが含まれています。あるフィンテック CEO が言ったように、「すべてのデータはクレジットデータ」なのです。

そして、これらのアルゴリズムでは、拒否につながった要因を特定することが困難な場合がよくあります。これにより、人々が異議を申し立てたり修正を提供したりすることが不可能になります。このデータの多くがいかに関係ないように見えるか、そしてデータブローカーがいかに頻繁に不正確で古い情報を持っているかを考えると、これは必須であるべきです。

データ駆動型のテナント身元調査

賃貸にすることに決めた場合、アルゴリズムから逃れることはできません。家主や不動産管理者は、LeasingDesk や RentGrow のような、データブローカーに依存して申請者の身元調査を行う自動化されたテナントスクリーニングサービスにますます頼るようになっています。これらのサービスは、申請者のクレジットスコア、立ち退き申請、犯罪歴、その他多くの個人データを見ることで、テナントがどれほどリスクが高いかを定量化しようとします。その結果、疑わしいデータや古いデータを理由に、多くの人々が住宅を拒否されています。

2021 年、連邦取引委員会 (FTC) は、テナントスクリーニングサービスの AppFolio に対し、申請者を誤認した身元調査レポートを販売(新しいウィンドウ)し、覆されたり解決されたりした立ち退き通知などの古い情報を含んでいたとして、425 万ドルの罰金を科しました。これらの過ちは現実世界に影響を及ぼし、人々は住む場所を他に探すことを余儀なくされました。

これらのスコアを生成するアルゴリズムもブラックボックスです。2021 年、ProPublica はあるテナントに話を聞きました(新しいウィンドウ)。彼女は優れたクレジットスコア（750 以上）を持ち、犯罪歴もなく、立ち退きもありませんでした。それにもかかわらず、彼女は 1,000 点満点中 685 点というテナントスコア（D に相当）を受け取りましたが、説明はありませんでした。彼女は敷金として余分な 1 か月分の家賃を払うことを余儀なくされました。ほとんどのテナントと同様に、彼女は自分のスコアがなぜそんなに低いのか、どうすれば修正できるのか全くわかりませんでした。

アルゴリズムによって設定された保釈金

おそらく、隠されたデータブローカー主導のアルゴリズムの最も重大な使用例は、刑事司法制度にあります。全国の裁判所や法執行機関は、裁判官が被告人に保釈や公判前の釈放を認めるかどうかを決定するのを支援するために、アルゴリズムによるリスク評価ツールを採用しています。場合によっては、これらのツールは量刑や仮釈放の決定にも役立ちます。アルゴリズムは入力データ（犯罪歴、年齢、雇用状況、場合によっては位置情報や家族の背景など）を受け取り、その人が再犯したり出廷しなかったりするリスクを反映するとされるスコアを計算します。

これらのシステムの支持者は、これらの決定を自動化することで客観性が確保されると主張しています。結局のところ、人間の裁判官は常に一貫性がなく偏見があると非難されています。しかし、自動化されたローン引受やテナントスクリーニングと同様に、これらの決定はデータに依存しています。データが信頼できない、不正確、または偏っている場合、その結果も同様になります。

2016 年、ProPublica は COMPAS の調査(新しいウィンドウ)（代替制裁のための矯正犯罪者管理プロファイリング）を実施しました。営利企業 Northpointe（現 Equivant Supervision）によって開発されたこの広く使用されているシステムは、黒人の被告人に対して圧倒的な数の偽陽性を、白人の被告人に対して偽陰性をもたらすことが判明しました。言い換えれば、再犯しなかった黒人の被告人は、白人の被告人に比べてアルゴリズムによって高リスクとラベル付けされる可能性が約 2 倍高く、再犯した白人の被告人は低リスクと誤ってラベル付けされる頻度が高かったのです。（Northpointe は ProPublica のレポートの妥当性に異議を唱えています。）

同様に、英国の司法制度における AI の 2022 年レビュー(新しいウィンドウ)において、貴族院司法・内務委員会は、「元のデータに含まれる人間の偏見が反映され、さらにアルゴリズムによる決定に埋め込まれる危険性について懸念がある」と述べています。

アルゴリズムは独自の所有物であり、そこから吐き出されるスコアが法廷で明らかにされることはめったにないため、被告人がこれらのスコアに異議を唱えるためにできることはほとんどありません。つまり、被告人の自由は、未知の、そしてしばしば信頼できないデータを使用した非公開のモデルによって生成された秘密のスコアに左右される可能性があります。

データを利用したアルゴリズムに関する一般的な問題

ローン引受、テナントスクリーニング、被告人のリスク評価など、意思決定が自動化されるときはいつでも、いくつかの問題が何度も発生します：

データの信頼性: アルゴリズムに提供するデータが信頼できない、不正確、または偏っている場合、それが提供する結果にはそれらの欠陥が反映されます。

透明性の欠如: アルゴリズムが独自の所有物である場合、データ主体がその評価をダブルチェックしたり異議を唱えたりすることは不可能です（そもそもスコアを認識していると仮定しても）。

不適切で個人的なデータの使用: 多くの人は、フォームへの記入方法がローンを組めるかどうかに影響を与えるべきではなく、人々は選択すれば他の種類の機密性の高い個人データをプライベートに保つことができるべきだと主張するでしょう。

AI がこれらを採用する前にこれらの問題を修正しなければならない

私たちが針路を修正することが重要な理由はいくつかあります。第一に、ますます多くの命が上記のアルゴリズムシステムの影響を受けています。第二に、ますます多くの情報がデータブローカーによって吸い上げられています。データブローカー市場は、2030 年までに 4,700 億ドル以上(新しいウィンドウ)の価値になると予想されています。第三に、アルゴリズムは予測的ポリシング(新しいウィンドウ)や健康リスク予測(新しいウィンドウ)など、常に新しいセクターに拡大しており、アルゴリズムがデータにすでに存在する偏見を強化していることが判明しています。

しかし、私たちが今これを修正する必要がある圧倒的に重要な理由は、AI でこの状況を回避するためです。私はこの記事を通して主にアルゴリズムという用語を使用しました。これらのシステムは今日の AI 製品と比較して非常に基本的ですが、特定のタスクの基本的な AI アシスタントとして機能するためです。そして、はるかに強力な AI チャットボットがますます多くのシステム、ワークフロー、組織に統合されるにつれて、これらの種類の問題をはるかに大規模に複製する可能性があります。

そして、大衆はすでに警鐘を鳴らしています。米国の一般市民（および AI 専門家）(新しいウィンドウ)の半数以上が、自分たちの生活で AI がどのように使用されるかについて、より多くのコントロールを望んでいます。

コントロールを取り戻す方法

隠されたアルゴリズムとそれを可能にするデータブローカーのエコシステムを抑制する必要があります。テクノロジーが社会に逆らうのではなく、社会のために機能することをどのように保証するのでしょうか？プライバシーと AI 倫理の専門家は、多角的なアプローチを提案しています：

法改正と監視: 政府、特に米国政府は、データブローカーを規制する法律とアルゴリズムによる意思決定を更新し、チェックされていないデータの搾取を許すギャップを埋める必要があります。米国は連邦プライバシー法を可決しなければなりません。残念ながら、事態は逆の方向に進んでいます。消費者金融保護局は、データブローカーにより正確な記録を保持し、データの販売先を制限することを義務付けるはずだった提案を最近撤回しました(新しいウィンドウ)。

アルゴリズムの透明性: 説明責任を確保するために、AI を使用して人生に影響を与える決定を下す企業は、アルゴリズムの背後にある主要な要因を開示し、独立した監査を許可する必要があります。透明性がなければ、消費者は有害な自動決定を理解したり、異議を唱えたり、修正したりすることができません。EU の AI 法(新しいウィンドウ)とニューヨーク市の条例(新しいウィンドウ)は、有意義な監視に向けたステップです。

人間による監視と決定のレビュー: 人権や生計に影響を与える決定を、完全にアルゴリズムに任せるべきではありません。個人は人間によるレビューを受ける権利を持たなければなりません。訓練を受けたスタッフを関与させ、異議申し立てを有効にすることで、自動化されたシステムが説明責任を果たし、文脈に沿った、人道的なものであり続けることを保証できます。これはすでに GDPR(新しいウィンドウ) の下で欧州に存在していますが、米国にも拡大すべきです。

個人レベルでのデータの最小化: 圧倒されるように思えるかもしれませんが、データブローカーがあなたから受け取るデータ量を制限するためにできることがあります。現金で支払う。エンドツーエンド暗号化されたサービスを使用する。信頼できる VPN(新しいウィンドウ)、広告ブロッカー(新しいウィンドウ)、およびプライバシー重視のブラウザでインターネットを閲覧する。これらの単純な対策により、不当なアルゴリズムによる決定をあおる生データを制限できます。

より良いインターネットとより良い世界のために

住宅やクレジットから雇用や司法に至るまで、アルゴリズムが重要な人生の決定にますます影響を与えるにつれて、私たちは不透明なシステムと、それらを動かすチェックされていないデータの流れに立ち向かわなければなりません。これらのテクノロジーは効率性を約束しますが、特に規制されていないデータブローカーによってあおられた場合、偏見、排除、害をもたらすことがよくあります。

針路を変えるには、透明性を強制し、搾取的なデータ慣行を制限し、最も重要な場所での人間による監視を保証する法律が必要です。より公正なデジタルの未来を築くことは、アルゴリズムのブラックボックスをこじ開け、意思決定の中心に人々を戻すことを意味します。私たち市民、開発者、政策立案者が今行動すれば、テクノロジーがプライバシーを尊重し、公平性を強化し、私たちの信頼を得る世界を作ることができます。