Saat ini, di suatu tempat, perusahaan yang belum pernah Anda hubungi — mungkin bahkan belum pernah Anda dengar — mungkin sedang memutuskan apakah Anda layak mendapatkan pinjaman, apartemen, atau bahkan berapa lama waktu yang harus Anda habiskan di penjara.

Kita sudah tahu kekuatan algoritma dalam membentuk apa yang kita lihat dan dengan siapa kita berbicara di media sosial. Namun itu baru permukaannya saja. Algoritma tersemat sangat dalam di puluhan industri lainnya dan sering kali membuat keputusan dengan dampak yang mengubah hidup. Dan algoritma tersebut mengandalkan data yang mereka peroleh dari pialang data.

Namun bagaimana cara kerjanya? Apa sebenarnya peran pialang data dalam memberi asupan bagi algoritma ini? Apa konsekuensi dunia nyata dari bisnis bayangan ini? Dan yang terpenting: Apa yang dapat kita lakukan untuk memastikan keadilan dan akuntabilitas, terutama saat kita melaju menuju masa depan di mana pengambilan keputusan berbasis AI tumbuh secara eksponensial?

Peran tersembunyi pialang data

Pialang data adalah organisasi komersial yang mengumpulkan dan menjual data pribadi dalam jumlah besar, mengagregasikan semuanya(jendela baru) mulai dari catatan keuangan dan kebiasaan berbelanja hingga penelusuran web dan lokasi real-time. Ini adalah industri yang masif — dan menguntungkan. Diperkirakan 5.000 perusahaan pialang data(jendela baru) beroperasi di seluruh dunia dalam pasar yang kini bernilai $270 miliar.

Meskipun ukurannya besar, industri ini hampir tidak menghadapi pengawasan komprehensif(jendela baru) (setidaknya di AS), yang berarti pialang akan mengumpulkan dan menjual data apa pun yang diminati. Ini juga berarti mereka memiliki sedikit insentif untuk memastikan data yang mereka jual akurat(jendela baru).

Pelajari lebih lanjut tentang pialang data

Berbagai organisasi, mulai dari pengiklan hingga departemen pemerintah AS, beralih ke pialang data untuk mendapatkan informasi yang terperinci dan intim. Semakin banyak perusahaan menggunakan data ini untuk memberi asupan bagi algoritma mereka dan membuat keputusan yang memengaruhi kehidupan sehari-hari orang-orang di seluruh AS. Informasi yang dikumpulkan dan dijual oleh pialang data — data yang sering kali dipenuhi dengan kesalahan — digunakan untuk menentukan suku bunga yang harus dibayar orang-orang, apakah mereka disetujui untuk mendapatkan pinjaman, atau bahkan apakah mereka dapat menyewa apartemen atau mendapatkan pekerjaan.

Berikut adalah tiga situasi di mana informasi yang tidak pernah disadari telah dibagikan dapat secara tidak terlihat mengubah arah hidup.

Underwriting algoritmik

Bank dan penyedia teknologi finansial (fintech) lainnya merupakan beberapa industri pertama yang mengadopsi algoritma, menggunakannya untuk menentukan siapa yang disetujui untuk mendapatkan hipotek, pinjaman usaha, atau kartu kredit. Industri ini mengandalkan skor kredit tradisional serta berbagai data alternatif lain (pembayaran utilitas, pendidikan, bahkan cara mengisi formulir) untuk memprediksi apakah seseorang akan melunasi pinjaman tersebut. Hasilnya adalah sistem kotak hitam (black-box) yang dapat memberikan hasil berbeda bagi kandidat yang tampak serupa.

Sebuah investigasi tahun 2021 oleh The Markup(jendela baru) menemukan bahwa pemberi pinjaman, ketika membandingkan pelamar tertentu dengan pelamar kulit putih dengan kualifikasi serupa, adalah:

  • 40% lebih mungkin menolak pinjaman rumah untuk pelamar Latino
  • 50% lebih mungkin menolak pelamar Asia/Kepulauan Pasifik 
  • 70% lebih mungkin menolak penduduk asli Amerika (Native American)
  • 80% lebih mungkin menolak pelamar berkulit hitam 

Kesenjangan ini tetap ada bahkan setelah mengendalikan faktor-faktor yang biasanya dituduh oleh industri sebagai penyebab tingkat persetujuan yang lebih rendah ini.

Siapa pun yang pernah bekerja dengan statistik tahu bahwa model hanya sebagus data yang dimasukkan ke dalamnya. Jika data tersebut mencerminkan, misalnya, riwayat redlining (pembatasan wilayah)(jendela baru), maka model tersebut akan menjadi miring. Model-model ini juga berisi segala jenis data, seperti umpan media sosial Anda(jendela baru) atau bahkan jika mengetikkan nama dalam HURUF BESAR SEMUA(jendela baru). Seperti yang dikatakan oleh salah satu CEO fintech, “Semua data adalah data kredit.”

Dan dengan algoritma ini, sering kali sulit untuk menunjukkan dengan tepat faktor yang menyebabkan penolakan. Hal ini membuat orang mustahil untuk mengajukan banding atau mengajukan koreksi, yang seharusnya diwajibkan, mengingat betapa tidak relevannya sebagian besar data ini dan seberapa sering broker data memiliki informasi yang tidak akurat dan kedaluwarsa.

Pemeriksaan latar belakang penyewa berbasis data

Jika memutuskan untuk menyewa, algoritma tidak akan bisa dihindari. Pemilik rumah dan pengelola properti semakin banyak yang beralih ke layanan penyaringan penyewa otomatis, seperti LeasingDesk atau RentGrow, yang mengandalkan broker data untuk melakukan pemeriksaan latar belakang pada pelamar. Layanan ini mencoba mengukur seberapa berisikonya seorang penyewa dengan melihat skor kredit, pengajuan penggusuran, catatan kriminal pelamar, dan berbagai data pribadi lainnya. Hasilnya adalah banyak orang ditolak mendapatkan tempat tinggal karena data yang meragukan atau usang.

Pada tahun 2021, Federal Trade Commission (FTC) mendenda AppFolio, sebuah layanan penyaringan penyewa, sebesar $4,25 juta karena menjual laporan latar belakang yang salah mengidentifikasi pelamar(jendela baru) dan berisi informasi usang, seperti pemberitahuan penggusuran yang dibatalkan atau diselesaikan. Kesalahan ini menimbulkan konsekuensi nyata di dunia nyata, yang memaksa orang untuk mencari tempat tinggal lain.

Algoritma yang menghasilkan skor ini juga merupakan kotak hitam. Pada tahun 2021, ProPublica berbicara dengan seorang penyewa(jendela baru) yang memiliki skor kredit yang sangat baik (di atas 750), tidak memiliki catatan kriminal, dan tidak pernah digusur. Meskipun demikian, ia menerima skor penyewa 685 dari 1.000 — setara dengan nilai D — tanpa penjelasan apa pun. Ia terpaksa membayar sewa tambahan satu bulan sebagai jaminan setoran. Seperti kebanyakan penyewa, ia tidak tahu mengapa skornya begitu rendah atau cara memperbaikinya.

Uang jaminan yang ditetapkan oleh algoritma

Mungkin penggunaan algoritma tersembunyi bertenaga broker data yang paling berdampak besar adalah dalam sistem peradilan pidana. Pengadilan dan lembaga penegak hukum di seluruh negeri telah mengadopsi alat penilaian risiko algoritmik untuk membantu hakim memutuskan apakah akan memberikan jaminan atau pembebasan pra-peradilan kepada terdakwa. Dalam beberapa kasus, alat-alat ini bahkan membantu menentukan hukuman dan pembebasan bersyarat. Algoritma tersebut mengambil input data (seperti catatan kriminal seseorang, usia, status pekerjaan, dan terkadang lokasi atau latar belakang keluarga) dan menghitung skor yang seharusnya mencerminkan risiko orang tersebut melakukan pelanggaran lagi atau gagal hadir di pengadilan.

Pendukung sistem ini mengklaim bahwa otomatisasi keputusan ini memastikan objektivitas. Lagipula, hakim manusia sering dituduh tidak konsisten dan bias sepanjang waktu. Namun, mirip dengan penjaminan pinjaman otomatis dan penyaringan penyewa, keputusan ini bergantung pada data. Jika data tidak tepercaya, tidak akurat, atau bias, temuannya juga akan demikian.

Pada tahun 2016, ProPublica melakukan investigasi terhadap COMPAS(jendela baru), atau Correctional Offender Management Profiling for Alternative Sanctions. Sistem yang banyak digunakan ini, yang dikembangkan oleh perusahaan nirlaba Northpointe (sekarang Equivant Supervision), ditemukan memberikan jumlah positif palsu yang sangat banyak untuk terdakwa berkulit hitam dan negatif palsu untuk terdakwa berkulit putih. Dengan kata lain, terdakwa berkulit hitam yang tidak melakukan pelanggaran lagi hampir dua kali lebih mungkin dilabeli berisiko tinggi oleh algoritma dibandingkan dengan terdakwa berkulit putih, sedangkan terdakwa berkulit putih yang kemudian melakukan pelanggaran lagi lebih sering salah dilabeli berisiko rendah. (Northpointe membantah validitas laporan ProPublica tersebut.)

Demikian pula, dalam tinjauan tahun 2022 tentang AI dalam sistem peradilan Inggris Raya(jendela baru), Komite Urusan Dalam Negeri dan Keadilan House of Lords mengatakan bahwa ada “kekhawatiran tentang bahaya bias manusia yang terdapat dalam data asli yang tercermin, dan lebih lanjut tersemat, dalam keputusan yang dibuat oleh algoritma.”

Hampir tidak ada yang bisa dilakukan terdakwa untuk menyanggah skor ini karena algoritmanya bersifat hak milik dan skor yang dikeluarkan jarang diungkapkan di pengadilan. Ini berarti bahwa kebebasan terdakwa dapat bergantung pada skor rahasia yang dihasilkan oleh model yang tidak diungkapkan menggunakan data yang tidak diketahui dan sering kali tidak tepercaya.

Isu umum dengan algoritma bertenaga data

Setiap kali pengambilan keputusan diotomatisasi — baik dalam penjaminan pinjaman, penyaringan penyewa, atau penilaian risiko terdakwa — beberapa isu muncul berulang kali:

Keandalan data: Jika data yang diberikan ke algoritma tidak tepercaya, tidak akurat, atau bias, maka temuan apa pun yang diberikannya akan mencerminkan kesalahan tersebut.

Kurangnya transparansi: Ketika algoritma bersifat hak milik, mustahil bagi subjek data untuk memeriksa ulang atau menyanggah penilaiannya (dan itu dengan asumsi mereka mengetahui skor tersebut sejak awal).

Penggunaan data pribadi dan tidak pantas: Banyak orang berpendapat bahwa cara mengisi formulir tidak boleh memengaruhi persetujuan pinjaman dan bahwa orang-orang harus dapat menjaga kerahasiaan jenis data pribadi sensitif lainnya jika menginginkannya.

Isu-isu ini harus diperbaiki sebelum diadopsi oleh AI

Sangat penting untuk memperbaiki arah tindakan karena beberapa alasan. Pertama, semakin banyak kehidupan yang terkena dampak dari sistem algoritmik yang dijelaskan di atas. Kedua, semakin banyak informasi yang dikumpulkan oleh broker data — pasar broker data diperkirakan bernilai lebih dari $470 miliar pada tahun 2030(jendela baru). Ketiga, algoritma terus merambah ke sektor-sektor baru, seperti pemolisian prediktif(jendela baru) dan prediksi risiko kesehatan(jendela baru), di mana ditemukan bahwa algoritma memperkuat bias yang sudah ada dalam data.

Namun, alasan paling utama mengapa hal ini harus diperbaiki sekarang adalah untuk menghindari situasi serupa pada AI. Istilah algoritma sebagian besar digunakan di sepanjang artikel ini, karena sistem tersebut sangat mendasar jika dibandingkan dengan penawaran AI saat ini, tetapi sistem tersebut berfungsi sebagai asisten AI dasar untuk tugas tertentu. Dan karena chatbot AI yang jauh lebih kuat diintegrasikan ke dalam semakin banyak sistem, alur kerja, dan organisasi, mereka berpotensi mereplikasi jenis isu ini dalam skala yang jauh lebih besar.

Dan masyarakat sudah mulai menyuarakan kekhawatiran. Lebih dari setengah masyarakat AS (dan para profesional AI)(jendela baru) menginginkan kontrol lebih besar atas bagaimana AI digunakan dalam kehidupan mereka.

Cara mengambil alih kendali kembali

Algoritma tersembunyi dan ekosistem broker data yang mengaktifkannya perlu dikendalikan. Bagaimana memastikan teknologi bekerja untuk masyarakat, bukan melawannya? Pakar privasi dan etika AI telah mengusulkan pendekatan multi-cabang:

Reformasi hukum dan pengawasan: Pemerintah — khususnya pemerintah AS — harus memperbarui undang-undang untuk mengatur broker data dan pengambilan keputusan berbasis algoritma, guna menutup celah yang memungkinkan eksploitasi data tanpa kendali. AS harus mengesahkan undang-undang privasi federal. Sayangnya, situasi saat ini berjalan ke arah yang berlawanan. Consumer Finance Protection Bureau baru-baru ini menarik proposal(jendela baru) yang seharusnya mewajibkan broker data untuk menyimpan catatan yang lebih akurat dan membatasi pihak yang dapat membeli data dari mereka.

Transparansi algoritmik: Untuk memastikan akuntabilitas, perusahaan yang menggunakan AI untuk membuat keputusan yang memengaruhi kehidupan harus mengungkapkan faktor-faktor kunci di balik algoritma mereka dan mengizinkan audit independen. Tanpa transparansi, konsumen tidak dapat memahami, menyanggah, atau mengoreksi keputusan otomatis yang merugikan. Undang-Undang AI Uni Eropa (EU’s AI Act)(jendela baru) dan hukum lokal Kota New York(jendela baru) merupakan langkah menuju pengawasan yang berarti.

Pengawasan manusia dan tinjauan keputusan: Tidak ada keputusan yang memengaruhi hak atau mata pencaharian seseorang yang boleh diserahkan sepenuhnya kepada algoritma — individu harus memiliki hak atas tinjauan manusia. Dengan melibatkan staf terlatih dan mengaktifkan banding, sistem otomatis dapat dipastikan tetap akuntabel, kontekstual, dan manusiawi. Hal ini sudah ada di Eropa berdasarkan GDPR(jendela baru), tetapi harus diperluas ke AS.

Minimisasi data di tingkat pribadi: Ini mungkin tampak rumit, tetapi ada beberapa cara yang dapat dilakukan untuk membatasi jumlah data yang diterima broker data dari Anda. Bayarlah dengan uang tunai. Gunakan layanan terenkripsi secara end-to-end. Jelajahi internet dengan VPN tepercaya(jendela baru), pemblokir iklan(jendela baru), dan peramban yang fokus pada privasi. Langkah-langkah sederhana ini dapat membatasi data mentah yang memicu keputusan algoritmik yang tidak adil.

Untuk internet yang lebih baik dan dunia yang lebih baik

Seiring dengan semakin besarnya pengaruh algoritma terhadap keputusan hidup yang penting — mulai dari perumahan dan kredit hingga pekerjaan dan keadilan — sistem yang buram dan aliran data tanpa kendali yang mendukungnya harus dihadapi. Teknologi ini menjanjikan efisiensi tetapi sering kali menghasilkan bias, pengecualian, dan bahaya, terutama bila didorong oleh broker data yang tidak diatur.

Untuk mengubah arah, diperlukan undang-undang yang menegakkan transparansi, membatasi praktik data yang eksploitatif, dan menjamin pengawasan manusia di bagian yang paling penting. Membangun masa depan digital yang lebih adil berarti membongkar kotak hitam algoritmik dan menempatkan manusia kembali di pusat pengambilan keputusan. Jika mengambil tindakan sekarang — sebagai warga negara, pengembang, dan pembuat kebijakan — kita dapat menciptakan dunia tempat teknologi menghormati privasi, memperkuat keadilan, dan mendapatkan kepercayaan.