Şu anda bir yerlerde, hiç konuşmadığınız — belki de adını bile duymadığınız — bir şirket, kredi, daire alıp almayacağınıza ve hatta hapiste ne kadar kalacağınıza karar veriyor olabilir.

Algoritmaların sosyal medyada ne göreceğimizi ve kiminle konuşacağımızı şekillendirme gücünü zaten biliyoruz. Ancak bu sadece yüzey. Algoritmalar düzinelerce başka sektöre derinlemesine gömülüdür ve genellikle hayat değiştiren etkileri olan kararlar alırlar. Ve veri simsarlarından aldıkları verilere güvenirler.

Ama nasıl çalışır? Veri simsarlarının bu algoritmaları beslemedeki rolü tam olarak nedir? Bu karanlık işin gerçek dünyadaki sonuçları nelerdir? Ve en önemlisi: Özellikle yapay zeka odaklı karar vermenin katlanarak arttığı bir geleceğe doğru hızla ilerlerken adilliği ve hesap verebilirliği sağlamak için ne yapabiliriz?

Veri simsarlarının gizli rolü

Veri simsarları, finansal kayıtlarınızdan ve alışveriş alışkanlıklarınızdan web taramanıza ve gerçek zamanlı konumunuza kadar her şeyi toplayarak(yeni pencere) muazzam miktarda kişisel veri toplayan ve satan kâr amaçlı kuruluşlardır. Bu devasa — ve kazançlı — bir endüstridir. 270 milyar dolarlık bir pazar haline gelen dünya genelinde tahminen 5.000 veri simsarı şirketi(yeni pencere) faaliyet göstermektedir.

Büyüklüğüne rağmen, endüstri neredeyse kapsamlı bir denetimle(yeni pencere) karşılaşmamaktadır (en azından ABD’de), bu da simsarların talep olan her türlü veriyi toplayıp satacağı anlamına gelir. Ayrıca sattıkları verilerin doğru olduğundan emin olmak(yeni pencere) için çok az teşvikleri olduğu anlamına gelir.

Veri simsarları hakkında ayrıntılı bilgi alın

Reklamcılardan ABD hükümet departmanlarına kadar her türlü kuruluş, ayrıntılı, mahrem bilgiler elde etmek için veri simsarlarına başvurur. Giderek artan bir şekilde, şirketler bu verileri algoritmalarını beslemek ve ABD genelindeki insanların günlük yaşamlarını etkileyen kararlar almak için kullanıyor. Veri simsarları tarafından toplanan ve satılan bilgiler — genellikle hatalarla dolu veriler — insanların ödediği faiz oranlarını, kredi için onaylanıp onaylanmadıklarını, bir daire kiralayıp kiralayamayacaklarını veya bir işe girip giremeyeceklerini belirlemek için kullanılır.

İşte paylaştığınızı hiç bilmediğiniz bilgilerin yaşam gidişatınızı görünmez bir şekilde değiştirebileceği üç durum.

Algoritmik yüklenim

Bankalar ve diğer fintek sağlayıcıları, ipotek, işletme kredisi veya kredi kartları için kimin onaylanacağını belirlemek üzere algoritmaları benimseyen ilk endüstrilerden bazılarıydı. Birinin krediyi geri ödeyip ödemeyeceğini tahmin etmek için geleneksel kredi puanlarının yanı sıra bir dizi başka alternatif veriye (fatura ödemeleri, eğitim, hatta formları nasıl doldurduğunuz) güvenirler. Sonuç, görünüşte benzer adaylar için farklı sonuçlar verebilen bir kara kutu sistemidir.

2021 tarihli bir The Markup araştırması(yeni pencere), borç verenlerin belirli başvuru sahiplerini benzer nitelikteki beyaz başvuru sahipleriyle karşılaştırırken şunları buldu:

  • Latin kökenli başvuru sahiplerine konut kredisini reddetme olasılığı yüzde 40 daha fazla
  • Asyalı/Pasifik Adalı başvuru sahiplerini reddetme olasılığı yüzde 50 daha fazla
  • Yerli Amerikalıları reddetme olasılığı yüzde 70 daha fazla
  • Siyah başvuru sahiplerini reddetme olasılığı yüzde 80 daha fazla

Bu eşitsizlikler, endüstrinin geleneksel olarak bu düşük onay oranlarından sorumlu tuttuğu faktörler kontrol edildikten sonra bile devam etti.

İstatistiklerle çalışmış olan herkes, modellerin ancak onlara beslenen veriler kadar iyi olduğunu bilir. Bu veriler örneğin bir ayrımcılık (redlining)(yeni pencere) geçmişini yansıtıyorsa, model çarpık olacaktır. Ve bu modeller, sosyal medya akışınız(yeni pencere) veya adınızı TAMAMI BÜYÜK HARFLERLE yazıp yazmadığınız(yeni pencere) gibi her türlü veriyi içerir. Bir fintek CEO’sunun dediği gibi, “Tüm veriler kredi verisidir.”

Ve bu algoritmalarla, genellikle reddedilmeye yol açan faktörü tam olarak belirlemek zordur. Bu verilerin ne kadar alakasız göründüğü ve veri simsarlarının ne sıklıkla yanlış ve güncel olmayan bilgilere sahip olduğu göz önüne alındığında gerekli olması gereken itiraz etmeyi veya düzeltme sunmayı insanlar için imkansız hale getirir.

Veri odaklı kiracı geçmişi kontrolleri

Kiralamaya karar verirseniz, algoritmalardan kaçamazsınız. Ev sahipleri ve mülk yöneticileri, başvuru sahipleri üzerinde geçmiş kontrolleri yapmak için veri simsarlarına güvenen LeasingDesk veya RentGrow gibi otomatik kiracı tarama hizmetlerine giderek daha fazla yöneliyor. Bu hizmetler, başvuru sahiplerinin kredi puanlarına, tahliye dosyalarına, sabıka kayıtlarına ve diğer birçok kişisel veriye bakarak bir kiracının ne kadar riskli olabileceğini ölçmeye çalışır. Sonuç olarak birçok insan, şüpheli veya güncel olmayan veriler nedeniyle barınma hakkından mahrum bırakılıyor.

2021 yılında Federal Ticaret Komisyonu (FTC), bir kiracı tarama hizmeti olan AppFolio’ya, başvuru sahiplerini yanlış tanımlayan(yeni pencere) ve iptal edilmiş veya çözülmüş tahliye bildirimleri gibi güncel olmayan bilgiler içeren geçmiş raporları sattığı için 4,25 milyon dolar para cezası verdi. Bu hataların gerçek dünyada sonuçları oldu ve insanları yaşayacak başka bir yer bulmaya zorladı.

Bu puanları üreten algoritmalar da bir kara kutudur. 2021’de ProPublica mükemmel bir kredi puanına(yeni pencere) (750’nin üzerinde), sabıka kaydı olmayan ve tahliyesi olmayan bir kiracıyla konuştu. Buna rağmen, hiçbir açıklama yapılmadan 1.000 üzerinden 685 kiracı puanı (D’ye eşdeğer) aldı. Güvence bedeli olarak fazladan bir aylık kira ödemek zorunda kaldı. Çoğu kiracı gibi, puanının neden bu kadar düşük olduğu veya nasıl düzeltileceği konusunda hiçbir fikri yoktu.

Algoritma tarafından belirlenen kefalet

Gizli, veri simsarı destekli algoritmaların belki de en önemli kullanımı ceza adaleti sistemindedir. Ülke genelindeki mahkemeler ve kolluk kuvvetleri, yargıçların sanığa kefalet veya duruşma öncesi tahliye verip vermeme kararına yardımcı olmak için algoritmik risk değerlendirme araçlarını benimsemiştir. Bazı durumlarda, bu araçlar ceza ve şartlı tahliye kararına bile yardımcı olur. Algoritmalar girdi verilerini (birinin sabıka kaydı, yaşı, istihdam durumu ve bazen konumu veya aile geçmişi gibi) alır ve kişinin yeniden suç işleme veya mahkemeye çıkmama riskini yansıttığı varsayılan bir puan hesaplar.

Bu sistemlerin destekçileri, bu kararları otomatikleştirmenin nesnelliği sağladığını iddia ediyor. Sonuçta, insan yargıçlar her zaman tutarsız ve önyargılı olmakla suçlanıyor. Ancak, otomatik kredi yüklenimi ve kiracı taramasına benzer şekilde, bu kararlar verilere dayanır. Veriler güvenilmez, yanlış veya önyargılıysa, bulguları da öyle olacaktır.

2016 yılında ProPublica, Alternatif Yaptırımlar için Islah Suçlusu Yönetimi Profili Oluşturma veya COMPAS üzerine bir araştırma(yeni pencere) yürüttü. Kâr amacı güden Northpointe (şimdiki adıyla Equivant Supervision) şirketi tarafından geliştirilen bu yaygın olarak kullanılan sistemin, Siyah sanıklar için ezici sayıda yanlış pozitif ve beyaz sanıklar için yanlış negatif sonuçlar verdiği bulundu. Başka bir deyişle, yeniden suç işlemeyen Siyah sanıkların algoritma tarafından yüksek riskli olarak etiketlenme olasılığı beyaz sanıklara göre neredeyse iki kat daha fazlayken, yeniden suç işleyen beyaz sanıklar daha sık düşük riskli olarak yanlış etiketlendi. (Northpointe, ProPublica’nın raporunun geçerliliğine itiraz etti.)

Benzer şekilde, Birleşik Krallık adalet sistemindeki yapay zeka üzerine 2022 incelemesinde(yeni pencere), Lordlar Kamarası Adalet ve İçişleri Komitesi, “orijinal verilerde yer alan insan önyargısı tehlikelerinin yansıtılması ve algoritmalar tarafından alınan kararlara daha da gömülmesi konusunda endişeler” olduğunu söyledi.

Algoritma tescilli olduğu ve ortaya çıkardığı puanlar mahkemede nadiren açıklandığı için sanıkların bu puanlara itiraz etmek adına yapabileceği çok az şey vardır. Bu, bir sanığın özgürlüğünün bilinmeyen ve genellikle güvenilmez veriler kullanan açıklanmamış bir model tarafından oluşturulan gizli bir puana bağlı olabileceği anlamına gelir.

Veri destekli algoritmalarla ilgili yaygın sorunlar

Karar verme süreci otomatikleştirildiğinde — kredi yüklenimi, kiracı taraması veya sanık risk değerlendirmesi olsun — birkaç sorun tekrar tekrar ortaya çıkar:

Verilerin güvenilirliği: Bir algoritmaya verdiğiniz veriler güvenilmez, yanlış veya önyargılıysa, vereceği bulgular da bu hataları yansıtacaktır.

Şeffaflık eksikliği: Algoritmalar tescilli olduğunda, veri konusunun değerlendirmesini iki kez kontrol etmesi veya buna itiraz etmesi imkansızdır (ve bu, puanın farkında olduklarını varsayarsak).

Uygunsuz ve kişisel verilerin kullanımı: Birçoğu, bir formu nasıl doldurduğunuzun kredi alıp alamayacağınızı etkilememesi gerektiğini ve insanların isterlerse diğer hassas, kişisel veri türlerini gizli tutabilmeleri gerektiğini savunacaktır.

Yapay zeka bunları benimsemeden önce bu sorunları çözmeliyiz

Rotayı düzeltmemiz birkaç nedenden dolayı önemlidir. Birincisi, yukarıda açıklanan algoritmik sistemlerden giderek daha fazla hayat etkileniyor. İkincisi, veri simsarları tarafından giderek daha fazla bilgi toplanıyor — veri simsarı pazarının 2030 yılına kadar 470 milyar dolardan(yeni pencere) fazla değere sahip olması bekleniyor. Üçüncüsü, algoritmaların verilerde zaten mevcut olan önyargıları pekiştirdiği tespit edilen öngörücü polislik(yeni pencere) ve sağlık riski tahmini(yeni pencere) gibi yeni sektörlere her zaman genişliyor.

Ancak bunu şimdi düzeltmemizin açık ara en önemli nedeni, yapay zeka ile bu durumdan kaçınmaktır. Bu sistemler bugünün yapay zeka tekliflerine kıyasla çok temel olduğundan, bu makale boyunca çoğunlukla algoritma terimini kullandım ancak belirli bir görev için temel yapay zeka asistanları olarak işlev görüyorlar. Ve çok daha güçlü yapay zeka sohbet robotları giderek daha fazla sisteme, iş akışına ve kuruluşa entegre edildikçe, bu tür sorunları çok daha büyük bir ölçekte çoğaltma potansiyeline sahipler.

Ve halk şimdiden alarm veriyor. ABD halkının (ve yapay zeka profesyonellerinin)(yeni pencere) yarısından fazlası, yapay zekanın hayatlarında nasıl kullanıldığı üzerinde daha fazla kontrol istiyor.

Kontrolü nasıl geri alırsınız

Gizli algoritmalar ve bunları mümkün kılan veri simsarı ekosisteminin dizginlenmesi gerekiyor. Teknolojinin topluma karşı değil, toplum için çalışmasını nasıl sağlarız? Gizlilik ve yapay zeka etiği uzmanları çok yönlü bir yaklaşım önerdiler:

Yasal reform ve denetim: Hükümetler — özellikle ABD hükümeti — kontrolsüz veri sömürüsüne izin veren boşlukları kapatarak veri simsarlarını ve algoritmik karar vermeyi düzenleyen yasaları güncellemelidir. ABD federal bir gizlilik yasası geçirmelidir. Ne yazık ki işler ters yöne gidiyor. Tüketici Finansmanını Koruma Bürosu, veri simsarlarının daha doğru kayıtlar tutmasını ve verileri kime satabileceklerini sınırlamasını gerektirecek bir öneriyi yakın zamanda geri çekti(yeni pencere).

Algoritmik şeffaflık: Hesap verebilirliği sağlamak için, yaşamı etkileyen kararlar almak üzere yapay zeka kullanan şirketler, algoritmalarının arkasındaki temel faktörleri açıklamalı ve bağımsız denetimlere izin vermelidir. Şeffaflık olmadan tüketiciler zararlı otomatik kararları anlayamaz, itiraz edemez veya düzeltemez. AB’nin Yapay Zeka Yasası(yeni pencere) ve New York City’nin yerel yasası(yeni pencere) anlamlı denetime yönelik adımlardır.

İnsan denetimi ve kararların incelenmesi: Bir kişinin haklarını veya geçimini etkileyen hiçbir karar tamamen bir algoritmaya bırakılmamalıdır — bireylerin insan incelemesi hakkı olmalıdır. Eğitimli personeli döngüde tutarak ve itirazları mümkün kılarak, otomatik sistemlerin hesap verebilir, bağlamsal ve insani kalmasını sağlayabiliriz. Bu zaten Avrupa’da GDPR(yeni pencere) kapsamında mevcuttur ancak ABD’ye de genişletilmelidir.

Kişisel düzeyde veri minimizasyonu: Bu bunaltıcı görünebilir, ancak veri simsarlarının sizden ne kadar veri aldığını sınırlamak için yapabileceğiniz şeyler vardır. Nakit ödeyin. Uçtan uca şifrelenmiş hizmetler kullanın. İnternette güvenilir bir VPN(yeni pencere), reklam engelleyici(yeni pencere) ve gizlilik odaklı tarayıcı ile gezinin. Bu basit önlemler, adil olmayan algoritmik kararları besleyen ham verileri sınırlayabilir.

Daha iyi bir internet ve daha iyi bir dünya için

Algoritmalar konut ve krediden istihdam ve adalete kadar kritik yaşam kararlarını giderek daha fazla etkiledikçe, şeffaf olmayan sistemlerle ve onları güçlendiren kontrolsüz veri akışlarıyla yüzleşmeliyiz. Bu teknolojiler verimlilik vaat ediyor ancak özellikle düzenlenmemiş veri simsarları tarafından beslendiklerinde genellikle önyargı, dışlanma ve zarar getiriyor.

Rotayı değiştirmek için şeffaflığı zorunlu kılan, sömürücü veri uygulamalarını sınırlayan ve en çok önem arz eden yerlerde insan denetimini garanti eden yasalara ihtiyacımız var. Daha adil bir dijital gelecek inşa etmek, algoritmik kara kutuları kırmak ve insanları karar verme sürecinin merkezine geri koymak anlamına gelir. Şimdi harekete geçersek — vatandaşlar, geliştiriciler ve politika yapıcılar olarak — teknolojinin gizliliğe saygı duyduğu, adilliği pekiştirdiği ve güvenimizi kazandığı bir dünya yaratabiliriz.