अभी, कहीं न कहीं, एसी कंपनी — जिससे आपने कभी बात नहीं की, शायद जिसके बारे में सुना भी नहीं — फैसला कर रही हो सकती है कि आपको लोन मिलेगा या नहीं, अपार्टमेंट मिलेगा या नहीं, या यहां तक कि आप जेल में कितना वक्त बिताएंगे।

हम पहले से जानते हैं कि एल्गोरिदम की ताकत सोशल मीडिया पे हमें क्या दिखाती है और हम किससे बात करते हैं, उसे आकार देने में। लेकिन ये तो सिर्फ ऊपरी परत है। एल्गोरिदम दर्जनों दूसरी इंडस्ट्रीज़ में गहरे अंदर डाले जा चुके हैं और अक्सर ऐसे फैसले लेते हैं जिनका असर जिंदगी बदलने वाला होता है। और ये उस डाटा पे निर्भर करते हैं जो उन्हें डाटा ब्रोकर से मिलता है।

लेकिन ये कैसे काम करता है? इन एल्गोरिदम को डाटा देने में डाटा ब्रोकर की भूमिका ठीक क्या है? इस धंधे के असली दुनिया पे क्या असर हैं? और सबसे ज़रूरी: निष्पक्षता और जवाबदेही यकीनी बनाने के लिए हम क्या कर सकते हैं, खासकर तब जब हम ऐसे भविष्य की तरफ तेज़ी से बढ़ रहे हैं जिसमें AI-संचालित फैसले बेतहाशा बढ़ेंगे?

डाटा ब्रोकर की छिपी भूमिका

डाटा ब्रोकर ऐसे मुनाफ़ाखोर संगठन हैं जो व्यक्तिगत डाटा की बहुत बड़ी मात्रा इकट्ठा करके बेचते हैं और आपके वित्तीय रिकॉर्ड और शॉपिंग आदतों से लेकर(नई विंडो) आपकी वेब ब्राउज़िंग और रीयल-टाइम स्थान तक सब कुछ जमा करते हैं। ये एक विशाल — और फ़ायदेमंद — इंडस्ट्री है। अनुमान है कि दुनियाभर में 5,000 डाटा ब्रोकर कंपनियां(नई विंडो) काम कर रही हैं, जो अब $270 बिलियन की मार्केट बन चुकी है।

अपने साइज़ के बावजूद, इस इंडस्ट्री पर लगभग कोई व्यापक निगरानी नहीं है(नई विंडो) (कम से कम US में), यानी ब्रोकर कोई भी डाटा इकट्ठा और बेच देंगे जिसकी मांग हो। इसका ये मतलब भी है कि उनके पास ये यकीनी बनाने की(नई विंडो) बहुत कम वजह है कि वो जो डाटा बेचते हैं वो सही है।

डाटा ब्रोकर के बारे में और जानें

विज्ञापनदाताओं से लेकर US सरकार के विभागों तक, हर तरह के संगठन बारीक और निजी जानकारी के लिए डाटा ब्रोकर के पास जाते हैं। दिन-ब-दिन ज़्यादा कंपनियां इस डाटा को अपने एल्गोरिदम को खिलाने और ऐसे फैसले लेने के लिए इस्तेमाल कर रही हैं जो पूरे US में लोगों की रोज़मर्रा की जिंदगी पे असर डालते हैं। डाटा ब्रोकर के इकट्ठा किए और बेचे गए डाटा — जो अक्सर एरर से भरा होता है — का इस्तेमाल ये तय करने के लिए होता है कि लोग कितना ब्याज देंगे, उन्हें लोन मिलेगा या नहीं, और यहां तक कि वो अपार्टमेंट किराए पे ले पाएंगे या नौकरी पा सकेंगे या नहीं।

यहां तीन ऐसे मौके हैं जिनमें आपकी वो जानकारी, जिसे आपने शेयर किया होने का पता भी नहीं था, चुपचाप आपकी जिंदगी की दिशा बदल सकती है।

एल्गोरिदमिक अंडरराइटिंग

बैंक और दूसरे फिनटेक प्रोवाइडर एल्गोरिदम अपनाने वाली पहली इंडस्ट्रीज़ में थे, जो उन्हें ये तय करने के लिए इस्तेमाल करते हैं कि मॉर्गेज, बिज़नेस लोन या क्रेडिट कार्ड किसे मिलेगा। वो पारंपरिक क्रेडिट स्कोर के साथ कई तरह के अन्य, वैकल्पिक डाटा (यूटिलिटी पेमेंट, शिक्षा, यहां तक कि आप फॉर्म कैसे भरते हैं) का इस्तेमाल करके अंदाज़ा लगाते हैं कि कोई लोन वापस करेगा या नहीं। नतीजा एक ब्लैक-बॉक्स सिस्टम है जो एक जैसे दिखने वाले उम्मीदवारों के लिए बिल्कुल अलग नतीजे दे सकता है।

2021 में The Markup की जांच(नई विंडो) में पता चला कि लेंडर, कुछ आवेदकों की तुलना उसी कोटि के योग्य व्हाइट आवेदकों से करने पर:

  • लैटिनो आवेदकों को होम लोन देने से 40% ज़्यादा इनकार करने की संभावना थी
  • एशियाई/पैसिफ़िक आइलैंडर आवेदकों को देने से 50% ज़्यादा इनकार करने की संभावना थी 
  • नेटिव अमेरिकियों को देने से 70% ज़्यादा इनकार करने की संभावना थी
  • ब्लैक आवेदकों को 80% ज़्यादा खारिज करने की संभावना थी 

ये असमानताएं तब भी बनी रहीं, भले ही उन कारकों को कंट्रोल किया गया था जिन्हें इंडस्ट्री पारंपरिक रूप से इन कम अप्रूवल दरों की वजह मानती है।

जिसने भी सांख्यिकी के साथ काम किया है, वो जानता है कि मॉडल उतने ही अच्छे होते हैं जितना उनमें डाला गया डाटा। अगर वो डाटा, उदाहरण के लिए, रेडलाइनिंग(नई विंडो) के इतिहास को दिखाता है, तो मॉडल तिरछा होगा। और इन मॉडल में हर तरह का डाटा होता है, जैसे आपकी सोशल मीडिया फीड(नई विंडो) या यहां तक कि ये भी कि आपने अपना नाम ALL CAPS में टाइप किया(नई विंडो)। जैसा एक फिनटेक CEO ने कहा, “सारा डाटा क्रेडिट डाटा है।”

और इन एल्गोरिदम के साथ अक्सर ये पता लगाना मुश्किल होता है कि इनकार की वजह कौन सा कारक था। इससे लोगों के लिए अपील करना या सुधार देना नामुमकिन हो जाता है, जबकि ये ज़रूरी होना चाहिए, क्योंकि इस डाटा में से बहुत कुछ असंबंधित लगता है और डाटा ब्रोकर के पास अक्सर गलत और पुरानी जानकारी होती है।

डाटा-आधारित किरायेदार बैकग्राउंड चेक

अगर आप किराए पे रहने का फैसला करते हैं, तो एल्गोरिदम से नहीं बच सकते। लैंडलॉर्ड और प्रॉपर्टी मैनेजर दिन-ब-दिन ज़्यादा LeasingDesk या RentGrow जैसी ऑटोमेटेड टेनेंट-स्क्रीनिंग सर्विसेज़ का इस्तेमाल कर रहे हैं, जो आवेदकों के बैकग्राउंड चेक के लिए डाटा ब्रोकर पे निर्भर करती हैं। ये सर्विसेज़ आवेदकों के क्रेडिट स्कोर, बेदखली की फाइलिंग, क्रिमिनल रिकॉर्ड और कई तरह के दूसरे व्यक्तिगत डाटा को देखकर अंदाज़ा लगाने की कोशिश करती हैं कि किरायेदार कितना रिस्की हो सकता है। नतीजा ये है कि कई लोगों को शक की कमर वाले या पुराने डाटा की वजह से रहने की जगह से इनकार कर दिया जाता है।

2021 में, फेडरल ट्रेड कमीशन (FTC) ने टेनेंट-स्क्रीनिंग सर्विस AppFolio पर आवेदकों की गलत पहचान करने वाली बैकग्राउंड रिपोर्ट बेचने(नई विंडो) और पुरानी जानकारी रखने का $4.25 मिलियन का जुर्माना लगाया, जैसे खारिज हो चुके या सुलझ चुके बेदखली नोटिस। इन गलतियों का असली दुनिया पे असर हुआ, जिससे लोगों को रहने की दूसरी जगह ढूंढनी पड़ी।

ये स्कोर बनाने वाले एल्गोरिदम भी एक ब्लैक बॉक्स हैं। 2021 में, ProPublica ने एक किरायेदार से बात की(नई विंडो), जिसका क्रेडिट स्कोर बेहतरीन था (750 से ज़्यादा), कोई क्रिमिनल रिकॉर्ड नहीं था और न कभी बेदखली हुई थी। इसके बावजूद, उसे 1,000 में से 685 टेनेंट स्कोर मिला — यानी D के बराबर — बिना किसी व्याख्या के। उसे सिक्योरिटी डिपॉज़िट के तौर पे एक महीने का एक्स्ट्रा किराया देना पड़ा। ज़्यादातर किरायेदारों की तरह, उसे नहीं पता था कि उसका स्कोर इतना कम क्यों है या इसे कैसे ठीक करें।

एल्गोरिदम से तय होने वाली जमानत

शायद छिपे हुए, डाटा-ब्रोकर-संचालित एल्गोरिदम का सबसे गंभीर असर आपराधिक न्याय प्रणाली में है। देशभर की अदालतों और कानून प्रवर्तन एजेंसियों ने एल्गोरिदमिक रिस्क आकलन टूल्स अपना लिए हैं ताकि जजों को ये फैसला करने में मदद मिल सके कि आरोपियों को जमानत या मुकदमे से पहले की रिहाई देनी है या नहीं। कुछ मामलों में, ये टूल्स सज़ा और पैरोल तय करने में भी मदद करते हैं। एल्गोरिदम इनपुट डाटा लेते हैं (जैसे किसी का क्रिमिनल रिकॉर्ड, उम्र, रोज़गार की स्थिति, और कभी-कभी स्थान या पारिवारिक पृष्ठभूमि) और एक स्कोर निकालते हैं जो दावे के मुताबिक उस व्यक्ति के फिर अपराध करने या अदालत में न आने के रिस्क को दर्शाता है।

इन सिस्टम के समर्थक दावा करते हैं कि इन फैसलों को ऑटोमेट करने से निष्पक्षता यकीनी होती है। आखिर, इंसानी जजों पर हमेशा असंगति और पक्षपात का आरोप लगता रहता है। लेकिन ऑटोमेटेड लोन अंडरराइटिंग और टेनेंट स्क्रीनिंग की तरह, ये फैसले भी डाटा पे निर्भर करते हैं। अगर डाटा अविश्वसनीय, गलत या पक्षपाती है, तो उसके नतीजे भी वैसे ही होंगे।

2016 में, ProPublica ने COMPAS की जांच(नई विंडो) की — Correctional Offender Management Profiling for Alternative Sanctions। मुनाफ़ाखोर कंपनी Northpointe (अब Equivant Supervision) द्वारा विकसित ये व्यापक रूप से इस्तेमाल होने वाला सिस्टम ब्लैक डिफेंडेंट्स के लिए बहुत ज़्यादा झूठे पॉज़िटिव और व्हाइट डिफेंडेंट्स के लिए झूठे नेगेटिव देने के लिए पाया गया। यानी, जिन ब्लैक डिफेंडेंट्स ने दोबारा अपराध नहीं किया, उनके एल्गोरिदम द्वारा हाई-रिस्क लेबल होने की संभावना लगभग दोगुनी थी, जबकि जो व्हाइट डिफेंडेंट्स आगे दोबारा अपराध करते हैं, उन्हें अक्सर गलत तरीके से लो-रिस्क लेबल दिया जाता था। (Northpointe ने ProPublica की रिपोर्ट की वैधता पर सवाल उठाए हैं।)

इसी तरह, UK के न्याय प्रणाली में AI पर 2022 की समीक्षा(नई विंडो) में, हाउस ऑफ लॉर्ड्स जस्टिस एंड होम अफेयर्स कमेटी ने कहा कि “इस बात की चिंता है कि एल्गोरिदम द्वारा लिए गए फैसलों में मूल डाटा में मौजूद इंसानी पक्षपात के खतरे झलकते हैं और गहराई से अंदर डाले जाते हैं”।

इन स्कोर को चुनौती देने के लिए डिफेंडेंट्स के पास बहुत कुछ नहीं है, क्योंकि एल्गोरिदम प्रोप्राइटरी है और वो जो स्कोर निकालते हैं वो अदालत में शायद ही कभी दिखाए जाते। इसका मतलब है कि किसी डिफेंडेंट की आज़ादी एक गुप्त स्कोर पे टिक सकती है, जो एक ऐसे अनघोषित मॉडल द्वारा अज्ञात और अक्सर अविश्वसनीय डाटा से बनाया गया है।

डाटा से चलने वाले एल्गोरिदम की आम समस्याएं

जब भी फैसले ऑटोमेट होते हैं — चाहे लोन अंडरराइटिंग, टेनेंट स्क्रीनिंग या डिफेंडेंट रिस्क आकलन में — कई समस्याएं बार-बार सामने आती हैं:

डाटा की भरोसेमंदी: अगर आप एल्गोरिदम को दिया डाटा अविश्वसनीय, गलत या पक्षपाती है, तो वो देने वाले किसी भी नतीजे में वोही कमियां झलकेंगी।

पारदर्शिता की कमी: जब एल्गोरिदम प्रोप्राइटरी होते हैं, तो डाटा विषय के लिए उसके आकलन को दोबारा जांचना या चुनौती देना नामुमकिन है (और ये मानकर चल रहे हैं कि उन्हें शुरू में ही स्कोर के बारे में पता है)।

अनुचित और व्यक्तिगत डाटा का इस्तेमाल: कई लोग ये कहेंगे कि आप फॉर्म कैसे भरते हैं, इसका असर ये नहीं होना चाहिए कि आपको लोन मिलेगा या नहीं, और लोग चाहें तो अपना दूसरा संवेदनशील, व्यक्तिगत डाटा निजी रख सकें।

AI इन समस्याओं को अपनाए से पहले हमें इन्हें ठीक करना होगा

कई वजहों से दिशा बदलना ज़रूरी है। पहली, ऊपर बताए गए एल्गोरिदमिक सिस्टम से दिन-ब-दिन ज़्यादा लोगों की जिंदगी प्रभावित हो रही है। दूसरी, डाटा ब्रोकर के पास दिन-ब-दिन ज़्यादा जानकारी जमा हो रही है — अनुमान है कि 2030 तक डाटा ब्रोकर मार्केट की कीमत $470 बिलियन से ज़्यादा(नई विंडो) होगी। तीसरी, एल्गोरिदम हर वक्त नए क्षेत्रों में फैल रहे हैं, जैसे प्रेडिक्टिव पुलिसिंग(नई विंडो) और हेल्थ रिस्क प्रेडिक्शन(नई विंडो), जहां पाया गया है कि एल्गोरिदम ने वो पक्षपात और मज़बूत किए जो पहले से डाटा में मौजूद थे।

लेकिन अभी इसे ठीक करने की सबसे ज़रूरी वजह AI के साथ ये स्थिति टालना है। मैंने इस लेख में ज़्यादातर एल्गोरिदम शब्द इस्तेमाल किया, क्योंकि आज की AI तुलना में ये सिस्टम बहुत बुनियादी हैं, लेकिन वो किसी खास काम के लिए बुनियादी AI असिस्टेंट की तरह काम करते हैं। और जैसे-जैसे बहुत ज़्यादा ताकतवर AI चैटबॉट और सिस्टम, वर्कफ़्लो और संगठनों में शामिल हो रहे हैं, इनके पास इस तरह की समस्याओं को बहुत बड़े पैमाने पे दोहराने की क्षमता है।

और जनता पहले से चेतावनी दे रही है। US जनता का आधे से ज़्यादा हिस्सा (और AI प्रोफेशनल्स)(नई विंडो) चाहते हैं कि उनकी जिंदगी में AI का इस्तेमाल कैसे हो, इस पर उनका कंट्रोल ज़्यादा हो।

कंट्रोल वापस कैसे लें

छिपे हुए एल्गोरिदम और उन्हें सक्षम करने वाले डाटा-ब्रोकर इकोसिस्टम को काबू करने की ज़रूरत है। हम कैसे यकीनी बनाएं कि तकनीक समाज के लिए काम करे, उसके खिलाफ नहीं? निजता और AI एथिक्स के एक्सपर्ट्स ने एक बहुपहलू तरीका सुझाया है:

कानूनी सुधार और निगरानी: सरकारों को — खासकर US सरकार को — डाटा ब्रोकर और एल्गोरिदमिक फैसलों को नियंत्रित करने वाले कानूनों को अपडेट करना होगा, ताकि बिना रोक-टोक डाटा के शोषण की गुंजाइश बंद हो सके। US को एक फेडरल निजता कानून पास करना चाहिए। बदकिस्मती से, चीज़ें उल्टी दिशा में जा रही हैं। कंज्यूमर फाइनेंस प्रोटेक्शन ब्यूरो ने हाल ही में एक प्रस्ताव वापस लिया(नई विंडो) जिसमें डाटा ब्रोकर से ज़्यादा सही रिकॉर्ड रखने और ये सीमित करने की मांग की गई थी कि वो डाटा किसे बेच सकते हैं।

एल्गोरिदमिक पारदर्शिता: जवाबदेही सुनिश्चित करने के लिए, ज़िंदगी पर असर डालने वाले फैसले लेने के लिए AI इस्तेमाल करने वाली कंपनियों को अपने एल्गोरिदम के पीछे के मुख्य कारकों का खुलासा करना होगा और स्वतंत्र ऑडिट की इजाज़त देनी होगी। पारदर्शिता के बिना, उपभोक्ता नुकसानदेह ऑटोमेटेड फैसलों को समझ नहीं पाते, उन पर चुनौती नहीं दे पाते या उन्हें सुधार नहीं पाते। EU AI Act और न्यूयॉर्क सिटी का स्थानीय कानून(नई विंडो) सार्थक निगरानी की दिशा में कदम हैं।

फैसलों की इंसानी निगरानी और समीक्षा: किसी व्यक्ति के अधिकारों या आजीविका को प्रभावित करने वाला कोई भी फैसला पूरी तरह एल्गोरिदम पे नहीं छोड़ा जाना चाहिए — व्यक्तियों को इंसानी समीक्षा का अधिकार होना चाहिए। प्रशिक्षित स्टाफ को प्रक्रिया में रखकर और अपील सक्षम करके, हम यकीनी बना सकते हैं कि ऑटोमेटेड सिस्टम जवाबदेह, संदर्भ के मुताबिक और इंसानी बने रहें। ये यूरोप में GDPR(नई विंडो) के तहत पहले से मौजूद है, लेकिन इसे US तक बढ़ाया जाना चाहिए।

व्यक्तिगत स्तर पे डाटा मिनिमाइज़ेशन: ये बेहद मुश्किल लग सकता है, लेकिन आप कुछ चीज़ें करके ये सीमित कर सकते हैं कि डाटा ब्रोकर आपसे कितना डाटा लेते हैं। नकद पैसे दें। शुरु-से-अंत तक एन्क्रिप्ट सर्विसेज़ इस्तेमाल करें। भरोसेमंद VPN(नई विंडो), एड-ब्लॉकर(नई विंडो) और निजता-केंद्रित ब्राउज़र के साथ इंटरनेट ब्राउज़ करें। ये सीधे उपाय उस कच्चे डाटा को सीमित कर सकते हैं जो अन्यायपूर्ण एल्गोरिदमिक फैसलों को चलाता है।

बेहतर इंटरनेट और बेहतर दुनिया के लिए

जैसे-जैसे एल्गोरिदम जिंदगी के अहम फैसलों — रहन-सहन और क्रेडिट से लेकर रोज़गार और न्याय तक — पे असर डाल रहे हैं, हमें उन अपारदर्शी सिस्टम और बिना रोक-टोक डाटा प्रवाह का सामना करना होगा जो उन्हें चलाते हैं। ये तकनीकें कुशलता का वादा करती हैं, लेकिन अक्सर पक्षपात, बहिष्करण और नुकसान देती हैं, खासकर जब बिना नियंत्रण वाले डाटा ब्रोकर से चलती हैं।

दिशा बदलने के लिए, हमें ऐसे कानून चाहिए जो पारदर्शिता लागू करें, शोषणकारी डाटा प्रथाओं को सीमित करें, और जहां सबसे ज़रूरी हो वहां इंसानी निगरानी की गारंटी दें। एक ज़्यादा न्यायपूर्ण डिजिटल भविष्य बनाने का मतलब है एल्गोरिदमिक ब्लैक बॉक्स खोलना और लोगों को फैसलों के केंद्र में वापस लाना। अगर हम अभी काम करें — नागरिक, डेवलपर और नीति-निर्माता के तौर पे — तो हम एक ऐसी दुनिया बना सकते हैं जहां तकनीक निजता का सम्मान करे, निष्पक्षता को मज़बूत करे और हमारा भरोसा कमाए।