Ngay lúc này, ở một nơi nào đó, một công ty chưa từng trò chuyện cùng — thậm chí có thể chưa từng nghe tên — có thể đang quyết định việc người dùng có được vay tiền, thuê một căn hộ hay thậm chí là phải ngồi tù bao lâu.

Chúng ta đã biết sức mạnh của các thuật toán trong việc định hình những gì nhìn thấy và những người trò chuyện cùng trên mạng xã hội. Nhưng đó mới chỉ là bề nổi. Các thuật toán được nhúng sâu vào hàng tá ngành công nghiệp khác và thường đưa ra các quyết định có tác động thay đổi cuộc đời. Và chúng dựa trên dữ liệu lấy từ các bên môi giới dữ liệu.

Nhưng quy trình hoạt động như thế nào? Chính xác thì vai trò của các bên môi giới dữ liệu trong việc cung cấp dữ liệu cho các thuật toán này là gì? Hậu quả thực tế của hoạt động kinh doanh mờ ám này là gì? Và quan trọng nhất: Có thể làm gì để đảm bảo tính công bằng và trách nhiệm giải trình, đặc biệt là khi đang hướng tới một tương lai nơi việc ra quyết định do AI thúc đẩy phát triển theo cấp số nhân?

The hidden role of data brokers

Các bên môi giới dữ liệu là các tổ chức vì lợi nhuận chuyên thu thập và bán một lượng lớn dữ liệu cá nhân, tổng hợp mọi thứ(cửa sổ mới) từ hồ sơ tài chính và thói quen mua sắm cho đến lịch sử duyệt web và vị trí thời gian thực. Đây là một ngành công nghiệp khổng lồ và béo bở. Ước tính có khoảng 5.000 công ty môi giới dữ liệu(cửa sổ mới) hoạt động trên toàn thế giới trong một thị trường đã đạt quy mô 270 tỷ đô la.

Bất chấp kích thước của mình, ngành này hầu như không phải đối mặt với bất kỳ sự giám sát toàn diện nào(cửa sổ mới) (ít nhất là tại Mỹ), nghĩa là các bên môi giới sẽ thu thập và bán bất kỳ dữ liệu nào có nhu cầu. Điều đó cũng có nghĩa là họ có ít động lực để đảm bảo dữ liệu họ bán là chính xác(cửa sổ mới).

Tìm hiểu thêm về các bên môi giới dữ liệu

Tất cả các loại tổ chức, từ các nhà quảng cáo cho đến các bộ ban ngành của chính phủ Mỹ, đều tìm đến các bên môi giới dữ liệu để có được thông tin chi tiết và mang tính riêng tư. Ngày càng nhiều công ty đang sử dụng dữ liệu này để cung cấp cho các thuật toán của họ và đưa ra quyết định ảnh hưởng đến cuộc sống hàng ngày của người dân trên khắp nước Mỹ. Thông tin được thu thập và bán bởi các bên môi giới dữ liệu — dữ liệu thường chứa đầy lỗi — được sử dụng để xác định mức lãi suất mà mọi người phải trả, việc họ có được chấp thuận cho vay hay không, hay liệu họ có thể thuê một căn hộ hoặc kiếm được một công việc hay không.

Dưới đây là ba tình huống mà những thông tin tưởng chừng như chưa bao giờ chia sẻ có thể âm thầm làm thay đổi quỹ đạo cuộc sống.

Algorithmic underwriting

Các ngân hàng và nhà cung cấp công nghệ tài chính khác là một trong những ngành đầu tiên áp dụng thuật toán, sử dụng chúng để xác định ai được chấp thuận cho vay thế chấp, vay kinh doanh hoặc cấp thẻ tín dụng. Họ dựa vào điểm tín dụng truyền thống cùng với một loạt dữ liệu thay thế khác (thanh toán hóa đơn dịch vụ tiện ích, học vấn, thậm chí cả cách điền biểu mẫu) để dự đoán liệu một người có hoàn trả khoản vay hay không. Kết quả là một hệ thống hộp đen có thể đưa ra các kết quả khác nhau đối với những ứng viên có vẻ tương đồng.

Một cuộc điều tra vào năm 2021 của The Markup(cửa sổ mới) cho thấy các tổ chức cho vay, khi so sánh một số người đăng ký với những người đăng ký là người da trắng có điều kiện tương đương, đã:

  • Có khả năng từ chối cho vay mua nhà đối với những người đăng ký là người gốc Latinh cao hơn 40%
  • Có khả năng từ chối những người đăng ký là người gốc Á/Thái Bình Dương cao hơn 50% 
  • Có khả năng từ chối người Mỹ bản địa cao hơn 70%
  • Có khả năng từ chối những người đăng ký là người da đen cao hơn 80% 

Những sự chênh lệch này vẫn tiếp diễn ngay cả sau khi đã kiểm soát các yếu tố mà ngành này thường đổ lỗi cho tỷ lệ chấp thuận thấp hơn này.

Bất kỳ ai từng làm việc với số liệu thống kê đều biết rằng các mô hình chỉ tốt như dữ liệu được đưa vào chúng. Ví dụ, nếu dữ liệu đó phản ánh lịch sử phân biệt đối xử về nhà ở(cửa sổ mới), thì mô hình sẽ bị sai lệch. Và các mô hình này chứa đủ loại dữ liệu, chẳng hạn như bảng tin mạng xã hội(cửa sổ mới) hoặc thậm chí là việc nhập tên bằng CHỮ IN HOA(cửa sổ mới). Như một CEO fintech đã nói: “Tất cả dữ liệu đều là dữ liệu tín dụng.”

Và với các thuật toán này, thường rất khó để xác định chính xác yếu tố dẫn đến sự từ chối. Điều này khiến mọi người không thể khiếu nại hoặc đưa ra sửa đổi, vốn là điều cần phải có, khi cân nhắc xem phần lớn dữ liệu này có vẻ không liên quan trực tiếp như thế nào và các bên môi giới dữ liệu thường xuyên có thông tin không chính xác và lỗi thời ra sao.

Data-driven tenant background checks

Các chủ nhà và nhà quản lý bất động sản ngày càng chuyển sang sử dụng các dịch vụ sàng lọc người thuê nhà tự động, như LeasingDesk hoặc RentGrow, vốn dựa vào các bên môi giới dữ liệu để tiến hành kiểm tra lý lịch của những người nộp đơn. Các dịch vụ này cố gắng định lượng mức độ rủi ro của người thuê bằng cách xem xét điểm tín dụng của người nộp đơn, hồ sơ trục xuất, tiền án tiền sự và hàng loạt dữ liệu cá nhân khác. Kết quả là nhiều người bị từ chối cấp nhà ở do những dữ liệu đáng ngờ hoặc lỗi thời.

Vào năm 2021, Ủy ban Thương mại Liên bang (FTC) đã phạt AppFolio, một dịch vụ sàng lọc người thuê nhà, 4,25 triệu đô la vì bán các báo cáo lý lịch xác định sai người nộp đơn(cửa sổ mới) và chứa thông tin lỗi thời, như các thông báo trục xuất đã bị hủy bỏ hoặc đã được giải quyết. Những sai lầm này đã gây ra những hậu quả thực tế, buộc mọi người phải tìm nơi khác để sinh sống.

Các thuật toán tạo ra những điểm số này cũng là một hộp đen. Vào năm 2021, ProPublica đã trò chuyện với một người thuê nhà(cửa sổ mới) có điểm tín dụng xuất sắc (trên 750), không có tiền án tiền sự và chưa từng bị trục xuất. Bất chấp điều này, cô nhận được điểm người thuê nhà là 685 trên 1.000 — tương đương với điểm D — mà không có lời giải thích nào. Cô bị buộc phải trả thêm một tháng tiền thuê nhà làm tiền đặt cọc bảo đảm. Giống như hầu hết những người thuê nhà khác, cô không hiểu tại sao điểm số của mình lại thấp như vậy hay làm thế nào để khắc phục.

Tiền bảo lãnh được thiết lập bằng thuật toán

Có lẽ việc sử dụng thuật toán ẩn, do nhà môi giới dữ liệu cung cấp, mang lại hậu quả lớn nhất là trong hệ thống tư pháp hình sự. Các tòa án và cơ quan thực thi pháp luật trên khắp đất nước đã áp dụng các công cụ đánh giá rủi ro theo thuật toán để giúp các thẩm phán quyết định có nên cho phép bảo lãnh hoặc tại ngoại trước khi xét xử cho bị cáo hay không. Trong một số trường hợp, các công cụ này thậm chí còn giúp quyết định việc tuyên án và tha tù trước thời hạn. Các thuật toán lấy dữ liệu đầu vào (chẳng hạn như tiền án tiền sự, tuổi tác, tình trạng việc làm và đôi khi là vị trí hoặc hoàn cảnh gia đình của ai đó) và tính toán số điểm được cho là phản ánh rủi ro tái phạm hoặc không hầu tòa của người đó.

Những người ủng hộ hệ thống này tuyên bố rằng việc tự động hóa các quyết định này đảm bảo tính khách quan. Sau cùng, các thẩm phán là con người luôn bị cáo buộc là không nhất quán và thiên vị. Tuy nhiên, tương tự như việc xét duyệt khoản vay tự động và sàng lọc người thuê nhà, các quyết định này dựa trên dữ liệu. Nếu dữ liệu không đáng tin cậy, không chính xác hoặc bị thiên vị, các phát hiện của nó cũng sẽ như vậy.

Năm 2016, ProPublica đã tiến hành một cuộc điều tra về COMPAS(cửa sổ mới), hay Correctional Offender Management Profiling for Alternative Sanctions. Hệ thống được sử dụng rộng rãi này, do công ty vì lợi nhuận Northpointe (nay là Equivant Supervision) phát triển, được phát hiện là đưa ra một số lượng lớn kết quả dương tính giả đối với các bị cáo da đen và âm tính giả đối với các bị cáo da trắng. Nói cách cách khác, các bị cáo da đen không tái phạm có khả năng bị thuật toán gán nhãn rủi ro cao gần gấp đôi so với các bị cáo da trắng, trong khi các bị cáo da trắng thực sự tái phạm lại thường xuyên bị gán nhãn sai là rủi ro thấp. (Northpointe đã tranh chấp về tính hiệu lực của báo cáo từ ProPublica.)

Tương tự, trong đánh giá năm 2022 về AI trong hệ thống tư pháp của Vương quốc Anh(cửa sổ mới), Ủy ban Tư pháp và Nội vụ của Viện Quý tộc cho biết có “những lo ngại về mối nguy hiểm của sự thiên vị của con người chứa trong dữ liệu gốc được phản ánh và được nhúng sâu hơn vào các quyết định do thuật toán đưa ra.”

Bị cáo hầu như không thể làm gì để phản đối những điểm số này vì thuật toán là độc quyền và điểm số đưa ra hiếm khi được tiết lộ trước tòa. Điều này có nghĩa là tự do của bị cáo có thể phụ thuộc vào một điểm số bí mật do một mô hình không được tiết lộ tạo ra bằng cách sử dụng dữ liệu không xác định và thường không đáng tin cậy.

Các sự cố phổ biến với thuật toán dựa trên dữ liệu

Bất cứ khi nào việc ra quyết định được tự động hóa — dù là trong xét duyệt khoản vay, sàng lọc người thuê nhà hay đánh giá rủi ro bị cáo — một vài sự cố vẫn liên tục xuất hiện:

Độ tin cậy của dữ liệu: Nếu dữ liệu cung cấp cho thuật toán không đáng tin cậy, không chính xác hoặc bị thiên vị, thì bất kỳ kết quả nào thuật toán đưa ra cũng sẽ phản ánh những lỗi đó.

Thiếu minh bạch: Khi các thuật toán là độc quyền, chủ đề dữ liệu không thể kiểm tra lại hoặc thách thức đánh giá của nó (và đó là giả định họ biết về điểm số ngay từ đầu).

Sử dụng dữ liệu cá nhân không phù hợp: Nhiều người sẽ lập luận rằng cách điền vào một biểu mẫu không nên ảnh hưởng đến việc có được vay hay không và mọi người có quyền giữ riêng tư các loại dữ liệu cá nhân nhạy cảm khác nếu muốn.

Phải khắc phục những sự cố này trước khi AI áp dụng chúng

Việc điều chỉnh hướng đi là rất quan trọng vì một số lý do. Thứ nhất, ngày càng có nhiều cuộc sống bị ảnh hưởng bởi các hệ thống thuật toán được mô tả ở trên. Thứ hai, ngày càng có nhiều thông tin bị các nhà môi giới dữ liệu thu thập — thị trường môi giới dữ liệu dự kiến sẽ có trị giá hơn 470 tỷ USD vào năm 2030(cửa sổ mới). Thứ ba, các thuật toán liên tục mở rộng sang các lĩnh vực mới, chẳng hạn như hoạt động cảnh sát dự đoán(cửa sổ mới) và dự đoán rủi ro sức khỏe(cửa sổ mới), nơi người ta phát hiện ra các thuật toán đã củng cố những định kiến vốn đã có sẵn trong dữ liệu.

Nhưng lý do quan trọng nhất cần phải khắc phục điều này ngay bây giờ là để tránh tình trạng này xảy ra với AI. Thuật ngữ thuật toán được sử dụng xuyên suốt bài viết này vì các hệ thống này rất cơ bản so với các dịch vụ AI ngày nay, nhưng chúng hoạt động như các trợ lý AI cơ bản cho một nhiệm vụ cụ thể. Và khi các chatbot AI mạnh mẽ hơn nhiều được tích hợp vào ngày càng nhiều hệ thống, quy trình làm việc và tổ chức, chúng có khả năng nhân bản các loại sự cố này trên quy mô lớn hơn nhiều.

Và công chúng đang lên tiếng cảnh báo. Hơn một nửa công chúng Hoa Kỳ (và các chuyên gia AI)(cửa sổ mới) muốn kiểm soát nhiều hơn đối với cách AI được sử dụng trong cuộc sống của họ.

Cách giành lại quyền kiểm soát

Các thuật toán ẩn và hệ sinh thái môi giới dữ liệu kích hoạt chúng cần được kiểm soát. Làm thế nào để đảm bảo công nghệ hoạt động vì xã hội chứ không phải chống lại xã hội? Các chuyên gia về quyền riêng tư và đạo đức AI đã đề xuất một cách tiếp cận đa chiều:

Cải cách pháp lý và giám sát: Các chính phủ — đặc biệt là chính phủ Hoa Kỳ — phải cập nhật luật để quản lý các nhà môi giới dữ liệu và việc ra quyết định bằng thuật toán, lấp đầy các khoảng trống cho phép khai thác dữ liệu mà không bị kiểm soát. Hoa Kỳ phải thông qua một đạo luật về quyền riêng tư của liên bang. Thật không may, mọi thứ đang đi theo hướng ngược lại. Cục Bảo vệ Tài chính Người tiêu dùng gần đây đã rút lại một đề xuất(cửa sổ mới) yêu cầu các nhà môi giới dữ liệu phải lưu giữ hồ sơ chính xác hơn và giới hạn đối tượng họ có thể bán dữ liệu.

Tính minh bạch của thuật toán: Để đảm bảo trách nhiệm giải trình, các công ty sử dụng AI để đưa ra các quyết định ảnh hưởng đến cuộc sống phải tiết lộ các yếu tố chính đằng sau các thuật toán của họ và cho phép kiểm toán độc lập. Nếu không có sự minh bạch, người tiêu dùng không thể hiểu, thách thức hoặc sửa chữa các quyết định tự động có hại. Đạo luật AI của EU(cửa sổ mới) và luật địa phương của Thành phố New York(cửa sổ mới) là những bước hướng tới sự giám sát có ý nghĩa.

Sự giám sát và xem xét các quyết định của con người: Không có quyết định nào ảnh hưởng đến quyền lợi hoặc sinh kế của một người được phó mặc hoàn toàn cho thuật toán — các cá nhân phải có quyền được con người xem xét lại. Bằng cách duy trì nhân viên được đào tạo tham gia vào quá trình và kích hoạt quyền khiếu nại, có thể đảm bảo rằng các hệ thống tự động vẫn có trách nhiệm giải trình, phù hợp với ngữ cảnh và nhân văn. Điều này đã tồn tại ở Châu Âu theo GDPR(cửa sổ mới), nhưng nên được mở rộng sang Hoa Kỳ.

Tối thiểu hóa dữ liệu ở mức độ cá nhân: Điều này có vẻ quá tải, nhưng có những việc có thể làm để hạn chế lượng dữ liệu mà các nhà môi giới nhận được. Thanh toán bằng tiền mặt. Sử dụng các dịch vụ đã mã hóa đầu cuối. Duyệt internet bằng VPN đáng tin cậy(cửa sổ mới), trình chặn quảng cáo(cửa sổ mới) và trình duyệt tập trung vào quyền riêng tư. Những biện pháp đơn giản này có thể hạn chế dữ liệu thô cung cấp cho các quyết định thuật toán không công bằng.

Vì một mạng internet tốt hơn và một thế giới tốt đẹp hơn

Khi các thuật toán ngày càng ảnh hưởng đến những quyết định quan trọng trong cuộc sống — từ nhà ở và tín dụng đến việc làm và công lý — phải đối mặt với các hệ thống mờ ám và luồng dữ liệu không được kiểm soát đang vận hành chúng. Những công nghệ này hứa hẹn mang lại hiệu quả nhưng thường gây ra sự thiên lệch, loại trừ và tổn hại, đặc biệt là khi được tiếp tay bởi các nhà môi giới dữ liệu không được quản lý.

Để thay đổi cục diện, cần có các đạo luật thực thi tính minh bạch, hạn chế các hoạt động khai thác dữ liệu và đảm bảo sự giám sát của con người ở những nơi quan trọng nhất. Xây dựng một tương lai kỹ thuật số công bằng hơn đồng nghĩa với việc mở toang các hộp đen thuật toán và đặt con người trở lại trung tâm của quá trình đưa ra quyết định. Nếu hành động ngay bây giờ — với tư cách là công dân, nhà phát triển và nhà hoạch định chính sách — có thể tạo ra một thế giới nơi công nghệ tôn trọng quyền riêng tư, củng cố tính công bằng và có được lòng tin.