سیستمی که بر اساس نژاد وام پرداخت میکند!
توافق تاریخی دادستان ماساچوست با شرکت وامدهی ارنست، استفاده از الگوریتمهای تبعیضآمیز را متوقف و چارچوبی جدید برای نظارت بر هوش مصنوعی در سیستم بانکی ایجاد کرد.
گروه علم و پیشرفت خبرگزاری فارس – صبح دهم ژوئیه ۲۰۲۵، دفتر دادستان کل ایالت ماساچوست در بوستون بیانیهای منتشر کرد که بحث درباره «هوش مصنوعی در وامدهی» را از سطح نظری به یک پرونده عینی و اجرایی کشاند.«آندریا جوی کمبل»، دادستان کل ماساچوست، اعلام کرد شرکت وامدهی دانشجویی «ارنست اوپریشنز» (Earnest Operations LLC) با پرداخت ۲.۵ میلیون دلار و پذیرش مجموعهای از اصلاحات عملیاتی با ایالت به توافق رسیده است.موضوع، استفاده از مدلهای خودکار اعتبارسنجی بود که به گفته دفتر دادستانی، به شکل نامتناسبی بر متقاضیان سیاهپوست، لاتینتبار و برخی متقاضیان غیرشهروند اثر گذاشته بود.
گزارشهای نظارتی خطر تبعیض در الگوریتمها را هشدار دادند
یک سال پیش از آن، در ۲۷ مارس ۲۰۲۴، مؤسسه حقوقی «رلمن کولفکس» بهعنوان ناظر مستقل، گزارش نهایی خود درباره عملکرد الگوریتمهای شرکت فینتک «آپاستارت» را منتشر کرده بود. در آن گزارش تصریح شد که هرچند مدلها مستقیماً از متغیر نژاد استفاده نمیکنند، اما در خروجیها «فاصلههای تأیید» میان گروههای مختلف دیده شده است.همین مفهوم – تفاوت در نتایج بدون اشاره صریح به ویژگیهای محافظتشده – به محور بحثهای حقوقی درباره «اثر تبعیضآمیز» (Disparate Impact) تبدیل شد.در نوامبر ۲۰۲۴ نیز پروندهای در حوزه مسکن توجه عمومی را جلب کرد. خبرگزاری آسوشیتدپرس گزارش داد که شکایت «ماری لوئیس» علیه شرکت امتیازدهی مستأجران «سیفرنت» (SafeRent) به سازشی ۲.۲ میلیون دلاری انجامیده است. لوئیس در توصیف تجربه خود گفته بود: «همهچیز بر اساس عدد است… هیچ همدلی فردی در کار نیست.» همین زمینه اجتماعی و حقوقی، حساسیت نسبت به کاربرد مدلهای خودکار در وامدهی را افزایش داد.
شاخصهای ریسک بهطور غیرمستقیم اقلیتها را حذف میکردند
در پرونده ماساچوست، تمرکز بر دو مؤلفه مشخص بود. نخست استفاده از شاخصی به نام «نرخ نکول گروهی» (Cohort Default Rate)؛ نرخی که میزان نکول وام در میان فارغالتحصیلان یک مؤسسه آموزشی را نشان میدهد.در واقع نرخ نکول به درصدی گفته میشود که نشان میدهد چه تعداد از وامگیرندگان یک گروه مشخص (مثلاً فارغالتحصیلان یک دانشگاه در یک سال معین) در بازه زمانی مشخصی (معمولاً دو سال پس از شروع بازپرداخت) در پرداخت اقساط وام خود ناتوان ماندهاند و قسط را پرداخت نکردهاند. این شاخص در سیستم بانکی برای سنجش ریسکپذیری اعطای وام به دانشجویان دانشگاههای مختلف استفاده میشود.این شاخص در ظاهر معیاری برای سنجش ریسک بازپرداخت است، اما بهدلیل همبستگی تاریخی برخی دانشگاهها با جمعیتهای خاص، میتواند بهطور غیرمستقیم بر گروههای نژادی یا قومی اثر بگذارد. دوم، وجود یک «قاعده حذف خودکار» (Knockout Rule) که برخی متقاضیان فاقد وضعیت اقامتی مشخص، مانند دارندگان گرینکارت، را پیش از بررسی کامل پرونده کنار میگذاشت.دفتر دادستانی اعلام کرد این سازوکارها به شکل نامتناسبی متقاضیان سیاهپوست، لاتینتبار و غیرشهروند را در معرض رد درخواست یا شرایط نامطلوبتر قرار داده است. در بیانیه رسمی آمده بود که این رویهها «وامگیرندگان دانشجوییِ حاشیهنشین تاریخی را در معرض خطر قرار داده است.» شرکت ارنست، که خود را ارائهدهنده وامهای مبتنی بر شایستگی معرفی میکند، اتهامات را نپذیرفت اما برای حلوفصل موضوع وارد توافق شد.
اصلاحات ساختاری جایگزین جریمه مالی شد
بر اساس مفاد توافق، شرکت متعهد شد از بهکارگیری «نرخ نکول گروهی» و رتبهبندی مؤسسات آموزشی در مدلهای خودداری کند، قاعده حذف خودکار بر مبنای وضعیت اقامتی را کنار بگذارد، آزمونهای منظم «وامدهی عادلانه» انجام دهد و یک تیم نظارت داخلی بر الگوریتمها تشکیل دهد.این اقدامات نشان میدهد که مسیر پرونده از کشف یک مشکل فنی به سمت اصلاح نهادی هدایت شده است. در ژانویه ۲۰۲۵ نیز وزارت دادگستری ایالات متحده در شکایتی جداگانه به استفاده از سیاستهای مبتنی بر «نرخ نکول گروهی» اشاره کرده بود که به گفته آن نهاد، احتمال حذف برخی فارغالتحصیلان سیاهپوست را چند برابر میکرد.این دادههای آماری به استدلال حقوقی درباره اثرات نامتناسب وزن بخشید و نشان داد بحث تنها نظری نیست، بلکه بر دادههای واقعی استوار است.#هوش_مصنوعی #فینتک #حقوق_مدنی #وام_دهی #عدالت_دیجیتال 07:08 - 23 بهمن 1404