بخش پنجم از مقاله (Artificial Intelligence and Privacy (2024
دنیل جی. سولوو
ترجمه سمانه هاشمی نژاد
تصمیم‌گیری
برای تصمیم‌گیری دربارۀ افراد براساس داده‌های شخصی‌شان یا گرفتنِ تصمیماتی که بر زندگی شخصی افراد تأثیر می‌گذارند، اغلب از هوش مصنوعی استفاده می‌شود. برای مثال، امروزه به طور فزاینده‌ای برای تصمیم گیری‌های مربوط به استخدام‌های کاری از هوش مصنوعی استفاده می‌شود؛ از ارزیابی رزومه‌ها گرفته تا تجزیه و تحلیل مصاحبه‌های ویدئویی.[1] همچنین، از هوش مصنوعی در تصمیم گیری‌های مربوط به بازداشت و مجازات مجرمان نیز استفادۀ گسترده‌ای می‌شود.[2] تصمیم گیری هوش مصنوعی با تصمیم گیری انسانی متفاوت است و نگرانی‌های زیادی را برمی‌انگیزد که مستلزم توجه و مقررات‌گذاری‌اند.
پیش‌بینی
اغلب از هوش مصنوعی برای به دست دادنِ پیش‌بینی‌هایی دربارۀ آینده استفاده می‌شود. همان طور که من و هیدی یوکی ماتسومیِ حقوقدان اشاره کرده‌ایم، پیش‌بینی‌های مبتنی بر الگوریتم بیش از پیش تولید می‌شوند بدون آن که پیامدها و آسیب‌هایشان کاملاً درک شده باشد.[3]
پیش‌بینی‌های الگوریتمی بر پایۀ الگوهای موجود در داده‌های گذشته ایجاد می‌شوند. در پسِ پیش‌بینی‌های الگوریتمی، دو فرضیه در کار است: (1) تاریخ خودش را تکرار می‌کند و آنچه در گذشته اتفاق افتاده است، در آینده نیز دوباره روی خواهد داد؛ (2) افرادی که از برخی ویژگی‌ها یا الگوهای رفتاری برخوردارند، محتمل است که در دیگر امور نیز با یکدیگر شباهت داشته باشند.
الگوریتم‌های یادگیری ماشین و فناوری‌های هوش مصنوعی نه فقط برای استنباط دربارۀ گذشته و اکنون به کار می‌روند، بلکه برای پیش‌بینی رویدادهای آینده نیز استفاده می‌شوند.[4] این قبیل پیش‌بینی‌ها، زیرمجموعه‌هایی از استنباط‌اند؛ امّا از استنباط دربارۀ گذشته و اکنون به آن میزان متمایز هستند که تمرکز و طرز برخورد ویژه‌ای را ایجاب کنند.
پیش‌بینی‌های الگوریتمی، آینده را صرفاً پیش‌بینی نمی‌کنند؛ بلکه آن را شکل نیز می‌دهند.[5] این الگوریتم‌ها، از طریق تجزیه و تحلیل مجموعه داده‌های گسترده و به کاربردن روش‌های آماری برای پیش بینی برون‌دادهای آینده عمل می‌کنند. در موضوعات مرتبط با رفتار انسانی، اتکای فزاینده‌ای بر پیش بینی‌های الگوریتمی وجود دارد؛ موضوعاتی از قبیل قضاوت دربارۀ آنکه به دلیل وجود خطر فرار، آیا متهمان جنایی باید پیش از برگزاری دادگاه بازداشت باشند یا خیر، تعیین مدت محکومیت براساس احتمال بازگشت به جرم، سنجش ارزش اعتباری فرد بر اساس سوابق پرداخت وام و پیش بینی پتانسیل موفقیت متقاضیان شغلی.[6]
این تصمیم‌های مبتنی بر الگوریتم، تأثیرات عمده‌ای بر فرصت‌ها و آزادی‌های فردی می‌گذارند. افراد ممکن است به واسطۀ پیش بینی‌های مربوط به سلامتی، برای موقعیت‌های شغلی پاسخ منفی دریافت کنند یا به دلیل ارزیابی‌های مرتبط با ریسک تروریسم، در فرودگاه‌ها تحت تدابیر امنیت شدیدتری قرار گیرند یا به واسطۀ تاکتیک‌های پیش بینی پلیسی، با اقدامات قانونی مواجه شوند.[7]
یک) تهدید عاملیت انسانی
به رغم مزایای بالقوۀ موجود، پیش بینی‌های الگوریتمی عاملیت فردی را با چالشی جدی مواجه می‌سازند. پیش بینی‌های الگوریتمی توانایی افراد در ساختن مسیر زندگی‌شان را محدود می‌کند.
تصمیم‌های برگرفته از مدل‌های پیش بینی کننده، اصول دادرسی عادلانه را به چالش می‌کشند.[8] به طور سنتی، عدالت حکم می‌کند که افراد نباید به خاطر اعمالی که مرتکب نشده‌اند با مجازات رو به رو شوند. با این حال، مدل‌های پیش بینی کننده این امکان را ایجاد می‌کنند که افراد براساس اعمالی که انجام نداده‌اند و چه بسا هرگز انجام ندهند، قضاوت شوند و با پیامدهای احتمالی رودررو گردند. استاد کاریسا ولیز[9] در این باره چنین می‌گوید: «با پیش بینی رفتار انسانی به همان طریقی که آب و هوا را پیش بینی می‌کنیم، در واقع با افراد مشابه اشیاء برخورد می‌کنیم. بخشی از معنای احترام گذاشتن به اشخاص، این است که عاملیت‌شان و این حقیقت را که می‌توانند خودشان و شرایط‌شان را دگرگون کنند، به رسمیت بشناسیم».[10]
این مسأله در پروندۀ [ایالتِ] ویسکانسین علیه لومیس[11] مشهود است. در این پرونده، یک سیستم الگوریتمی به نام کامپَس[12] (COMPAS)، متهم را به عنوان فردی با ریسک بالای تکرار جرم ارزیابی کرد؛ امری که منجر به صدور حکمی طولانی‌تر شد.[13] متهم استدلال کرد که حقوق دادرسی عادلانۀ او نقض شده است، چرا که پیش بینی‌های این الگوریتم بر پایۀ داده‌های مرتبط با دیگران صورت گرفته است؛ نه رفتارهای شخصِ خودش. دادگاه عالی ویسکانسین با بیان اینکه قاضی موظف به پیروی از توصیۀ الگوریتم نبوده است، این استدلال را مردود شمرد؛ با این حال، قاضی در عمل بر این الگوریتم تکیه داشته است.[14]
بررسی‌ها حاکی از آن است که افراد مایل‌اند بر نتایج الگوریتمی تکیه کنند. بن گرین[15] بیان می‌کند که «مردم نمی‌توانند تعادلِ مناسبی میان پیشنهادات الگوریتم و دیگر عوامل ایجاد کنند؛ به این معنا که آنان اغلب بر پیشنهادات الگوریتم بیش از حد اتّکا می‌کنند و به عواملی که الگوریتم بر آن‌ها تأکید داشته است، وزن بیشتری می‌دهند».[16]
آنچه در پروندۀ لومیس به نگرانی‌ها افزود، اجتناب خالق کامپَس از افشای نحوۀ عملکرد الگوریتم – با استناد به حق مخفی نگه داشتن اسرار تجاری – بود.[17] تحلیل‌های بعدی به‌عمل آمده درخصوص کامپس، از سوگیری این الگوریتم علیه متهمان سیاه پوست پرده برداشت.[18]
فیلم علمی-تخیلی گزارش اقلیت[19] (2002) دنیای ویران شهریِ ترسناکی را به تصویر می‌کشد که در آن پلیس برای پیش بینی جرائم و دستگیری افراد پیش از ارتکاب جرم، از یک سیستم استفاده می‌کند. پیش بینی‌های الگوریتمی، تأثیری مشابه دارند؛ از این الگوریتم‌ها برای قضاوت پیش‌دستانۀ افراد – قبل از اینکه دست به اقدام زده باشند – استفاده می‌شود. این امر به تضعیف حق انتخاب افراد می‌انجامد و آنان را برای اعمالی مجازات می‌کند که هنوز انجام نشده‌اند. همان طور که کاترینا گِدِز[20] استدلال می‌کند، «پیش بینی‌های الگوریتمی، افراد را برای عضویت در یک گروه آماری مجازات می‌کنند».[21] مردم باید برپایۀ اَعمال خودشان ارزیابی شوند، نه براساس آنچه دیگران انجام می‌دهند.
دو) فسیل‌سازی گذشته
عملکرد پیش‌بینی‌های الگوریتمی همچون گوی بلورینی که تصویری قطعی از آینده عرضه می‌کند، نیست. در واقعیت، این پیش‌بینی‌ها بیانگر احتمالاتی هستند که از داده‌های تاریخی برگرفته شده‌اند؛ داده‌هایی که اغلب دربردارندۀ سوگیری‌ها، تبعیض‌ها، نابرابری‌ها و امتیازات جدایی‌ناپذیر هستند. تصمیماتی که برپایۀ این پیش‌بینی‌های الگوریتمی گرفته می‌شوند، گرایش به تحکیم الگوهای گذشته دارند. برای مثال، تبعیض‌های نژادی تاریخی، باعث می‌شود نرخ دستگیری و محکومیت سیاه پوستان به نحو نامتناسبی بالاتر باشد.[22] نتیجۀ ورودِ چنین داده‌هایی به الگوریتم، پیش‌بینی نرخ‌های بالاتر تکرار جرم برای این جمعیت‌ها خواهد بود؛ امری که به صدور احکام شدیدتر می‌انجامد. نتیجه آن است که، پیش‌بینی‌های الگوریتمی این پتانسیل را دارند که نابرابری‌ها و سوگیری‌های موجود را تداوم بخشیده و به آینده منتقل کنند.[23]
پیش‌بینی‌های الگوریتمی اغلب از کیفیت‌های متمایز و روایت‌های شخصی افراد غفلت می‌کنند و در عوض بر هنجارهای آماری متمرکز می‌شوند.[24] با این حال، این حقیقت که تاریخ به کرّات توسط امور غیرمنتظره شکل گرفته است، اطمینان بر این پیش بینی‌ها را به چالش می‌کشد. نسیم نیکولاس طالب[25] این پدیده‌های غیرمنتظره را «قوی سیاه» می‌نامد؛ نامی برگرفته از قوهای سیاهی که اروپاییان پس از کشف استرالیا با آن‌ها روبه‌رو شدند. تا پیش از آن، اروپاییان بر این باور بودند که تمامی قوها سفیدند. طالب با هدف تأکید بر اهمیت تواضع در پیش بینی‌ها، به این رویداد اشاره می‌کند. او استدلال می‌کند که اگرچه ممکن است ما در پیش بینی رویدادهای معمول زبردست باشیم، توانایی ما برای پیش بینی امور خارق عادت به نحو چشمگیری محدود است.[26]
سه) پیش‌گویی‌های خودکام بخش
پیش‌بینی‌ها اغلب به پیش‌گویی‌های خودکام بخش بدل می‌شوند؛ به ویژه زمانی که اقداماتی را برمی‌انگیزند که برون‌داد مورد انتظار را تقویب می‌کنند. برای مثال، زمانی که یک پیش بینی حاکی از آن است که افراد واجد برخی ویژگی‌ها بیشتر مستعدِ بزهکاری هستند، ممکن است اقدامات پلیسی در خصوص این افراد افزایش یابد. زیر ذره‌بین نگه داشتنِ مضاعف، می‌تواند افزایش دستگیری و محکومیت این افراد را در پی داشته باشد؛ امری که لزوماً ناشی از صحتِ پیش‌بینی نیست، بلکه ناشی از هدف قرارداده شدنِ نامتناسب افرادِ منطبق با این پروفایل توسط نیروهای اجرای قانون است.[27]
ما تنها با هدف درک بهتر، دست به پیش‌بینی رفتار انسانی نمی‌زنیم؛ بلکه این پیش‌بینی‌ها ابزارهای برای اقدام‌اند. از هوش مصنوعی در فرآیندهای تصمیم‌گیری و مداخله استفاده می‌شود. طُرفه آنکه، پیش‌بینی‌های الگوریتمی سازمان‌ها را برای شکل‌دهی، کنترل و ارزش‌گذاری اقتصادی مؤثرترِ رفتار انسانی توانمند می‌سازند.
چهار) ورای درستی
تطبیق پیش‌بینی‌های الگوریتمی با چارچوب‌های کنونی قوانین حریم خصوصی دشوار است. محوری‌ترین ابزاری که قوانین حریم خصوصی برای رسیدگی به پیش‌بینی‌ها فراهم کرده‌اند، اعطای حق تصحیح به افراد بوده است. ورای مسألۀ اتّکای بیش از اندازه بر کنترل فردی، حق اصلاح داده‌های نادرست موجه است. امّا این حق برای پیش‌بینی‌ها کارآیی ندارد؛ زیرا پیش بینی‌ها دربارۀ رویدادهایی هستند که هنوز رخ نداده‌اند، بنابراین ارزیابی درستی یا نادرستی آن‌ها دشوار است.[28] پیش‌بینی‌های الگوریتمی غلط یا درست نیستند؛ چرا که صحت آن‌ها تنها زمانی احراز می‌شود که در واقعیت محقق شوند. برای مثال این مورد را لحاظ کنید که غیرممکن است فردی بتواند غلط بودن یک پیش‌بینی مبنی بر اینکه در آینده مرتکب جرمی خواهد شد را اثبات کند. تنها پس از مرگِ شخص است که حقانیت این پیش‌بینی قابل ارزیابیِ قطعی است؛ وضعیتی که به چالش کشیدن چنین پیش‌گویی‌هایی را عملاً غیرممکن می‌کند.
هنگامی که قانون می‌کوشد تصمیم‌هایی را که توسط هوش مصنوعی گرفته (یا تکمیل) می‌شوند را تنظیم کند، معمولاً بر فرآیندها متمرکز می‌شود. برای نمونه در پروندۀ لومیس، قانون به لزوم رعایت رویه‌های حفاظتی اساسی اکتفا می‌کند؛ رویه‌هایی که پیش از هر چیز بر شفافیت بیشتر در استفاده از پیش بینی‌های الگوریتمی و تضمین مشارکت انسان متمرکز می‌شوند. با این حال، همان طور که آلیسیا سولوو-نیدرمن اشاره می‌کند، چنین گام‌هایی عمدتاً سطحی‌اند و تنها با هدف به نمایش گذاشتنِ «ظاهری قانون‌مندانه» به کار می‌روند.[29] به جای قناعت به راه‌های تزئینی که وضعیت را به طور سطحی بهبود می‌بخشند، قانون باید با قدرت به چالش‌های ایجاد شده به واسطۀ پیش بینی‌های الگوریتمی رسیدگی کند. قانون باید اطمینان یابد که این پیش بینی‌ها انصاف را رعایت می‌کنند و با ارزش‌های کلی جامعه همسویی دارند. به طورکلی، قانون باید تضمین کنندۀ تصمیم گیری‌های منصفانه باشد. تصمیمات مرتبط با انسان‌ها، باید به نحوی منصفانه اتخاذ شوند و وضعیت کلی، اقدامات فردی و ویژگی‌های منحصربه فرد آنان را در نظر بگیرد و با آنان به مثابۀ افراد منحصربه فردِ برخوردار از عاملیت رفتار کند.
تصمیم گیری‌ها و سوگیری‌ها
اغلب چنین وانمود و تبلیغ می‌شود که تصمیمات هوش مصنوعی برتر از تصمیمات انسان‌اند. به گفتۀ اورلی لوبل[30]: «هوش مصنوعی می‌تواند نیرویی در خدمت سوگیری زدایی باشد؛ همچنین می‌تواند امکان شناسایی زود هنگام تبعیض و سوءاستفاده را فراهم کند»[31]. بنا به نظر کَس سانستین[32]، الگوریتم‌ها می‌توانند «از برخورد نابرابر جلوگیری کنند و خطاها را کاهش دهند». برخلاف انسان‌ها، الگوریتم‌ها «از میانبرهای ذهنی استفاده نمی‌کنند؛ آن‌ها بر پیش‌بین‌های آماری تکیه دارند، این به آن معنی است که الگوریتم‌ها می‌توانند سوگیری‌های شناختی را خنثی یا حتی حذف کنند».[33]
تصمیم‌گیری انسانی مملو از چالش‌هاست. انسان‌ها مستعد سوگیری‌اند، بر دامنۀ محدودی از تجربیات تکیه دارند و معمولاً در فرآیند تصمیم گیری کُند و ناکارآمد عمل می‌کنند. تأثیرات عاطفی و عناصر غیرمنطقی اغلب انتخاب‌هایشان را تحت‌الشعاع قرار می‌دهد. افزون بر این، انسان‌ها می‌توانند تکانشگرانه عمل کنند و در معرض انواع سوگیری‌های شناختی و رهیافت‌های ذهنی آنی قرار بگیرند؛ امری که می‌تواند به اتخاذ تصمیمات نادرست بینجامد.[34]
امّا الگوریتم‌های هوش مصنوعی کاستی‌های عمده‌ای دارند که توانایی‌شان برای تصمیم‌گیری بهتر در قیاس با انسان‌ها را با پرسش مواجه می‌سازد.[35] الگوریتم‌ها با تأکید بر داده‌های کمّی به قیمت نادیده گرفتن عوامل کیفی، تصمیم‌گیری را دگرگون می‌سازند. اگرچه این کار می‌تواند سودمند باشد، امّا هزینه‌های مهمی را به همراه دارد که اغلب نادیده گرفته می‌شوند. کمّی‌سازی زندگی انسان‌ها دشواری‌های فراوانی را به همراه دارد.[36] در حال حاضر، عواطف، اخلاق یا قضاوت‌های ارزشی در تصمیمات هوش مصنوعی گنجانده نمی‌شوند؛ اموری که در تصمیمات مرتبط با رفاه انسانی از جایگاهی حیاتی برخوردارند. ما با خطر توجه بیش ازاندازه به عوامل خودکارسازی‌شده در عین نادیده انگاری ابعاد اخلاقی مواجهیم.[37]
آنچه سوگیری ناشی از هوش مصنوعی را به طور بالقوه خطرناک‌تر و مخرب‌تر از سوگیری انسانی می‌کند، این است که ابزارهای هوش مصنوعی می‌توانند به نحوی گسترده مورد استفاده قرار بگیرند و سوگیری‌ها را روشمند کنند؛ علاوه بر این، ابزارهای هوش مصنوعی می‌توانند سوگیری‌ها را تحت لوای فناوری بی‌طرف پنهان سازند. چیره شدن بر سوگیری‌های موجود در برخی افراد یا حتی تعداد زیادی از افراد، همچنان ممکن است؛ چرا که این امکان وجود دارد که برخی اشخاص از این سوگیری‌ها پیروی نکنند و به نحوی غیرسوگیرانه تصمیم گیری کنند. دگرگونی اجتماعی به همین ترتیب رخ می‌دهد؛ ابتدا تعداد کمی از افراد آن را آغاز می‌کنند، سپس به مرور زمان گسترش می‌یابد. امّا هوش مصنوعی می‌تواند سوگیری‌ها را به سرعت روشمند کند و آن‌ها را فراگیرتر و گریزناپذیر سازد؛ و به این ترتیب، جوانه‌های بهبود اجتماعی را بخشکاند.
یک) داده‌های آموزشی سوگیرانه
الگوریتم‌های هوش مصنوعی به هیچ وجه بی‌طرف نیستند؛ چرا که داده‌هایشان را از جامعه دریافت می‌کنند و این داده سرشار از سوگیری‌اند. همان طور که مریدیت بروسارد می‌نویسد، «تمام داده‌ها آلوده‌اند. تمام‌شان».[38] ساندرا میسن[39]، استاد حقوق، چنین استدلال می‌کند: «یک گذشتۀ آمیخته با نابرابری نژادی، لاجرم برون‌دادی آمیخته با نابرابری نژادی تولید خواهد کرد»[40]. اگر داده‌های ورودی سوگیرانه باشند، خروجی‌ها نیز سوگیرانه خواهند بود. او استدلال می‌کند که اگر داده‌های گذشته حاکی از این باشند که نرخ دستگیری سیاه پوستان بالاتر از سفید پوستان بوده است، «پس یک تحلیل پیش‌بینانه، پیش بینی خواهد کرد که چنین امری در آینده برای سیاه پوستان بیش از سفید پوستان رخ خواهد داد».[41]
مشکلات مرتبط با داده‌های سوگیرانه زمانی آشکار شد که شرکت آمازون تلاش کرد الگوریتمی را برای استخدام در موقعیت‌های فنی تولید کند؛ امّا آنچه بیش از هر چیز به چشم آمد، سوگیری شدید نتایج به نفع گزینه‌های مرد بود. دلیل این سوگیری آن بود که این الگوریتم با داده‌های استخدامی ده ساله آموزش دیده بود؛ در حالی که خودِ این داده‌ها آمیخته به سوگیری‌های از پیش موجود بودند و به سمت مردان گرایش داشتند.[42] کیفیت و بی‌طرفی تصمیم گیری‌های خودکار، مستقماً متأثر از داده‌هایی است که آن سیستم‌ها برپایه‌شان بنا شده‌اند؛ داده‌هایی که به ندرت خالی از سوگیری‌اند.
کتی اونیل[43]، دانشمند حوزۀ تکنولوژی، استدلال می‌کند که مدل‌های الگوریتمی «فقط براساس داده‌ها ساخته نمی‌شوند؛ انتخاب‌ها دربارۀ اینکه به کدام داده‌ها توجه شود و کدام‌ها نادیده گرفته شوند هم این مدل‌ها را شکل می‌دهند. چنین انتخاب‌هایی صرفاً مرتبط با ملاحظات منطقی، سودآوری و کارایی نیستند؛ بلکه به نحوی بنیادین، اخلاقی‌اند».[44] طبق نظر جسیکا ایگلین[45]، استاد حقوق، داده‌هایی که توسط الگوریتم‌ها استفاده می‌شوند، صرفاً یافته نمی‌شوند، بلکه براساس قضاوت‌های ارزشی خاصی انتخاب و ساخته نیز می‌شوند. برای مثال، ایگلین اشاره می‌کند که داده‌های وارد شده به سیستم‌های ارزیابی ریسک بازگشت به جرم، به «پرسش‌های سیاسی دربارۀ اینکه چه کسی باید به عنوان یک خطر در نظر گرفته شود و جامعه چه میزانی از خطر را تحمل می‌کند» بستگی دارد.[46] داده‌های مورد استفادۀ الگوریتم‌های هوش مصنوعی ممکن است بی‌طرفانه پنداشته شوند، امّا حقیقت آن است که برآمده از هنجارهستند.
تالیا گیلیز، استاد حقوق، با بهره گیری از اصطلاح «مغالطۀ درون‌داد» استدلال می‌کند که صِرفِ تلاش برای حذف اطلاعات مربوط به نژاد، دین و دیگر اطلاعات ناظر بر ویژگی‌های محافظت شدۀ اشخاص، منجر به منصفانه شدن برون‌دادها نمی‌شود. به بیان او «اطلاعات مربوط به ویژگی‌های محافظت شدۀ یک شخص، در دیگر اطلاعات آن شخص نهفته است. بنابراین حتی حذف صوری داده‌های محافظت شده، مانع از این نمی‌شود که الگوریتم آن‌ها را “بداند”».[47]
دو) اشکال نوظهور تبعیض
الگوریتم‌های هوش مصنوعی بالقوه می‌توانند به واسطۀ تمرکز بر خصوصیاتی که مهم می‌شمارند، اَشکال نوظهوری از تبعیض را بنا نهند. این خصوصیات، ممکن است همان‌هایی نباشند که به طور سنتی مبنای تبعیض قرار گرفته‌اند؛ مانند نژاد، جنسیت و سن. الگوریتم‌های هوش مصنوعی ممکن است ویژگی‌هایی را مبنای تبعیض قرار دهد که به طور معمول ناخوشایند دانسته می‌شوند؛ مانند کوتاهیِ قد، اضافه وزن یا طاسی. برخی معیارهای مورد استفادۀ الگوریتم‌ها، ممکن است دلبخواهی به نظر برسند؛ چنانچه گویی بر هم‌بستگی‌های نامعمول تکیه دارند. برای مثال، اگر یک الگوریتم میان یک رنگ چشم و عملکرد شغلی ضعیف ارتباطی پیدا کند، ممکن است به این رنگ چشم نظری منفی پیدا کند. این امر به ایجاد دسته بندی‌های جدید و نامطلوبی منجر می‌شود و به نحوی سیستماتیک بر افراد اثر می‌گذارد. در نتیجه، ممکن است شاهد ظهور نوع جدیدی از نابرابری باشیم؛ به نحوی که افراد برپایۀ ویژگی‌های تغییرناپذیرشان، با تبعیض رودررو شوند. به دلیل پیچیدگی الگوریتم‌ها، این اَشکال نابرابری ممکن است کم‌تر نمایان باشند؛ امری که تشخیص و مقابله با آنان را دشوارتر می‌سازد.
سه) مقابله با تبعیض
قانون باید با تصمیم‌گیری‌های سوگیرانه مقابله کند؛ هرچند دشوار می‌توان آن‌ها را ریشه کن کرد. همان طور که آنوپام چندلر[48] استدلال می‌کند، از آنجایی که «واقعیت‌های زندگی، که الگوریتم‌ها بر پایه‌شان آموزش می‌بینند و عمل می‌کنند، عمیقاً مملو از تبعیض‌های مغرضانه‌اند»، خلق نتایج تبعیض‌آمیز توسط الگوریتم‌ها، نباید ما را به شگفتی بیندازد.[49] بنا به عقیدۀ او، «ما باید الگوریتم‌هایمان را متناسب با دنیایی طراحی کنیم که انباشته از میراث تبعیض‌های گذشته و واقعیت تبعیض‌های کنونی است».[50]
تصمیمات سوگیرانه، تصمیماتی غیرمنصفانه‌اند و باید به نحوی اساسی برای تشخیص سوگیری‌ها واکاوی شوند. الزامات فرآیند-مبنا مفیدند؛ امّا برای حل مشکل کافی نیستند. قانون توانایی رویارویی با تصمیمات غیرمنصفانه را ندارد، مگر آنکه محتوای این تصمیم‌ها را مدِّنظر قرار دهد.[51]
[1] AJUNWA, THE QUANTIFIED WORKER, supra note X, at 138-70. HILKE SCHELLMANN, THE ALGORITHM: HOW AI DECIDES WHO GETS HIRED, MONITORED, PROMOTED & FIRED, & WHY WE NEED TO FIGHT BACK NOW 83-128 (2024).
[2] BERNARD E. HARCOURT, AGAINST PREDICTION: PROFILING, POLICING, AND PUNISHING IN AN ACTUARIAL AGE 41-45 (2007); Jessica M. Eaglin, Predictive Analytics’ Punishment Mismatch, 14 I/S: A J. of L. & Pol’y, 87, 100-01 (2017).
[3] Hideyuki Matsumi & Daniel J. Solove, The Prediction Society: AI and the Problems of Forecasting the Future, work-in-progress.
[4] Hideyuki Matsumi, Predictions and Privacy: Should There Be Rules About Using Personal Data to Forecast the Future?, 48 Cumb. L. Rev. 149 (2018);
[5] Matsumi & Solove, The Prediction Society, supra note X, at X.
[6] همان.
[7] ANDREW GUNTHRIE FERGUSON, THE RISE OF BIG DATA POLICING (2017); Albert Meijer & Martijn Wessels, Predictive Policing: Review of Benefits and Drawbacks, 42 Int’l J. Pub. Admin. 1031, 1031 (2019); Elizabeth E. Joh, The New Surveillance Discretion: Automated Suspicion, Big Data, and Policing, 10 Harvard L. & Pol’y Rev. 15, 15-18 (2016); Orla Lynskey, Criminal Justice Profiling and EU Data Protection Law: Precarious Protection from Predictive Policing, 15 Int’l J. L. in Context 162, 167 (2019); Lindsey Barrett, Reasonably Suspicious Algorithms: Predictive Policing at the United States Border, 41 N.Y.U. Rev. L. & Soc. Change 132 (2017).
[8] CATHY O’NEIL, WEAPONS OF MATH DESTRUCTION: HOW BIG DATA INCREASES INEQUALITY AND THREATENS DEMOCRACY (2016).
[9] Carissa Véliz
[10] Carissa Véliz, If AI Is Predicting Your Future, Are You Still Free? Wired (Dec. 27, 2021).
[11] Wisconsin v. Loomis
[12] این کلمه از سرواژه‌های Correctional Offender Management Profiling for Alternative Sanctions به معنای «مدیریت پروفایل‌سازی تأدیبی مجرمان برای مجازات‌های جایگزین» ساخته شده‌است. (م)
[13] Wisconsin v. Loomis, 881 N.W.2d 749 (Wis. 2016).
[14] Ben Green, The Flaws of Policies Requiring Human Oversight of Government Algorithms, 45 Computer Law & Security Rev. 1, 7 (2022).
[15] Ben Green
[16] همان؛ ص 5.
[17] برای مشاهدۀ نقدی بر این استفاده از [قانون] اسرار تجاری، ر. ک. :
Rebecca Wexler, Life, Liberty, and Trade Secrets: Intellectual Property in the Criminal Justice System, 70 Stan. L. Rev. 1343 (2017).
[18] Jeff Larson et al., How We Analyzed the COMPAS Recidivism Algorithm, at 1 (2017), https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm.
[19] Minority Report
[20] Katrina Geddes
[21] Geddes, Legal Subject, supra note X, at 31.
[22] Jessica M. Eaglin, Constructing Recidivism Risk, 67 Emory L.J. 59, 72 (2017).
[23] Sandra G. Mayson, Bias In, Bias Out, 128 Yale L.J. 2218, 2224 (2019); Anupam Chander, The Racist Algorithm?, 115 Mich. L. Rev. 1023, 1036 (2017); Pauline T. Kim, Manipulating Opportunity, 106 Va. L. Rev. 867, 870 (2020) (شیوه‌ای سیستم‌های هوش مصنوعی اطلاعات مربوط به فرصت‌های آینده را مطابق آن رده‌بندی می‌کنند، احتمالاً منعکس‌کنندۀ نابرابری‌های موجود است و می‌تواند به تقویت الگوهای تاریخی محرومیت بینجامد).
[24] Geddes, Legal Subject, supra note X, at 5.
[25][25] Nassim Nicholas Taleb
[26] NASSIM NICHOLAS TALEB, THE BLACK SWAN: THE IMPACT OF THE HIGHLY IMPROBABLE xvii, 149, 138, 149 (2007).
[27] GANDY, CHANCE, supra note X, at 124-25.
[28] Hideyuki Matsumi, Right to Rectification, draft on file with author.
[29] Alicia G. Solow-Niederman, Algorithmic Grey Holes, 5 J. Law & Innovation 116, 124 (2023).
[30] Orly Lobel
[31] ORLY LOBEL, THE EQUALITY MACHINE: HARNESSING DIGITAL TECHNOLOGY FOR A BRIGHTER, MORE INCLUSIVE FUTURE (2022).
[32] Cass Sunstein
[33] Cass R. Sunstein, Governing by Algorithm? No Noise and (Potentially) Less Bias, 71 Duke L.J. 1175, 1177 (2022).
[34] See DANIEL KAHNEMAN, THINKING FAST AND SLOW (2011); Solove & Matsumi, Awful Humans, supra note X, at X.
[35] Jenna Burrel and Marion Fourcade, The Society of Algorithms, 47 Annual Rev. Sociology 213, 222-23 (2021) (در اینجا استدلال می‌شود که الگوریتم‌های هوش مصنوعی لزوماً بهتر از تصمیم‌گیرندگان انسانی عمل نمی‌کنند).
[36] Solove & Matsumi, Awful Humans, supra note X, at X.
[37] Solove & Matsumi, Awful Humans, supra note X, at X.
[38] MEREDITH BROUSSARD, ARTIFICIAL UNINTELLIGENCE: HOW COMPUTERS MISUNDERSTAND THE WORLD 103 (2018).
[39] Sandra Mason
[40] Sandra G. Mayson, Bias In, Bias Out, 128 Yale L.J. 2218, 2224 (2019).
[41] همان. همچنان نگاه کنید به Anupam Chander, The Racist Algorithm?, 115 Mich. L. Rev. 1023, 1036 (2017) («داده‌های برگرفته از دنیای واقعی ضرورتاً بازتاب‌دهندۀ تبعیض‌های موجودند؛ و الگوریتم‌هایی که از طریق این داده‌ها آموزش می‌بینند یا عمل می‌کنند، به احتمال زیاد آن تبعیض‌ها را تکرار خواهند کرد»؛Solon Barocas & Andrew Selbst, Big Data’s Disparate Impact, 104 Cal. L. Rev. 671, 682 (2016).
[42] AJUNWA, THE QUANTIFIED WORKER, supra note X, at 83-84.
[43] Cathy O’Neil
[44] CATHY O’NEIL, WEAPONS OF MATH DESTRUCTION: HOW BIG DATA INCREASES INEQUALITY AND THREATENS DEMOCRACY (2016).
[45] Jesscia Eaglin
[46] Jessica M. Eaglin, Constructing Recidivism Risk, 67 Emory L.J. 59 (2017).
[47] Talia B. Gillis, The Input Fallacy, 106 Minn. L. Rev. 1175 (2022).
[48] Anupam Chander
[49] Anupam Chander, The Racist Algorithm?, 115 Mich. L. Rev. 1023 (2017); see also Elizabeth E. Joh, Feeding the Machine: Policing, Crime Data, & Algorithms, 26 Wm. & Mary Bill Rts. J. 287, 289 (2017) (“هر اقدام – یا امتناع از اقدام – از سوی یک افسر پلیس و هر تصمیم مشابهی از جانب یک ادارۀ پلیس، در عین حال تصمیمی است در این باره که چه داده‌ای باید تولید شود و اینکه آیا اصولاً یک داده باید تولید شود یا نه”).
[50] همان.
[51] اندرو د. سلبست (Andrew D. Selbst) و سولون باروکاس (Solon Barocas) استدلال می‌کنند که رویۀ قضایی کمیسیون فدرال تجارت ایالات متحده (FTC) دربارۀ شیوه‌های تجاری «ناعادلانه» می‌تواند [به‌عنوان یک الگو] برای مقابله با تبعیض به‌کار بُرده شود. کاوش در بی‌عدالتی یک تصمیم، می‌تواند بر محتوای یک تصمیم متمرکز شود و تمام توجه خود را صرفِ فرآیند نکند.
Andrew D. Selbst and Solon Barocas, Unfair Artificial Intelligence: How FTC Intervention Can Overcome the Limitations of Discrimination Law, 171 U. Pa. L. Rev. _ (2024).
