Как США использует искусственный интеллект без предубеждений в судебной системе

Как США использует искусственный интеллект без предубеждений в судебной системе

Коронакризис ударил не только по бизнесу. Весной в Нью-Йорке приостановили пилотный проект по применению искусственного интеллекта в судебной системе. Разработанный алгоритм оценки рисков призван рекомендовать ту или иную меру пресечения для людей, которые находятся под следствием. У проекта две основные цели — сокращение нагрузки на тюрьмы и ликвидация человеческой предвзятости при вынесении решений.

После перерыва в полгода алгоритмы снова принялись за работу. Их разработали с учетом объемной базы данных уже завершенных дел, алгоритмы советуют судьям, отпустить ли человека, в отношении которого проводят следственные действия, под залог, или лишить свободы до суда.

История с судебным ИИ началась в 2014 году. Тогда новоизбранный нью-йоркский мэр-демократ Билл де Блазио пообещал городу реформы в разных сферах, в том числе и в судебной. Среди обещаний мэра — сокращение нагрузок на пенитенциарную систему.

«Там содержалось слишком много людей, совершивших даже незначительные преступления», — отметила изданию WSJ глава следственного управления Нью-Йорка Элизабет Глейзер. По ее словам, одной из причин этого был зашкаливающий консерватизм судей.

В 2017 году следственное управление дало двум независимым друг от друга исследовательским компаниям доступ к базе данных по более чем 1,6 миллиону уголовных дел 2009-2015 годов. В них были данные о людях, которые находились под следствием — их возраст, пол, место жительства, расовая и этническая принадлежность, и преступления, в которых их подозревали. Кроме того, база данных давала возможность составить картину поведения подозреваемого. В этом исследователям помогали детали — например, добровольно ли подозреваемый назвал полицейский при задержании свой адрес и номер телефона. Такие люди также добровольно являлись в суд, если перед этим их отпустили под залог.

Анализ сотен тысяч дел дал возможность обеим исследовательским компаниям составить десятки моделей поведения подозреваемых. После чего компании решили работать вместе. В ходе сотрудничества исследователи исключили большинство моделей поведения, оставив в основном совпавшие.

Результатом работы стало создание системы, напоминающей давно работающий в США рейтинг оценки кредитоспособности физлиц. Изначально ИИ должен был заметно сократить судейскую предвзятость при принятии решений, связанную с расовой или этнической принадлежностью подследственных. Прежние проекты, которые разрабатывали до 2013 года, советовали отпускать под залог 30,8% черных подозреваемых против около 40% белых, то соотношение в новой разработке составляет 86,7% черных и 90,7% латиноамериканцев против 89,7% белых. Так расовый показатель был сведен к нулю.

С даты запуска, ноября 2019-го, по март 2020-го, когда работа системы была остановлена из-за локдауна, ИИ порекомендовал освободить под залог 83,9% черных, 83,5% белых и 85,8% латиноамериканцев. Работа ИИ подтвердила предположение о том, что люди с более высоким «рейтингом» значительно чаще посещают суд после освобождения под залог.

Эта система — не первая подобная в истории американской судебной системы. Но первая, которую можно назвать удачной. В 2014 году в штате Нью-Джерси запустили пилотный проект, снизивший нагрузку на тюрьмы почти вдвое. Но эта система не справилась с расовым неравенством — черные становились ее «жертвами» в 50% случаев против 30% у белых.

В июне 2019 года команда из 27 ученых из основных университетов США — Гарварда, Колумбийского университета, Принстона и Массачусетского технологического института, опубликовали открытое письмо с опасениями насчет неточности алгоритмов, которые оценивают риски в отношении подследственных. Ученые считают, что данные, которые анализирует алгоритм, нельзя назвать нейтральным способом оценки поведения возможного преступника.

В письме ученые подчеркивают, что алгоритмы оценки рисков, содержащие исторические сведения с изначально искаженным отношением к расовой и этнической идентичности, будут выдавать искаженные результаты. Ученые «настоятельно рекомендовали» обратиться к реформам другого рода. По их мнению, проблему расового неравенства в ИИ для судебной системы нельзя решить техническими средствами.

В начале 2020 года NGO Pretrial Justice Institute, инициатива-соучредитель проекта в Нью-Джерси, публично признала свои ошибки и назвала свои же прошлые прогнозы касательно оценки ИИ неточными. Неправительственная организация признала, что досудебная оценка рисков с помощью алгоритмов может быть неточной, поскольку основывается на исторических данных, включающих расизм. И эти методы лишь усугубляют неравенство.

По материалам The Wall Street Journal

Content Protection by DMCA.com