При принятии решений люди делают выбор, исходя из предсказания неизвестных результатов. Например, судьи принимают решения об освобождении обвиняемых под залог или назначении им наказания, основываясь лишь на своих предположениях о том, как поведет себя подсудимый в будущем. Часто в основе решений лежат предубеждения и в результате случаются ошибки.

С другой стороны, компании при принятии решений все чаще используют модели, базирующиеся на машинном обучении. Целый ряд таких, основанных на предположениях о человеческом поведении, систем лежат в основе алгоритмов, которые отвечают за рекомендации продуктов на Amazon, фильтрации спама в электронной почте и умных текстовых сообщениях на телефоне.

Исследователи разработали статистическую проверку одного из таких поведенческих предположений, позволяющую узнать, допускают ли лица, принимающие решения, систематические ошибки в своей работе. Ученые также разработали методы оценки того, каким образом их прогнозы систематически искажаются. Анализируя досудебную систему Нью-Йорка, они показали, что значительная часть судей, полагаясь на характеристики обвиняемого, включая расу, возраст и предыдущее поведение, часто совершает ошибки в прогнозировании неправомерных действий человека в будущем.

В исследовании использовалась информация от судей Нью-Йорка, которых квазислучайным образом распределяют по делам. Ученые проверили, отражают ли решения судей об освобождении, среди прочего, точные представления о риске неявки обвиняемого в суд. Исследование было основано на информации о 1 460 462 делах города Нью-Йорка, из которых по 758 027 делам было принято решение об освобождении до суда.

В результате авторы подсчитали, что по меньшей мере 20% из судей допускают систематические ошибки в прогнозировании риска неправомерных действий подсудимого, учитывая его характеристики. Решения по меньшей мере 32% судей Нью-Йорка не соответствуют фактической способности обвиняемых внести определенную сумму залога и реальному риску их неявки в суд. Более того, если учитывать расу и возраст обвиняемого, средний судья допускает систематические ошибки в прогнозах примерно в отношении 30% случаев. Когда же учитываются и расовая принадлежность обвиняемого, и было ли ему предъявлено обвинение в совершении уголовного преступления, доля ошибок составляет примерно 24%.

Хотя в исследовании отмечается, что замена судей алгоритмическим правилом принятия решений имеет неоднозначные последствия, которые зависят от того, является ли желаемым результатом тот, при котором больше обвиняемых предстанут перед судом, или тот, при котором меньше людей будут дожидаться суда за решеткой. 

Однако исследователи уверяют, что этот шаг приведет к улучшению результатов судебных разбирательств на одну пятую, если судить по показателям неявки среди освобожденных обвиняемых и количеству досудебных заключений.

"Эффект замены людей, принимающих решения, алгоритмами зависит от компромисса между тем, совершает ли человек систематические ошибки прогнозирования на основе наблюдаемой информации, доступной алгоритму, и тем, наблюдает ли человек какую-либо полезную личную информацию, — говорит ведущий автор статьи Ашеш Рамбачан. — Эконометрическая основа в этой статье позволяет эмпирическим исследователям предоставить прямые доказательства существования этих конкурирующих сил".

Исследование опубликовано в Quarterly Journal of Economics.