Прогноз или дискриминация? Алексей Кузовкин об этических ловушках ИИ в полиции

Алгоритм знает, где и когда. Но не знает — кто. А может, и знает… Системы предсказания преступлений уже давно тестируются во многих странах. Технологии разные, но у всех этих систем есть одно общее свойство: они одновременно пугают и разочаровывают. Разбираемся, как это работает и почему пока что бояться нечего.

Когда земля трясется под ногами грабителя

Вы когда-нибудь замечали, как работает паника в толпе? Сначала кто-то один срывается с места, а через секунду бегут уже все. В мире чисел это называется «процесс Хоукса», и он работает везде: от подземных толчков до биржевых крахов. Но самое удивительное применение ему нашли полицейские.

Оказывается, кражу со взломом можно сравнить с эпицентром землетрясения. После нее обязательно будут «афтершоки» — новые ограбления поблизости. График повторных краж почти один в один совпадает с графиком появления повторных сейсмических толчков. Математики из Калифорнийского университета взяли алгоритм для прогноза землетрясений и перенастроили его на борьбу с криминалом. Почти сработало.

Алгоритм ошибся? Не страшно. Главное, чтобы вор боялся

В калифорнийском курортном городке, который вечно переполнен туристами и студентами, решили скрестить сейсмологию с криминалистикой. Программа ежедневно чертит на карте зоны площадью 150 квадратных метров каждая, деля преступления на три типа: кража со взломом, кража из автомобиля и угон. Если алгоритм говорит, что здесь скоро вскроют машину или вынесут вещи из дома, полиция направляет туда патруль.

Точность прогнозов оставляет желать лучшего. При ретроспективной проверке на данных за прошлые годы программа предсказала лишь 25 % краж. Но результат на улицах оказался неожиданным. За месяц эксперимента количество реальных ограблений упало на 27 % по сравнению с аналогичным периодом прошлого года. Потому что неважно, возьмется вор за отмычку или нет. Если он выходит из подъезда и упирается носом в полицейского, преступление отменяется. Машина вычисляет не злодея, а место, где вызревает зло. Это первый и самый безопасный момент: само присутствие патруля работает как прививка от криминала.

Шар показал, полиция поверила, а потом оказалось…

Но есть и второй уровень — когда алгоритм начинает смотреть не на квадраты на карте, а в лица. Система, ориентированная на личность, анализирует все: возраст, криминальную историю, трудоустройство, связи в соцсетях и даже то, с кем вы пересекались на прошлой неделе.

Один из таких умных комплексов назвали в честь всем известных шаров из «Властелина колец». Изначально система Palantir помогала спецслужбам, но потом ее шесть лет использовала полиция Нового Орлеана. И никто об этом не знал — факт применения программы обнаружили только спустя полдесятилетия.

Алгоритм комбинировал информацию из судебных выписок, адресов телефонов и постов в соцсетях, превращая разрозненные факты в аккуратную схему связей. В первые два года использования алгоритма преступность в городе действительно упала почти на треть. Но потом эксперты перепроверили цифры и поняли, что это снижение не связано с программой. Статистика сыграла злую шутку.

Как вычислить убийцу в супермаркете?

Китайские разработчики подошли к этому вопросу с пугающей дотошностью. Система оценивает не только прошлое человека, но и содержимое его корзины. К примеру, кто-то купил кухонный нож. Это нормально. Но если следом он приобрел молоток, пару мешков и маску — алгоритм повышает его рейтинг подозрительности. Вы купили билет на поезд в другой город и арендовали там отель рядом с банком? Здравствуйте, добро пожаловать в список наблюдения.

А распознавание лиц там доведено до автоматизма. Камеры с точностью до 95 % определяют человека по форме овала лица, высоте лба и даже структуре носогубных складок. Причем система умнее, чем кажется: она знает, что волосы можно перекрасить, а бороду — отрастить, но вот изменить форму ушей почти невозможно. Каждому признаку присваивается рейтинг уникальности. Если порог совпадения пройден — идентификация состоялась.

Достаточно одной секунды, чтобы алгоритм сличил конкретное лицо с базой из 1,7 миллиарда портретов. И если система пометила человека как «фокусную персону», избавиться от этого ярлыка почти невозможно. Даже простое появление в важном районе города автоматически вызовет наряд полиции.

Парадокс точности: когда алгоритм прав, но бесполезен

Казалось бы, бери ИИ-модели и пользуйся. Но не все так просто. В Великобритании взялись за разработку программы Most Serious Violence, которая должна была вычислять вероятных преступников по 20 ключевым критериям. На тестовом запуске алгоритм показал точность до 75 %. Звучит как мечта полицейского. Но на практике все пошло не так.

Никто не смог определить момент, когда следует вмешаться, чтобы преступление еще не случилось, но было уже неизбежно. Где та грань? Полицейские так и не поняли, в какой именно момент им врываться в дверь. За пять минут до удара ножом? За день? Разработчики попытались подкрутить настройки, но после исправлений точность упала до 9–19 %. Комитет по этике единогласно зарубил проект. Машина может быть права в трех случаях из четырех, но если ты не понимаешь, что делать с этим знанием, оно не имеет значения.

Предвзятость на входе — дискриминация на выходе

И самая неприятная новость. Алгоритмы впитывают в себя людские пороки. Подобные ИИ-модели обучают на полицейских отчетах. А если копы годами предвзято относились к определенному району и с особым усердием выписывали протоколы, машина решит, что это проблемная зона, и пошлет туда еще больше патрулей. Те, в свою очередь, найдут еще больше нарушений (пусть даже надуманных), и круг замкнется. Система сама создает ту преступность, которую пытается предотвратить.

Бояться пока нечего, но оглядываться стоит

Пока что технологии не умеют читать мысли. Они неплохо предсказывают места и время, но пасуют перед анализом личности. Есть и этическая пропасть. Вносить человека в список будущих преступников на основе его друзей или национальности — это дискриминация. Европарламент уже требует запретить предиктивную полицию по отношению к личности, разрешая следить только за местами.

Сегодня алгоритмы не выносят приговор, и это радует. Преступление, которого не случилось из-за вовремя подъехавшего патруля, можно назвать победой. А вот арест за то, что человек подумал — это пока что будущее, от которого мы, к счастью, защищены низкой точностью прогнозов и человеческой этикой. Но технологии не стоят на месте. И через 10 лет, возможно, отвечая на вопрос «Что вы делали вчера?», вы будете доказывать не факт, а намерение.

Кузовкин Алексей Викторович — IT-предприниматель, экс-председатель совета директоров группы компаний «Армада». Алексей Викторович обладает колоссальным опытом управления инновационными и IT-проектами.