Предиктивная полиция часто преподносится как высокоточный инструмент распределения ресурсов, но на деле это «дата-сайенс лопата», которой перемешивают чан с чувствительной личной информацией. Проект Think Family Database в Бристоле стал масштабным и опасным экспериментом по профилированию почти полумиллиона жителей. В одну корзину свалили всё: от бесплатных школьных обедов и жилищного статуса до диагнозов психиатров и данных о подростковых беременностях. Запущенный в 2016 году городским советом Бристоля и полицией Эйвона и Сомерсета, проект должен был нарисовать «картину угроз». Вместо этого мир получил хрестоматийный пример того, как скрещивание несвязанных социальных индикаторов порождает системные галлюцинации и тотальный крах доверия к государственным институтам.
Методология «большого ведра» как концептуальный провал
Архитектура Think Family Database опиралась на порочное допущение: если скормить модели машинного обучения гору разнородного мусора, на выходе получится ценный инсайт. Как признался один из дата-сайентистов полиции в 2022 году, стратегия заключалась в том, чтобы буквально «вывалить все доступные данные в ведро и перемешать», назначив риск-скор каждому горожанину. Эта «кухонная логика» полностью игнорирует отсутствие каузальных связей между бесплатным обедом в школе и склонностью к криминалу в будущем. В итоге система, включавшая 23 отдельные модели для предсказания всего — от вероятности краж до риска стать жертвой домашнего насилия — превратилась в непрозрачный «черный ящик». Согласно документам, полученным WIRED, как минимум две ключевые модели риск-скоринга в итоге пришлось тихо свернуть из-за их полной бесполезности.
Секретность и деградация публичного доверия
Прозрачность волновала архитекторов системы в последнюю очередь, что создало критические юридические и репутационные риски. Джон Пеграм, лидер местной группы по надзору за полицией, узнал о существовании приложения Offender Management App (содержащего данные о 300 тысячах человек) лишь спустя годы после его запуска. Когда в начале 2024 года Пеграм потребовал раскрыть, как используются его данные, полиция ушла в глухую оборону. Даже после юридического вмешательства власти признали наличие его профиля в базе, но наотрез отказались пояснить, какой балл ему присвоен и как это «цифровое клеймо» влияет на его взаимодействие с законом. Налицо прямое нарушение GDPR и этических норм, которое для любого бизнеса обернулось бы многомиллионными штрафами и отменой.
«Я просто сваливаю все эти данные в большое ведро, мешаю их своей дата-сайенс лопаткой, и на выходе мы получаем симпатичный риск-скор для каждого».
Уроки цифрового вуайеризма
Бристольский кейс демонстрирует опасный сдвиг от прогнозной аналитики к цифровому вуайеризму. Проект не смог провести грань между полезным диагностическим инструментом и автоматизированным клеймлением уязвимых групп населения. Когда социальный скоринг строится на фундаменте «мусор на входе — мусор на выходе» (garbage in, garbage out) и скрывается от тех, по кому он бьет, он перестает быть инструментом управления и становится токсичным активом. Тот факт, что сотрудники сами начали саботировать модели, доказывает: даже самая агрессивная слежка не заменяет надежность алгоритма. Попытка решить социальный кризис через бесконтрольную автоматизацию предвзятости — это лишь дорогой способ окончательно расписаться в собственной некомпетентности. Чем сильнее вы мешаете данные в «ведре», тем меньше смысла в полученном результате.