Бристоль отказался от ИИ-моделей из-за низкой точности

25.06.2026 Великобритания Искусственный Интеллект Новости Правоохранители

Полиция Эйвона и Сомерсета совместно с городским советом Бристоля прекратили эксплуатацию как минимум двух ИИ-моделей, предназначенных для оценки риска преступлений в отношении детей. Причиной стала их низкая точность, а также невозможность провести полноценную проверку — независимые аудиторы не смогли обнаружить исходный код и перечень используемых переменных.

Издание совместно с правозащитной организацией Liberty Investigates, местным медиа Bristol Cable и некоммерческой редакцией Lighthouse Reports изучили сотни страниц документов, полученных по запросам о доступе к информации. Материал был опубликован на фоне запуска PoliceAI — национального центра по тестированию и внедрению ИИ-инструментов в полиции Англии и Уэльса.

Как собирались данные в Бристоле

Речь идет о базе данных Think Family Database, запущенной городским советом Бристоля в 2016 году для работы с семьями и детьми, нуждающимися в поддержке. По информации WIRED, она могла содержать записи почти о 500 000 жителей, хотя на официальной странице проекта сейчас указано около 55 000 семей. Такое расхождение может объясняться разницей между индивидуальными записями и семейными профилями.

Think Family Database объединяла полицейские и социальные данные: жилищный статус, информацию о психическом здоровье, подростковых беременностях, участии в родительских курсах, пропусках школы и получении бесплатного школьного питания. По данным издания, сведения собирались без прямого согласия граждан, на основании правовых норм, разрешающих обмен информацией между государственными структурами.

Один из специалистов по данным полиции описал этот подход как смешивание различных массивов информации.

«Я просто сваливаю всё это в одну большую кучу», — заявил он.

На основе Think Family Database правоохранители и власти строили модели машинного обучения, присваивающие взрослым и детям оценки риска. Журналистам известно о как минимум 23 моделях полиции Эйвона и Сомерсета — от прогнозирования краж со взломом и неявки в суд до риска исчезновения человека и вероятности стать жертвой домашнего насилия.

Параллельно функционировало приложение Offender Management App, рассчитанное примерно на 300 000 человек в регионе. Один из старших офицеров назвал его основой для «турнирной таблицы» наиболее опасных преступников.

Причины отключения моделей

Одна из первых моделей оценивала риск преступлений против детей. По данным WIRED, в нее были включены данные полиции, городского совета и других госструктур, а также обезличенные сведения благотворительной организации Barnardo’s по 1000 детей, уже пострадавших от таких преступлений.

На итоговую оценку также влияли:
— статус ребенка, нуждающегося в помощи;
— систематические пропуски школы;
— проблемы с психическим здоровьем.

Другая модель учитывала жилищную поддержку, задолженность по аренде и получение бесплатного школьного питания.

В 2016 году этический комитет полиции предупредил, что выбранные данные и переменные могут привести к алгоритмической предвзятости. Он рекомендовал использовать систему с осторожностью и заранее разъяснить общественности цели и принципы применения такой аналитики.

Позднее проект оценила британская некоммерческая консалтинговая организация Social Finance. В своем обзоре риск-скоринг был назван самым слабым звеном, а низкая точность — фактором, подорвавшим практическую ценность моделей. К моменту проверки две модели оценки рисков преступлений против детей уже не использовались, сообщает WIRED.

Social Finance связала ухудшение качества моделей с изменением набора данных. Полиция пыталась масштабировать подход на всю территорию Эйвона и Сомерсета, включающую пять местных советов, но не смогла договориться об обмене данными со всеми местными властями. В результате в моделях осталось преимущественно полицейское «ядро» без прежних социальных индикаторов.

По информации журналистов, сотрудники городских служб Бристоля жаловались, что уязвимые дети не попадают в результаты. Один из работников отметил, что несовершеннолетние, недавно ставшие жертвами преступлений, могли получать более низкий балл, чем фигуранты дел о кражах со взломом. Другие служащие заявили, что не готовы полагаться на оценки из-за непрозрачной методики.

Social Finance также не смогла провести полноценную проверку моделей: исходный код и список переменных найти не удалось. По данным WIRED, ни полиция, ни городской совет Бристоля к июню 2023 года не сохранили документы о решении отказаться от двух моделей оценки рисков преступлений против детей.

Результаты аудита

Отдельно WIRED получило от полиции более 36 000 оценок производительности по 13 моделям, которые использовались или тестировались в 2017-2024 годах. Издание передало массив аудиторской компании Eticas. Специалисты пришли к выводу, что у большинства моделей была низкая точность положительных срабатываний. Это означает, что значительную долю людей система ошибочно помечала как представляющих риск.

Согласно этим данным, модель для выявления потенциальных взломщиков более трех лет демонстрировала точность положительных срабатываний ниже 10%: менее одного из десяти отмеченных системой людей действительно совершал такое преступление. Аудиторы также отметили, что такие показатели нехарактерны для хорошо управляемых моделей, находящихся в операционном использовании.

Полиция заявила WIRED, что часть моделей, включая инструмент по кражам со взломом, не внедрялась. Наличие многолетних оценок их производительности ведомство объяснило автоматической проверкой статического файла, который не удалили после отказа от внедрения.

Отдельно на сайте полиции указано, что часть инструментов ведомства использует ИИ, а результаты алгоритмов применяются лишь как рекомендательный сигнал для сотрудников. В полиции подчеркнули, что модели не принимают решения автоматически.

Городской совет Бристоля заявил, что в настоящее время использует только модель риска NEET — оценку вероятности того, что ребенок после окончания школы не будет учиться, работать или проходить обучение. По словам властей, этот инструмент не заменяет профессиональное суждение.

PoliceAI

История стала известна на фоне расширения применения искусственного интеллекта в правоохранительных органах страны через PoliceAI. 10 июня МВД Великобритании запустило центр для тестирования и масштабирования ИИ-инструментов в 43 полицейских управлениях Англии и Уэльса. Бюджет проекта составил 75 миллионов фунтов стерлингов на три года.

В первый год PoliceAI сосредоточится на инструментах для разбора, раскрытия и суммирования цифровых доказательств. Испытания должны пройти в десяти управлениях в 2026-2027 годах, после чего планируется масштабирование на все полицейские силы.

PoliceAI работает на базе Колледжа полиции — профессионального органа, отвечающего за стандарты и обучение силовиков в Англии и Уэльсе. Его возглавляет бывший главный констебль полиции Эйвона и Сомерсета Энди Марш.

WIRED обратило внимание на эту связь: в регионе, где развивали спорную ИИ-аналитику, ранее работал руководитель структуры, теперь участвующей в масштабировании искусственного интеллекта для полиции. На этом фоне случай Бристоля показывает, что риски таких моделей связаны не только с точностью алгоритмов, но и с качеством данных, сохранением документации и возможностью независимой проверки.

Ранее издание сообщило о жителе Мэриленда Алонзо Сойере, который провел девять дней в тюрьме после ошибочного совпадения

Обменять