Allegheny County DHS — риск-скоринг детей в зоне риска сократил расовый разрыв, но не доказал причину

Коротко. Служба защиты детей округа Аллегейни (Пенсильвания, США) с августа 2016 года использует Allegheny Family Screening Tool (AFST) — риск-скоринг, который помогает специалистам решать, принимать ли к рассмотрению обращение о предполагаемом жестоком обращении с ребёнком. Две независимые аналитические группы на одних и тех же данных округа показали, что расовый разрыв между чернокожими и белыми детьми в решениях о приёме дела заметно сократился после внедрения AFST. Но округ сам пишет, что эффект относится к «AFST и сопутствующим изменениям политики», а не только к алгоритму. В январе 2023 года AP сообщило, что Минюст США изучает жалобы (поданные осенью 2022 года) на дискриминацию семей с инвалидностью.

Что изменили

До AFST решение о приёме обращения (screen-in/screen-out) принимал специалист по своему усмотрению. С августа 2016 года AFST выдаёт риск-балл на основе административных данных округа, который специалист учитывает при решении по обращениям категории GPS — не уголовно значимым; при самом высоком риске отказ от проверки требует согласия руководителя. Обращения категории CPS (потенциально уголовные) расследуются в любом случае, независимо от AFST. Это служит внутренним контролем для сравнения.

Как измерили

Две независимые оценки на общих административных данных округа: официальная Phase 2-оценка, заказанная и оплаченная самим округом (Goldhaber-Fiebert и Prince, Stanford University, сентябрь 2023), и рабочая статья, которую округ не заказывал (Rittenhouse, Putnam-Hornstein, Vaithianathan, июнь 2023). Двое из трёх её авторов были разработчиками AFST. Обе используют разные методы (сравнение периодов, разность разностей, тройная разность с CPS-обращениями как контролем), но опираются на один и тот же массив данных округа — это одно происхождение данных с двумя разными аналитическими командами, а не два независимых происхождения. Слабое место: заказная оценка Стэнфорда и раскрытый конфликт интересов у части авторов независимой статьи.

Что получилось

Обе оценки показывают сокращение расового разрыва. В статье Rittenhouse и соавторов разрыв по приёму обращений сократился на 19–46% в зависимости от спецификации, по открытию дела — на 87–91%, по изъятию детей в течение 3 месяцев — на 73–80% (в тексте статьи 77% и 80%, пересчёт по её же сноске даёт 73%). В оценке округа разрыв по расследованиям сократился на 32%, по открытию дела — на 92%, а по изъятиям есть лишь «предположительные свидетельства» полного устранения разрыва, без статистической значимости. Округ относит эти эффекты к «AFST и сопутствующим изменениям политики». При этом отдельное снижение доли открытых дел на 8 процентных пунктов (20%) сам округ не связывает с AFST — похожее снижение на 18,4% произошло и по CPS-обращениям, которых AFST не касается по закону. Значит, причина — в других изменениях политики округа. В январе 2023 года AP со ссылкой на анонимные источники сообщило, что Отдел гражданских прав Минюста США изучает жалобы (поданные осенью 2022 года) о возможной дискриминации семей с инвалидностью; формального расследования не объявлялось, итог на конец сентября 2026 года неизвестен.

Почему так вышло

Механизм источники напрямую не проверяли. Можно предположить, что единый риск-балл уменьшает влияние личных оценок специалиста, но это гипотеза. Кроме того, округ одновременно менял и другую практику работы, поэтому выделить чистый эффект именно AFST по всем показателям нельзя — это признают сами авторы официальной оценки.

Чему учит

Даже при сокращении измеримого разрыва эффект алгоритма и сопутствующих организационных изменений здесь разделить не удалось — заявления об «эффекте алгоритма» стоит проверять на это.
Оценка, заказанная и оплаченная самим ведомством, — не независимое происхождение данных, даже если анализ выполнен качественно.
Долгоживущий инструмент (используется десятый год) может одновременно иметь подтверждённую пользу по одним показателям и незакрытые вопросы о дискриминации по другим.
Разработчики алгоритма, публикующие научную оценку собственной системы, должны раскрывать конфликт интересов — это не отменяет ценность анализа, но требует осторожности в выводах.

Источники

23-ACDHS-19 Family Screening Tool Update Summary — Allegheny County DHS, сентябрь 2023.
Algorithms, Humans, and Racial Disparities — Rittenhouse, Putnam-Hornstein, Vaithianathan, рабочая статья, 19.06.2023.
AP report: DOJ examining AI screening tool used by Pa. child welfare agency — PBS NewsHour / AP, 31.01.2023.

Уровень доказательности: B. Две методологически независимые аналитические команды при общем происхождении данных (административные записи округа); одна оценка заказана самим округом, у части авторов другой — раскрытый конфликт интересов. Проверка Минюста США не завершена.