Генеративный ИИ поднял продуктивность чат-поддержки на 15%, но у самых опытных операторов слегка просело качество

Коротко. Анонимная компания из списка Fortune 500 — разработчик делового ПО для малого и среднего бизнеса в США — поэтапно внедрила генеративный ИИ-ассистент в чат техподдержки: система подсказывала операторам формулировки и решения на основе прошлых успешных диалогов. Итог по всей выборке — рост продуктивности на 15%, но у самых опытных операторов скорость выросла ценой небольшого падения качества.

Что изменили

До внедрения операторы вели чаты с клиентами самостоятельно, без подсказок. Компания работает как напрямую, так и через сторонние фирмы — большинство операторов в выборке работают из офисов на Филиппинах. Ассистент выводил рекомендации только самому оператору: тот решал сам, использовать их или нет; если данных для конкретной ситуации не хватало, система молчала, и оператор отвечал полностью сам. Внедрению предшествовал семинедельный рандомизированный пилот на 50 операторах, затем основная часть развёртывания прошла постепенно, по мере готовности, с ноября 2020 по февраль 2021 года.

Как измерили

Метод — ступенчатый DiD (метод «разность разностей» — сравнение изменений с контрольной группой) и event-study на рабочих данных компании: 5 172 оператора, около 3 млн диалогов, панель «до и после» по каждому оператору с учётом момента его подключения к ассистенту. Данные взяты из рабочего процесса компании, а не из лабораторного эксперимента. Статья прошла рецензирование и вышла в The Quarterly Journal of Economics (том 140, выпуск 2, 2025, с. 889–942; авторы: Эрик Бриньольфссон, Даниэль Ли, Линдси Реймонд); первая версия распространялась как рабочий доклад NBER № 31161 в 2023 году. Слабое место: все данные получены от одной фирмы, через поставщика самого ИИ-инструмента, который изучал развёртывание своего продукта у клиента. Второго источника с независимым происхождением данных нет, поэтому итоговый уровень доказательности — B: рецензирование подтверждает метод, но не подтверждает независимость данных.

Что получилось

По всей выборке число решённых обращений в час (RPH) выросло на 15% — в более ранней рабочей версии статьи фигурировала близкая цифра, 13,8–14% на чуть большей выборке (5 179 операторов); расхождение объясняется разными версиями статьи. Эффект неоднороден по группам. Менее опытные и низкоквалифицированные операторы улучшили оба показателя — и скорость, и качество работы. А вот самые опытные и высококвалифицированные операторы показали смешанный результат: небольшой рост скорости при небольшом, но статистически значимом снижении доли решённых обращений и удовлетворённости клиентов. Итог по компании смешанный: у большинства скорость и качество растут вместе, а у самых сильных операторов расходятся.

Почему так вышло

Подсказки строятся на прошлых успешных диалогах, поэтому больше всего дают новичкам и слабо обученным операторам — у них растут оба показателя. Почему у самых опытных немного падает качество, статья не устанавливает. Одна из версий — операторы начинают больше доверять подсказке и меньше проверять себя в нетиповых случаях; это гипотеза исследователей проекта, а не вывод авторов. Прямых данных о причине снижения качества именно у этой группы в открытых источниках нет.

Чему учит

Средний показатель по компании может маскировать разнонаправленный эффект внутри разных групп сотрудников: важно проверять подгруппы отдельно от общей цифры.
ИИ-подсказки сильнее всего помогают тем, кому не хватает опыта; для лучших специалистов выигрыш не гарантирован и может обернуться небольшой потерей в качестве.
Рецензируемая публикация подтверждает метод, но не заменяет независимое подтверждение данных: происхождение данных остаётся проверкой одной компании.
Успешный в среднем случай стоит разбирать через призму «кому именно стало лучше, а кому хуже»: заголовок «продуктивность выросла» скрывает эту картину.

Источники

Generative AI at Work (NBER Working Paper 31161) — NBER, апрель 2023 (ред. ноябрь 2023).
Generative AI at Work — аннотация QJE — IDEAS/RePEc, индексирует The Quarterly Journal of Economics, том 140(2), 2025.

Уровень доказательности: B. Рецензируемая публикация подтверждает метод, но все данные — с одной фирмы, полученные через поставщика самого ИИ-инструмента; независимого источника с другим происхождением данных нет. Исход — смешанный: рост в среднем по выборке при снижении качества у подгруппы самых опытных операторов; внедрение прошло в 2020–2021 годах, измерение опубликовано в 2025 году.