Same Team Label, Different Evidence: A Full-Text Audit of Claim Denominators in Human-AI Teaming Research

Содержание и границы

Вывод работы: Авторы вручную проаудировали 86 полных текстов, отобранных из 419 записей по теме Human-AI Teaming, и обнаружили, что полнотекстовое прочтение изменило принадлежность к «ядру» темы для 40 из 86 записей (36 из 74 кандидатов ядра выпали, 4 из 12 пограничных вошли). Командная терминология («team», «collaboration») ненадёжно указывает на реальную социальную единицу за заявлением: из 27 человеко-ИИ диад 14 использовали командную лексику, и из 23 команд «несколько людей + ИИ» такую же лексику использовали 20 — то есть слова не различают разные организационные формы, стоящие за одинаковой меткой. Только 20 из 86 статей уточняли, кто именно видел вывод ИИ. Четыре независимых запуска LLM-судьи единогласно промаркировали 53 случая скрининга и 59 случаев определения формы взаимодействия, однако 32% и 34% этих единогласных решений разошлись с разметкой по полному тексту соответственно. Авторы вводят понятие «дрейфа знаменателя заявления» (claim-denominator drift) как проблему синтеза в исследованиях HAT и предлагают чек-лист для решения о сравнимости результатов по доверию, координации, производительности, эффективности и подотчётности.

Объём чтения: abstract_only

transfer_limits: Это мета-исследование методологии (аудит академической литературы), а не первичное эмпирическое исследование конкретного бизнес-процесса; выборка построена из 419 англоязычных академических записей → 86 полных текстов и может не отражать всю индустриальную/практическую литературу (блоги компаний, внутренние отчёты); выводы применимы к интерпретации claims в самой HAT-литературе, а не напрямую к эффективности человеко-ИИ команд в конкретной организации.

Продолжение: Использовать выводы этой работы как методологический фильтр при чтении и интерпретации других научных карточек пакетов SCIENCE о human-AI teams (осторожность с формулировкой «команда»); мониторить рецензируемую публикацию.