Scaffolding Human–AI Collaboration: A Field Experiment on Behavioral Protocols and Cognitive Reframing

Содержание и границы

Вывод работы: Полевой эксперимент с 388 сотрудниками Gap Inc. (Fortune 500 ритейлер), выполненный авторами из Microsoft Corporation (вендора изучаемого инструмента Microsoft Copilot — конфликт интересов в статье не оговорён): обязательный протокол парной работы с Copilot (поведенческий скаффолдинг) снизил качество документов (b=−4.958, SE=0.888, p<.001, |d|=0.81) и объём их производства (OR=0.12) по сравнению с неструктурированным использованием того же инструмента. Тренинг, переосмысляющий Copilot как «партнёра по мышлению» (когнитивный скаффолдинг), связан с более высокой вероятностью получения максимального балла качества (OR=2.07, 77.0% против 61.8%), но этот результат exploratory: бинарный порог выбран post hoc в ответ на наблюдённый эффект потолка, а границы Ли для него пересекают ноль (−10.10…+0.31) — сами авторы называют это «важной оговоркой»; непрерывный эффект на среднее качество не значим (p=.223). Оба результата отягощены методологическими ограничениями, которые авторы указывают сами: смешение условия с временем суток (AM=контроль, PM=лечение), дифференциальный отсев (attrition) и чувствительность LLM-оценщика (GPT-4o-mini) к длине текста.

Объём чтения: full_text

transfer_limits: Одна компания (Gap Inc.), результаты могут не обобщаться на другие отрасли и размеры фирм; изучаемый инструмент — Microsoft Copilot, все пять авторов — сотрудники Microsoft Corporation (вендора этого инструмента), что не отмечено как ограничение в самой статье; задачи A и Б — специально сконструированные «документные» упражнения эксперимента, не весь спектр знаниевой работы; дифференциальный отсев по условиям ставит под сомнение причинную интерпретацию (авторы сами проводят анализ границ Ли (Lee bounds) как коррекцию); качество измерено LLM-оценщиком, чувствительным к длине текста; смешение AM/PM с условием не позволяет чисто отделить эффект скаффолдинга от времени суток; бинарный порог для эффекта OR=2.07 выбран post hoc по наблюдённому эффекту потолка, а границы Ли для этого бинарного исхода пересекают ноль (−10.10…+0.31) — сами авторы называют это «важной оговоркой» к находке OR=2.07; авторы явно предупреждают не переоценивать интерпретацию — результаты Task A и Task B описаны как «два ограниченных операционных урока», а не как чистое доказательство превосходства одного вида скаффолдинга.

reliability_note: Все пять авторов — сотрудники Microsoft Corporation; изучаемый инструмент — Microsoft Copilot, продукт компании-работодателя авторов. Заинтересованность вендора (исследование эффективности использования собственного продукта) не оговорена как ограничение в самой статье. Карточка должна читаться с поправкой на этот конфликт интересов; независимого немикрософтовского источника с теми же цифрами нет.

Продолжение: Мониторить публикацию рецензируемой версии; сверить с другими полевыми экспериментами GenAI-скаффолдинга при появлении.