The Economics of Algorithmic Personalization: Evidence from an Educational Technology Platform

Содержание и границы

Вывод работы: РКИ с 7 750 учениками показывает, что персонализация (коллаборативная фильтрация), развёрнутая в одном разделе контента, увеличивает вовлечённость на 60% в этом разделе и на 14% по приложению в целом. Далее, эксплуатируя порог доступа в дизайне RDD, авторы отслеживают эффект на протяжении 5 месяцев развёртывания: RDD-оценки превышают РКИ-бенчмарк в 2,5 раза — обратный эффект по сравнению с типичным 'падением напряжения' (voltage drop) при масштабировании политик. Авторы делают вывод, что для алгоритмических вмешательств оценки РКИ могут быть нижней, а не верхней границей эффекта при масштабировании. Однако выгоды от персонализации сосредоточены в первых неделях использования, с убывающей отдачей далее; в сочетании с резким падением качества предсказанного соответствия по мере исчерпания лучшего контента для пользователя это говорит о том, что ограничивающим фактором становится доступность контента, а не алгоритмическая сложность.

Объём чтения: full_text

transfer_limits: Изучена одна edtech-платформа для обучения английскому языку детей в Индии — перенос на взрослый B2C/B2B коммерческий контекст (продажи, розница) требует осторожности. Обратный эффект 'voltage drop' (усиление, а не ослабление при масштабировании) может быть специфичен для сред с ограниченным и истощаемым каталогом контента; авторы сами связывают затухание выгод именно с исчерпанием лучших контентных совпадений — в средах с большим и постоянно обновляемым каталогом товаров (типичная e-commerce витрина) этот механизм затухания может не проявляться так же.

reliability_note: Авторы — университетские исследователи (Stanford University, University of Georgia, Northeastern University), сами не являются сотрудниками изучаемой компании. Исследование выполнено в сотрудничестве с командой Stones2Milestones (разработчик изучаемого приложения Freadom) — это канал доступа к данным платформы, а не аффилиация авторов; профинансировано Golub Capital Social Impact Lab (Stanford GSB). Учитывать сотрудничество с платформой при оценке независимости выбора, что и как измерять.

Продолжение: NBER working paper — не рецензировался официально (дисклеймер NBER: 'have not been peer-reviewed'); отслеживать публикацию в журнале.