ShopEase: A Generative AI-Based Multi-Agent Framework for Intelligent Enterprise Customer Support Using Hybrid Retrieval-Augmented Generation

Содержание и границы

Вывод работы: На 2632 отложенных запросах чисто плотный (dense) ретривер FAISS-only дал наивысшую точность классификации политики — 85.37% (2247 из 2632 верных предсказаний), почти не уступая взвешенному гибридному Weighted RRF (85.07%); чисто лексический BM25-only — только 55.74%. Добавление cross-encoder переранжирования не улучшило результат (RRF+Cross-Encoder — 83.24%, Top-10 Hybrid+Cross-Encoder — 81.88%) и увеличило задержку ответа. Статистический тест Макнемара не показал значимой разницы между FAISS-only и Weighted RRF, но обе конфигурации значимо превзошли Fair RRF и варианты с cross-encoder. Основной источник ошибок — категория «неизвестно» (запросы без чёткого соответствия политике).

Объём чтения: full_text

transfer_limits: Авторы в отдельном разделе 9 (Limitations) прямо пишут: оценка выполнена на фиксированном датасете из 2632 запросов и ограниченном наборе категорий политик, поэтому результаты могут не отражать всё многообразие реальных запросов клиентской поддержки; система оценивалась в контролируемом экспериментальном окружении и не включает данные долгосрочной эксплуатации от реальных клиентов ("does not include long-term deployment data from real customers"); качество ответа зависит от базы знаний политик и локальной языковой модели; для оценки в более широких реальных условиях нужны более крупные и разнообразные датасеты. Неясно (в тексте не указано), является ли датасет синтетическим или собран из реальной компании — организация-источник данных не названа, поэтому карточку practice заводить нельзя.

Продолжение: Не найдена организация-источник датасета; отслеживать финальную публикацию в Expert Systems with Applications на предмет добавления информации о происхождении данных.