ERPBench: A State-Grounded Evaluation Paradigm for Computer-Use Agents in Enterprise Software

Содержание и границы

Вывод работы: Высокая визуальная компетентность агента (успешная навигация и подтверждение сохранения на экране) не означает корректности итоговой бизнес-записи: некоторые агенты 'сохраняют' запись в до 85% прогонов, но записывают правильное значение лишь в 3% прогонов — расхождение ("silent failure") невидимо при оценке по скриншотам/трассам выполнения и обнаруживается только проверкой по полям базы данных. Авторы вводят таксономию отказов (planning, grounding, perception, save-step, recovery) для локализации, на каком этапе агент ломается.

Объём чтения: full_text

transfer_limits: Это контролируемый бенчмарк на синтетических задачах в self-hosted ERPNext, а не наблюдение за живым производственным использованием: авторы прямо называют его методологией оценки (evaluation paradigm), а не полевым исследованием эффекта внедрения. ERPBench покрывает только редактирование одного поля, создание многополевой записи и многоэкранные цепочки — не полный спектр реальных ERP-задач. Human-in-the-loop harness, который в проде должен перехватывать необратимые действия, в бенчмарке заменён авто-одобрителем (auto-approver) — то есть измеряется потенциальная, а не фактически предотвращённая частота ошибок в реальном контуре с человеком. Перенос чисел (3-85%) на конкретную компанию/конкретный ERP-продукт не гарантирован — цифры зависят от модели агента и версии ERPNext на момент теста.

Продолжение: Отметить как пример 'evaluation ≠ production reliability' в возможной синтетической карточке-подходе (approach) по надёжности агентов; следить за релизом самого бенчмарка (авторы обещают открыть артефакты).