EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions

Содержание и границы

Вывод работы: Авторы построили EnterpriseClawBench — бенчмарк из 852 воспроизводимых задач, восстановленных из большого архива реальных (но не раскрываемых публично из-за конфиденциальности) корпоративных рабочих сессий агентов; каждая задача снабжена восстановленными фикстурами, переписанными промптами, классами ролей и навыков, жёсткими правилами и семантическими рубриками. Лучшая протестированная связка (Codex с GPT-5.5) достигла результата лишь 0.663 по композитной метрике. Авторы утверждают, что оценку корпоративных агентов необходимо вести по комбинации харнесс+модель, качеству доставленного артефакта, визуальному качеству, стоимости, времени выполнения и способности к переносу навыков, а не сводить к единому числу.

Объём чтения: abstract_only

transfer_limits: Исходный датасет реальных рабочих сессий не публикуется (конфиденциальность корпоративных данных), поэтому независимая проверка задач невозможна — доверие к репрезентативности опирается на заявления авторов; бенчмарк оценивает возможности моделей/харнессов в лабораторной постановке, а не производительность внедрённой практики в конкретной компании; прочитана только аннотация (abstract_only). Аффилиация авторов явно не указана на странице аннотации; код бенчмарка опубликован в организации GitHub «FrontisAI» (https://github.com/FrontisAI/EnterpriseClawBench), что может указывать на принадлежность авторов этой организации — это вывод карточки (наблюдение по названию репозитория), а не прямое заявление источника об аффилиации, поэтому отмечено отдельно, а не как факт.

Продолжение: Проверить репозиторий github.com/FrontisAI/EnterpriseClawBench на предмет протокола оценки (без скачивания закрытых данных); мониторить новые версии/рецензируемую публикацию.