Can LLM Agents Price Competitively? A Dynamic Multi-Attribute Auction Benchmark for Agentic Commerce

Содержание и границы

Вывод работы: Даже лучший протестированный ИИ-агент захватывает менее трети прибыли от оптимальной с учётом ретроспективы (hindsight-optimal) стратегии. Лидеры по привлечению клиентов (например, Gemini 3.1 Pro) и лидеры по прибыли (например, Opus 4.6) — часто разные модели («are often not the leading agents on profit» — смягчённая формулировка в оригинале, не абсолютное расхождение): конкурентоспособная цена не всегда означает прибыльную цену. При шоках спроса ранжирование моделей меняется снова: агенты, быстрее всех обучавшиеся до шока, как правило медленнее всех пересматривают свои представления после шока (за исключением Gemini 3.1 Pro, который восстанавливается быстрее всех, хотя и не лидирует по прибыли).

Объём чтения: full_text

transfer_limits: Авторы прямо указывают ключевое ограничение: покупатели в бенчмарке синтетические — их векторы предпочтений заданы вручную по архетипам кластеров, а не получены из реальных данных о потребителях. Это позволяет точную (closed-form) оценку, но означает, что абсолютные цифры профита и ранжирование моделей не переносятся напрямую на реальные рынки с непредсказуемым, шумным и стратегическим поведением покупателей. Дополнительно по разделу Limitations: (1) в каждом прогоне тестируемая LLM конкурирует с тремя одинаковыми ботами, а не с другими LLM — авторы прямо называют это «a controlled probe of pricing skill, not a simulation of live markets», то есть контролируемой пробой навыка ценообразования, а не имитацией живого рынка; (2) исследован один крупный шок предпочтений, постепенный дрейф и повторные шоки не изучались; (3) анализ стиля рассуждений моделей — качественный, не систематический; (4) авторы прямо просят читать конкретные числовые разрывы между моделями как относительные сигналы, «rather than absolute deployment forecasts»; (5) отдельный риск при развёртывании без защитных механизмов: кластеры клиентов по абстрактным атрибутам могут коррелировать с защищёнными группами в реальных рынках — авторы предупреждают о необходимости мониторинга дискриминационных исходов ценообразования, хотя сам бенчмарк намеренно исключает признаки идентичности.

reliability_note: Все четыре автора — сотрудники Visa Research, исследовательского подразделения платёжной сети Visa, заинтересованной в развитии инфраструктуры агентной коммерции (payment rails для будущих ИИ-агентов-покупателей). Аффилиация не была раскрыта в первоначальной версии карточки — добавлена по замечанию проверки.

Продолжение: Без дополнительных действий.