ATLAS: Benchmarking and Adapting LLMs for Global Trade via Harmonized Tariff Code Classification

Содержание и границы

Вывод работы: Авторы впервые собрали открытый бенчмарк для классификации по HTS-кодам на основе реальных таможенных решений CBP (CROSS) и дообучили LLaMA-3.3-70B (модель Atlas). Atlas достигает 40% полностью верных классификаций на уровне 10 знаков и 57,5% на уровне 6 знаков — выше GPT-5-Thinking (25% и 55,5% соответственно) и Gemini-2.5-Pro-Thinking (13,5% и 31%), при этом инференс дешевле в 5–8 раз и модель можно развернуть локально (приватность данных). Тем не менее даже лучшая модель верно классифицирует только 40% товаров на полном 10-значном уровне — задача остаётся далёкой от промышленной надёжности.

Объём чтения: full_text

transfer_limits: Результаты получены на офлайн-бенчмарке из письменных решений CBP (текстовые описания товаров), а не в живом потоке таможенного оформления; тестовая выборка мала (200 примеров). В CROSS попадают только спорные или требующие уточнения коды — источник не анализирует, насколько равномерно представлены все 2992 HTS-кода, поэтому утверждение о «неравномерности классов» сверх этого не домысливается. Даже лучшая модель верна в 40% случаев на 10-значном уровне, то есть без человеческой проверки система не готова к автономному использованию в реальном оформлении деклараций. Оба автора — сотрудники Flexify.AI (коммерческая компания в сфере торгового комплаенса); бенчмарк CROSS, модель Atlas и сравнение с чужими моделями (GPT-5-Thinking, Gemini и др.) выполнены и опубликованы самими разработчиками продукта, независимого воспроизведения результатов нет — заинтересованность авторов в демонстрации превосходства собственной модели не отмечена самими авторами.

Продолжение: Проверить, появится ли независимая (не от Flexify.AI) публикация с воспроизведением метрик Atlas; мониторить обновления версии (v2) и появление рецензируемой публикации.