RetailBench: новый бенчмарк для оценки LLM-агентов в долгосрочном управлении розницей

Искусственный интеллект всё активнее проникает в сферу розничной торговли, но насколько LLM-агенты способны управлять магазином в долгосрочной перспективе? Недавно группа исследователей представила RetailBench — симуляционный бенчмарк, который позволяет оценить работу языковых моделей в задачах управления розничным магазином на протяжении сотен дней. Этот инструмент моделирует супермаркет как частично наблюдаемый процесс принятия решений, где агент должен учитывать множество факторов: цены, запасы, поставщиков, ассортимент, отзывы клиентов и денежные потоки. Результаты первых тестов показали, что даже лучшие LLM значительно уступают оптимальным стратегиям, а многие модели не выдерживают длительного горизонта планирования.

Зачем нужен RetailBench: проблема долгосрочного планирования Современные LLM-агенты отлично справляются с короткими, чётко определёнными задачами — ответить на вопрос, написать текст, решить простую логическую задачу. Однако их способность поддерживать согласованные решения в динамичных долгосрочных сценариях остаётся под вопросом. В реальном бизнесе управление магазином требует учёта множества взаимосвязанных переменных: сезонности, поведения клиентов, финансовых ограничений, действий конкурентов. RetailBench создан именно для того, чтобы систематически оценить эту способность в экономически обоснованной среде. Бенчмарк позволяет исследователям и разработчикам понять, насколько LLM-агенты готовы к реальным задачам управления.

Как устроен RetailBench: симуляция супермаркета на 1000 дней RetailBench моделирует работу одного супермаркета как частично наблюдаемый марковский процесс принятия решений. Агент получает информацию только о части состояния магазина — например, текущие продажи, остатки на полках, отзывы клиентов — и должен принимать решения по управлению ценами, пополнению запасов, выбору поставщиков, ассортименту на полках, учёту старения товаров, а также реагировать на внешние события и соблюдать ограничения по денежному потоку. Симуляции могут длиться до 1000 дней, что позволяет оценить долгосрочные стратегии агентов. Важно, что среда включает стохастические элементы — спрос клиентов меняется, поставки могут задерживаться, возникают непредвиденные ситуации.

Какие конкретные задачи решает агент в RetailBench? Агент в RetailBench должен ежедневно или еженедельно принимать решения по нескольким ключевым направлениям. Во-первых, ценообразование: установка цен на товары с учётом спроса, конкурентов и маржинальности. Во-вторых, управление запасами: заказ товаров у поставщиков, контроль за уровнем складских остатков, предотвращение дефицита или избытка. В-третьих, выбор поставщиков: оценка надёжности, цен и сроков поставки. В-четвёртых, ассортиментная политика: какие товары выставлять на полки, как часто обновлять ассортимент. В-пятых, обработка обратной связи: учёт отзывов клиентов для корректировки стратегии. Все эти решения должны приниматься с учётом ограниченного бюджета и долгосрочных целей — максимизации чистой стоимости и объёма продаж.

Результаты тестирования: LLM-агенты пока уступают оптимальным стратегиям Исследователи протестировали семь современных LLM (конкретные модели не раскрыты) в рамках типовых агентных фреймворков на горизонте 180 дней. Для сравнения использовалась привилегированная оптимальная стратегия (oracle policy), которая имеет доступ к полной информации о состоянии среды. Результаты показали значительный разброс: лишь небольшое подмножество моделей «выжило» на всём горизонте, то есть не привело магазин к банкротству или недопустимым убыткам. Даже лучшие LLM существенно отстали от oracle по итоговой чистой стоимости и объёму продаж. Поведенческий анализ выявил три основные причины неудач: неполный сбор информации (агенты не учитывали все доступные данные), поверхностное принятие решений (реактивные, а не стратегические действия) и отсутствие последовательной долгосрочной политики (частые смены курса без логики).

Почему LLM-агенты не справляются с долгосрочным управлением? Основная проблема — в архитектуре современных LLM. Они обучены на коротких контекстах и не имеют встроенных механизмов для поддержания долгосрочной памяти и планирования. В RetailBench агент должен помнить решения, принятые недели и месяцы назад, и оценивать их последствия. LLM склонны «забывать» ранние действия или не связывать их с текущими результатами. Кроме того, модели часто демонстрируют поверхностное понимание экономических взаимосвязей: например, снижают цены для увеличения продаж, не учитывая влияние на маржу и денежный поток. Отсутствие последовательной политики приводит к хаотичным решениям, которые ухудшают показатели магазина.

Кого затронет RetailBench: от разработчиков до ритейлеров Этот бенчмарк в первую очередь интересен разработчикам LLM-агентов и исследователям в области автономного принятия решений. Он предоставляет стандартизированную среду для тестирования и сравнения различных моделей и архитектур. Для специалистов по розничной торговле RetailBench открывает возможности автоматизации управления магазинами: если LLM-агенты научатся эффективно работать в симуляции, их можно будет применять в реальных операциях — от ценообразования до управления цепочками поставок. Однако пока результаты показывают, что до практического внедрения ещё далеко.

Что пока неизвестно и какие вопросы остаются Исследователи не раскрыли конкретные модели LLM, участвовавшие в тестировании, что затрудняет независимую верификацию результатов. Также неясно, как RetailBench масштабируется на более крупные розничные сети или другие типы бизнеса — например, онлайн-торговлю или мультибрендовые магазины. Кроме того, остаётся открытым вопрос о том, как улучшить LLM-агентов для долгосрочного планирования: нужны ли новые архитектуры, дополнительные модули памяти или гибридные подходы с классическими алгоритмами управления. RetailBench — важный шаг, но впереди ещё много работы.

Будущее RetailBench: перспективы развития бенчмарка Авторы планируют расширять бенчмарк, добавляя новые сценарии, типы товаров и внешние шоки. Возможно, в будущем RetailBench станет стандартом для оценки агентов в розничной торговле, аналогично тому, как GLUE и SuperGLUE стали стандартами для понимания естественного языка. Однако для этого необходимо открыть детали тестирования и обеспечить воспроизводимость результатов. Разработчикам стоит обратить внимание на RetailBench как на полигон для отработки методов долгосрочного планирования и обучения с подкреплением для LLM.