AgentLens: новый бенчмарк для оценки кодовых агентов на всех этапах работы

Разработчики и исследователи в области искусственного интеллекта получили новый инструмент для оценки кодовых агентов — бенчмарк AgentLens. В отличие от традиционных тестов, которые лишь констатируют успех или провал задачи, AgentLens анализирует всю траекторию работы агента: от следования инструкци

Что такое AgentLens и чем он отличается от других бенчмарков

Научная статья, опубликованная на arXiv, представляет AgentLens как бенчмарк нового поколения для интерактивных кодовых агентов. Большинство существующих тестов, таких как SWE-bench или HumanEval, сводят оценку к одному биту: прошёл задачу или нет. Такой подход не даёт полной картины поведения агента. AgentLens же оценивает каждый шаг: как агент следует инструкциям, какие инструменты использует, как проверяет свою работу, как восстанавливается после ошибок и как общается с пользователем.

Этот бенчмарк особенно ценен тем, что позволяет не просто ранжировать модели, но и проводить детальную диагностику их поведения. Разработчики могут сравнивать разные версии одного агента, выявлять регрессии в ночных пайплайнах оценки и понимать, какие именно аспекты работы требуют улучшения.

Как работает AgentLens: сочетание формальной верификации и LLM-обзоров

AgentLens использует гибридный подход. Там, где существует объективная проверка, применяется формальная верификация. Например, для задач с чётко определённым результатом (правильный вывод функции или отсутствие ошибок компиляции) оценка выставляется автоматически. Однако для более сложных аспектов, таких как качество коммуникации или эффективность использования инструментов, AgentLens привлекает LLM для написания обзоров траекторий. Также используются попарные сравнения: две траектории работы агента сравниваются между собой, чтобы определить, какая из них лучше.

Каждый запуск агента сопровождается читаемым объяснением полученной оценки. Это делает результаты прозрачными и позволяет разработчикам быстро понять, почему агент получил ту или иную оценку. Бенчмарк опубликован как открытый исходный код на GitHub, что даёт возможность сообществу вносить свой вклад и адаптировать его под свои нужды.

Почему AgentLens важен для разработки кодовых агентов

Традиционные бенчмарки не дают полной картины поведения агента. Например, агент может успешно решить задачу, но при этом нарушить инструкции или использовать неэффективные инструменты. AgentLens позволяет увидеть эти нюансы. Для разработчиков это означает возможность более целенаправленно улучшать свои модели. Для исследователей — инструмент для изучения поведения LLM-агентов в динамике.

Особенно полезен AgentLens для команд, которые внедряют кодовых агентов в продуктовые пайплайны. С его помощью можно отслеживать регрессии после обновлений модели или изменения промптов. Это помогает поддерживать стабильное качество работы агентов в production-среде.

Какие аспекты работы агента оценивает AgentLens

Бенчмарк охватывает несколько ключевых измерений:

Следование инструкциям. Агент должен точно выполнять указания пользователя, не отклоняясь от поставленной задачи. AgentLens проверяет, насколько агент придерживается инструкций на каждом шаге.

Использование инструментов. Кодовые агенты часто имеют доступ к различным инструментам: терминал, редактор кода, браузер и т.д. AgentLens оценивает, правильно ли агент выбирает и применяет инструменты для решения задачи.

Проверка своей работы. Хороший агент не только пишет код, но и проверяет его на ошибки, запускает тесты и анализирует результаты. AgentLens фиксирует, выполняет ли агент такие проверки и насколько они эффективны.

Восстановление после ошибок. Ошибки неизбежны, но важно, как агент на них реагирует. AgentLens оценивает, способен ли агент распознать ошибку, проанализировать её причину и исправить.

Коммуникация с пользователем. Агент должен уметь задавать уточняющие вопросы, сообщать о прогрессе и запрашивать обратную связь. AgentLens проверяет качество и своевременность такой коммуникации.

Какой вопрос по теме чаще всего ищут в Google?

Как оценить производительность AI-агента для написания кода?

Оценка производительности AI-агентов для написания кода — сложная задача, выходящая за рамки простого подсчёта решённых задач. AgentLens предлагает многоаспектный подход, который учитывает не только конечный результат, но и процесс его достижения. Для оценки можно использовать комбинацию формальных тестов (например, unit-тестов), анализа траектории с помощью LLM и экспертной оценки. Важно также учитывать контекст задачи: агент, который отлично справляется с простыми задачами, может пасовать перед сложными многошаговыми проектами. Поэтому бенчмарки вроде AgentLens должны масштабироваться и включать задачи разного уровня сложности.

Кому будет полезен AgentLens

Разработчикам кодовых агентов. Те, кто создаёт агентов на базе LLM, смогут использовать AgentLens для тестирования и улучшения своих моделей. Бенчмарк поможет выявить слабые места и понять, над чем нужно работать.

Исследователям в области AI. AgentLens предоставляет инструмент для изучения поведения агентов в динамике. Это может привести к новым открытиям в области обучения и настройки LLM.

Инженерам по оценке и отладке LLM-агентов. Для тех, кто отвечает за качество агентов в production, AgentLens станет незаменимым помощником в ночных пайплайнах оценки и выявлении регрессий.

Командам, внедряющим агентов в продуктовые пайплайны. С помощью AgentLens можно гарантировать, что агент работает стабильно и предсказуемо, что критически важно для бизнес-приложений.

Что пока остаётся неизвестным

На данный момент не опубликованы результаты сравнения популярных моделей на AgentLens. Интересно было бы увидеть, как справляются GPT-4, Claude, Gemini и другие модели в этом бенчмарке. Также остаётся открытым вопрос масштабируемости: насколько хорошо AgentLens справляется со сложными многошаговыми задачами в реальных проектах? Пока бенчмарк протестирован на ограниченном наборе задач, и его применимость к крупным кодовым базам ещё предстоит проверить.

Тем не менее, AgentLens уже сейчас представляет собой значительный шаг вперёд в области оценки кодовых агентов. Он даёт более полную и детальную картину поведения агентов, что должно помочь ускорить их развитие и внедрение.