Как Spotify сократил расход токенов Claude Code на 90% с помощью Portal

Инженерная команда Spotify представила внутренний инструмент Portal, который позволил снизить потребление токенов при работе с агентом Claude Code на 90%. Разработка фокусируется на оптимизации операций ввода-вывода, которые составляют основу работы ИИ-ассистентов.

Современные агенты кодирования на базе искусственного интеллекта потребляют значительные ресурсы не только в моменты генерации кода, но и в процессе взаимодействия с файловой системой. Как сообщает Spotify Engineering, большая часть активности таких инструментов приходится на операции ввода-вывода, а не на интеллектуальные вычисления. Внутренний проект компании под названием Portal был создан именно для того, чтобы устранить эту неэффективность и радикально сократить издержки на использование API.

Роль Portal в оптимизации контекста

Основная проблема при работе с Claude Code заключается в избыточной передаче данных между средой разработки и моделью. Агенты часто сканируют кодовую базу или запрашивают содержимое файлов, которые не требуются для выполнения конкретной задачи в текущий момент. Portal выступает в роли интеллектуального промежуточного слоя, который управляет потоками данных. Вместо того чтобы «скармливать» модели весь контекст проекта, инструмент фильтрует информацию, предоставляя ИИ только те фрагменты, которые критически важны для формирования ответа.

Предыстория разработки

Развитие инструментов автоматизации программирования в Spotify привело к тому, что лимиты токенов стали ограничивающим фактором для масштабирования AI-агентов. Инженеры компании заметили, что стандартный подход к управлению контекстом приводит к неоправданно высокому расходу токенов на служебные операции. Понимание того, что ИИ тратит значительную часть своей «емкости» на рутинный анализ файлов, подтолкнуло команду к созданию собственного решения, способного контролировать объем передаваемых данных на стороне клиента.

Почему операции ввода-вывода критичны для AI-агентов?

В контексте LLM-агентов операции ввода-вывода (I/O) включают чтение структуры директорий, метаданных файлов и самих исходных кодов. Каждый такой запрос увеличивает количество токенов, отправляемых в модель, что напрямую влияет на стоимость и скорость работы. Оптимизация этих процессов позволяет повысить эффективность агентов без необходимости дообучения самих моделей или изменения их внутренней логики, фокусируясь исключительно на качестве входящего контекста.

Технический подход к экономии

Механика работы Portal заключается в более интеллектуальном управлении тем, что именно видит агент в процессе своей работы. За счет жесткого контроля над тем, какие данные передаются в Claude Code, компании удалось добиться девяностопроцентного снижения потребления токенов. Это не просто сокращение объема данных, а пересмотр протокола взаимодействия между IDE и моделью, при котором агент получает только необходимый минимум для выполнения поставленной задачи, что уменьшает «шум» в контекстном окне.

Влияние на процессы разработки

Для инженеров использование такого инструмента означает возможность более частого и продолжительного взаимодействия с ИИ без опасений быстро исчерпать лимиты. Для бизнеса это прямой способ снизить операционные расходы на облачную инфраструктуру и API-запросы. Опыт Spotify показывает, что создание специализированных прослоек для управления данными становится необходимым этапом внедрения ИИ-агентов в промышленную разработку, где объемы кодовой базы исчисляются миллионами строк.

Будущее инструментов оптимизации

Успех Portal подчеркивает важность разработки инструментов, ориентированных на управление контекстом. В ближайшем будущем можно ожидать появления большего количества подобных «шлюзов» для ИИ-ассистентов. Spotify планирует и дальше совершенствовать свои внутренние решения, что подтверждает тренд на кастомизацию взаимодействия с LLM в крупных технологических компаниях.

Итог

Опыт Spotify с инструментом Portal демонстрирует, что оптимизация ввода-вывода является ключом к эффективному использованию ИИ в программировании. Сокращение расходов на 90% доказывает, что правильное управление данными позволяет значительно повысить отдачу от современных языковых моделей.