Новый метод VOTE ускоряет Vision-Language-Action модели в 39 раз на граничных устройствах

Исследователи представили фреймворк VOTE, который ускоряет работу Vision-Language-Action моделей в 39 раз на граничных устройствах, таких как NVIDIA Jetson. Это достижение решает ключевую проблему высоких задержек, мешающую применению VLA-моделей в реальных роботизированных системах. VOTE не только

Новый метод VOTE ускоряет Vision-Language-Action модели в 39 раз на граничных устройствах

Исследователи представили фреймворк VOTE, который ускоряет работу Vision-Language-Action моделей в 39 раз на граничных устройствах, таких как NVIDIA Jetson. Это достижение решает ключевую проблему высоких задержек, мешающую применению VLA-моделей в реальных роботизированных системах. VOTE не только повышает скорость вывода, но и улучшает точность выполнения задач за счет инновационного ансамблевого голосования.

Что такое VOTE и как он работает

VOTE расшифровывается как Vision-Language-Action Optimization with Trajectory Ensemble Voting. Это фреймворк, предназначенный для оптимизации больших моделей, объединяющих зрение, язык и действия. Основная проблема современных VLA-моделей — высокая задержка, вызванная генерацией большого числа токенов действий. VOTE решает эту проблему двумя способами: сокращает количество токенов действий и увеличивает параллелизм вычислений. Кроме того, фреймворк вводит метод ансамблевого голосования, который комбинирует текущие и предыдущие предсказания для повышения надежности.

Почему это важно для робототехники

VLA-модели лежат в основе многих роботизированных систем, управляемых естественным языком. Однако высокая задержка и вычислительная стоимость ограничивают их применение на реальных роботах, особенно на граничных устройствах с ограниченными ресурсами. VOTE демонстрирует практическую применимость: на платформе с частотой 46 Гц он достигает успешности выше, чем современные аналоги, при 39-кратном ускорении вывода. Это открывает путь к развертыванию сложных AI-систем на компактных устройствах.

Какие задачи решает VOTE в реальных сценариях

VOTE был протестирован на различных задачах, включая манипуляции с объектами и навигацию. Результаты показывают, что фреймворк превосходит state-of-the-art VLA-модели по успешности выполнения задач, при этом работая в реальном времени на граничных устройствах. Например, на платформе NVIDIA Jetson VOTE достигает пропускной способности 46 Гц, что делает его пригодным для динамических сред.

Технические детали фреймворка

Фреймворк включает два основных компонента: обучение с генерацией малого числа токенов действия с высоким параллелизмом и оптимизацию вывода через ансамблевое голосование траекторий. Первый компонент снижает вычислительную нагрузку во время обучения, второй — повышает точность на этапе вывода. Код проекта опубликован на GitHub, что позволяет исследователям и инженерам воспроизвести результаты и адаптировать метод под свои задачи.

Кому будет полезен VOTE

Разработчики роботизированных систем, использующих языковое управление, смогут интегрировать VOTE для ускорения своих моделей. Исследователи в области VLA и робототехники получат новый инструмент для экспериментов. Инженеры, внедряющие AI на граничных устройствах, оценят возможность запуска сложных моделей на ограниченном оборудовании.

Ограничения и неизвестные аспекты

В публикации не указаны точные данные о конфигурации оборудования, на котором проводились замеры, кроме упоминания edge platforms. Также не приведены результаты на более широком наборе задач или в реальных роботизированных сценариях за пределами симуляции. Эти аспекты требуют дальнейшего изучения для полной оценки применимости метода.