Модель Pathway за 150M параметров: дешевле ChatGPT в 11 раз и умнее

Компания Pathway представила компактную ИИ-модель с 150 миллионами параметров, которая достигает 29,5% на тесте ARC-AGI-1, будучи в 11 раз дешевле в использовании, чем сопоставимая модель рассуждений ChatGPT. Это доказывает, что для интеллекта не всегда нужно «думать вслух».

Компания Pathway, специализирующаяся на обработке данных в реальном времени, заявила о создании модели искусственного интеллекта с 150 миллионами параметров, которая показывает результат 29,5% на бенчмарке ARC-AGI-1. Этот показатель сопоставим с уровнем, который ранее достигали модели вроде GPT-4o, но при этом стоимость вывода (inference) у новой модели в 11 раз ниже, чем у сопоставимой по возможностям модели рассуждений ChatGPT. Главный вывод, который делают разработчики: для достижения интеллектуальных результатов не всегда требуется генерировать длинные цепочки рассуждений, как это делают современные «мыслящие» модели.

Что показала модель Pathway

Модель Pathway, обученная на 150 миллионах параметров, набрала 29,5% на тесте ARC-AGI-1 — это бенчмарк, созданный для оценки способности ИИ к абстрактным рассуждениям и адаптации к новым задачам. Для сравнения: модель ChatGPT с рассуждениями (Reasoning) стоит примерно $1,20 за миллион токенов на входе и $6 за миллион токенов на выходе, тогда как Pathway оценивает стоимость вывода своей модели в $0,11 за миллион токенов на входе и $0,55 на выходе. Таким образом, разница в цене достигает 11 раз.

Разработчики Pathway утверждают, что их модель не использует технику «цепочки мыслей» (chain-of-thought), которая заставляет модель «думать вслух», генерируя длинные промежуточные рассуждения перед ответом. Вместо этого Pathway применила другой подход: модель обучалась на данных, которые позволяют ей делать выводы напрямую, без генерации промежуточных шагов. Это не только снижает стоимость, но и уменьшает задержку при ответах.

Предыстория и контекст

В последние годы индустрия ИИ сосредоточилась на увеличении размера моделей и добавлении механизмов рассуждений. Такие модели, как OpenAI o1 или Google Gemini, используют технику «цепочки мыслей», чтобы решать сложные задачи, разбивая их на подзадачи. Однако это делает их дорогими в использовании и медленными. В то же время исследования показывают, что далеко не каждая задача требует глубокого анализа. Многие запросы можно решить с помощью более компактных моделей, обученных эффективно.

Pathway — компания, основанная выходцами из Google и CERN, известна своей платформой для обработки потоковых данных. Их новая модель — это попытка доказать, что можно добиться высокой производительности на тестах общего интеллекта, не прибегая к огромным вычислительным ресурсам. Результат 29,5% на ARC-AGI-1 — это, возможно, не рекорд (лучшие модели достигают 50–60%), но для модели такого размера это впечатляющий показатель.

Чем это отличается от подхода OpenAI?

OpenAI и другие компании делают ставку на то, что для достижения сильного ИИ необходимы большие модели с возможностью «размышлять». Их модели генерируют тысячи токенов рассуждений, прежде чем дать ответ. Pathway же показывает, что можно обучить модель напрямую давать правильные ответы, минуя этот этап. Это достигается за счет специальной архитектуры и методов обучения, которые, по словам разработчиков, позволяют модели «понимать» задачи глубже, но без лишних вычислений.

Технические детали и экономика

Модель Pathway имеет архитектуру, оптимизированную для эффективного вывода. Она использует технику, известную как «скрытые рассуждения» (latent reasoning), когда модель внутренне выполняет вычисления, но не генерирует их в виде текста. Это позволяет снизить стоимость и задержку, сохраняя качество ответов. По данным компании, модель работает на обычном оборудовании и может быть развернута на периферийных устройствах.

Экономический эффект значителен: для компаний, которые обрабатывают миллионы запросов в день, разница в цене в 11 раз может означать экономию миллионов долларов. Например, если использовать модель Pathway для задач классификации, извлечения данных или простых вопросов-ответов, то затраты на инфраструктуру резко снижаются. В то же время для сложных задач, требующих глубокого анализа, все еще могут потребоваться большие модели.

Кого затронет и как

Разработчики и компании, использующие API ИИ, получат возможность выбирать между дешевыми и быстрыми моделями для простых задач и дорогими — для сложных. Это может привести к появлению гибридных систем, где запросы автоматически маршрутизируются в зависимости от сложности. Для стартапов и малого бизнеса снижение стоимости ИИ открывает новые возможности для внедрения интеллектуальных функций в свои продукты.

В России и СНГ эта новость также актуальна: многие компании ищут способы сократить расходы на ИИ, и появление эффективных моделей может ускорить внедрение технологий в бизнес-процессы. Однако стоит отметить, что модель Pathway пока не имеет публичного API, и ее доступность для широкого круга пользователей неизвестна.

Что будет дальше

Pathway планирует продолжить развитие своей модели и, возможно, выпустить более крупные версии, которые будут еще лучше справляться с тестами общего интеллекта. Компания также рассматривает возможность предоставления доступа к модели через свою платформу. В индустрии это может подтолкнуть других разработчиков к исследованию альтернатив «цепочке мыслей», что приведет к появлению более дешевых и быстрых ИИ-решений.

Эксперты ожидают, что в ближайшие годы мы увидим рост числа компактных моделей, которые будут специализироваться на конкретных задачах, а не пытаться охватить все сразу. Это сделает ИИ более доступным и практичным для массового использования.

Итог

Модель Pathway с 150 миллионами параметров — это важный шаг в сторону экономически эффективного ИИ. Она доказывает, что интеллект не обязательно должен быть дорогим и медленным. Для бизнеса это означает снижение затрат на внедрение ИИ, а для индустрии — новый вектор развития. Следите за новостями Pathway: возможно, мы скоро увидим эту модель в реальных продуктах.