HuggingFace SmolLM: компактные языковые модели для устройств с ограниченными ресурсами

HuggingFace выпустила SmolLM — семейство компактных языковых моделей, которые работают быстро даже на ноутбуках и мобильных телефонах. Эти модели доступны в трех размерах: 135 миллионов, 360 миллионов и 1,7 миллиарда параметров. Они обучены на новом датасете SmolLM-Corpus объемом около 600 миллиардов токенов, включающем образовательные материалы, код и синтетические данные. Это позволяет запускать современный ИИ локально, без подключения к облаку, что повышает конфиденциальность и снижает задержки.

Что такое SmolLM и чем она отличается от других моделей

SmolLM — это не просто очередные маленькие модели. HuggingFace разработала их с нуля, чтобы обеспечить максимальную производительность при минимальных вычислительных затратах. В отличие от многих аналогов, SmolLM использует групповой query attention (GQA) и современные токенизаторы, что ускоряет инференс. На бенчмарках SmolLM-1.7B превосходит Qwen2-1.5B и Phi-1.5 по математике и генерации кода, а меньшие версии показывают результаты, сопоставимые с моделями вдвое большего размера.

Какие задачи можно решать с помощью SmolLM?

SmolLM подходит для задач, где важна скорость и автономность: чат-боты на устройстве, автодополнение кода в IDE, анализ текста в офлайн-режиме. Благодаря компактности, модель можно запускать на Raspberry Pi или смартфонах. Разработчики мобильных приложений могут встраивать ИИ без отправки данных в облако, что особенно важно для медицинских или финансовых сервисов.

Как обучалась SmolLM: датасет SmolLM-Corpus

Секрет производительности SmolLM — в обучающих данных. HuggingFace собрала SmolLM-Corpus из отфильтрованных источников: CommonCrawl (FineWeb-Edu) для общих знаний, The Stack для кода, синтетические данные от StarCoder и другие. Всего 600 миллиардов токенов, тщательно очищенных от дубликатов и низкокачественного контента. Это позволило моделям лучше понимать инструкции и генерировать точные ответы.

Где можно использовать SmolLM прямо сейчас

Модели уже доступны на HuggingFace Hub. Их можно скачать и запустить локально с помощью библиотек transformers или llama.cpp. Для мобильных устройств предусмотрена оптимизация через ONNX Runtime. Разработчики могут интегрировать SmolLM в приложения на iOS и Android, используя готовые сниппеты кода. HuggingFace также обещает выпустить версии для edge-устройств.

Какие ограничения есть у SmolLM

На данный момент SmolLM поддерживает только английский язык. Команда не раскрывает планы по мультиязычности. Также неясны условия лицензирования для коммерческого использования — возможно, потребуется приобретение платной лицензии. Кроме того, модели не предназначены для сложного рерайтинга или креативного письма: их сила в структурированных задачах.

Что говорят бенчмарки: сравнение с аналогами

На тестах MMLU и HumanEval SmolLM-1.7B набирает 45% и 38% соответственно, что выше, чем у Qwen2-1.5B (42% и 32%) и Phi-1.5 (40% и 35%). Модель 360M показывает 32% на MMLU — на уровне моделей с 1 млрд параметров. Это делает SmolLM лучшим выбором для задач с ограниченными ресурсами.

Кому стоит обратить внимание на SmolLM

В первую очередь — разработчикам мобильных и веб-приложений, создателям IoT-устройств, исследователям, работающим с локальным ИИ. Если вы хотите запустить чат-бота на Raspberry Pi или добавить автодополнение кода в редактор без интернета, SmolLM — отличный старт.

Что пока неизвестно о будущем SmolLM

HuggingFace не сообщила, появятся ли модели в API Inference Endpoints. Также нет информации о поддержке других языков и точных лицензиях для коммерции. Возможно, в будущем выйдут версии с большим контекстом (сейчас 2048 токенов). Следите за обновлениями в блоге HuggingFace.