ByteDance создаёт ИИ-модель с 10 трлн параметров

Китайская ByteDance, владеющая TikTok, разрабатывает ИИ-модель с 10 трлн параметров, что ставит её в один ряд с передовыми разработками Anthropic. Это серьёзная заявка на лидерство в гонке ИИ, основанная на собственных технологиях.

Компания ByteDance, известная прежде всего своей социальной сетью TikTok, ведёт разработку ИИ-модели с 10 трлн параметров. Как сообщает Financial Times, это позволит китайскому гиганту приблизиться к показателям передовых моделей, создаваемых американской Anthropic. В отличие от многих конкурентов, ByteDance делает ставку на собственные разработки, а не на дистилляцию чужих моделей, что особенно важно в условиях усиливающегося технологического противостояния между Китаем и США.

Разработка модели такого масштаба — это не просто технический вызов, но и стратегический шаг. 10 трлн параметров — это в разы больше, чем у большинства существующих открытых моделей, и сравнимо с самыми мощными закрытыми разработками. Для ByteDance это возможность не только укрепить свои позиции в области ИИ, но и снизить зависимость от западных технологий, что критично в условиях экспортных ограничений на передовые чипы.

ByteDance делает ставку на собственные технологии

По данным Financial Times, ByteDance уже приступила к обучению модели и активно закупает вычислительные мощности, включая кластеры на базе чипов Nvidia H20, специально адаптированных для китайского рынка. Однако компания не ограничивается импортом — она также инвестирует в разработку собственных чипов и оптимизацию алгоритмов, чтобы снизить зависимость от внешних поставок.

Этот подход резко контрастирует с практикой многих китайских компаний, которые часто используют дистилляцию — процесс извлечения знаний из более мощных моделей, таких как OpenAI GPT-4, для обучения собственных. Дистилляция позволяет быстро получить конкурентную модель, но создаёт юридические и этические риски, а также делает систему уязвимой к санкциям и блокировкам.

ByteDance, напротив, стремится создать полностью оригинальную архитектуру, что требует огромных инвестиций в исследования и инфраструктуру. По оценкам экспертов, обучение модели с 10 трлн параметров может обойтись в сотни миллионов долларов только за вычислительные ресурсы, не говоря о затратах на данные и инженерный труд.

Почему 10 трлн параметров — это важно

Количество параметров — это ключевой показатель сложности нейросети, определяющий её способность к обучению и генерации. Модели с 10 трлн параметров способны улавливать тончайшие нюансы языка, контекста и логики, что делает их пригодными для самых сложных задач — от научных исследований до создания высококачественного контента.

Для сравнения, GPT-4 от OpenAI, по слухам, содержит около 1,8 трлн параметров, а самые передовые модели Anthropic, такие как Claude, имеют сопоставимые масштабы. Если ByteDance действительно удастся создать модель с 10 трлн параметров, это выведет её на лидирующие позиции в мире, опережая большинство западных конкурентов.

Однако количество параметров — не единственный фактор качества. Важны архитектура, качество обучающих данных и алгоритмы оптимизации. ByteDance, имеющая огромный опыт в обработке данных благодаря TikTok и другим сервисам, обладает уникальными возможностями для создания качественного датасета, что может стать её конкурентным преимуществом.

Как это повлияет на рынок и пользователей

Успешный запуск такой модели может кардинально изменить расстановку сил на рынке ИИ. Для ByteDance это не просто технологический прорыв, но и инструмент монетизации: компания уже интегрирует ИИ в свои продукты, включая рекомендательные алгоритмы TikTok и генеративные функции в Douyin (китайский аналог TikTok).

Для пользователей это означает появление более умных и быстрых ИИ-ассистентов, способных решать сложные задачи в реальном времени. Для бизнеса — возможность использовать передовые ИИ-технологии без необходимости обращаться к западным провайдерам, что особенно актуально для китайских компаний, находящихся под санкциями.

Однако есть и риски. Такая концентрация ИИ-мощи в руках одной компании вызывает опасения по поводу приватности, контроля и возможного злоупотребления. Кроме того, огромные вычислительные затраты могут привести к росту цен на ИИ-услуги, что ударит по конечным потребителям.

Что будет дальше

Официальных сроков запуска модели пока нет, но, по данным источников, ByteDance планирует представить её в течение ближайших двух лет. Это амбициозный график, учитывая сложность задачи и ограничения на поставки чипов.

Эксперты полагают, что успех ByteDance будет зависеть от способности компании обеспечить достаточное количество вычислительных мощностей и данных. Если ей удастся преодолеть эти препятствия, она может стать главным конкурентом OpenAI и Anthropic на мировом рынке ИИ.

Итог

ByteDance делает смелую ставку на собственные ИИ-разработки, стремясь создать модель с 10 трлн параметров. Если проект увенчается успехом, это изменит глобальный баланс сил в ИИ-индустрии и предоставит Китаю мощный инструмент для технологического суверенитета. Следить за развитием этой истории стоит всем, кто интересуется будущим искусственного интеллекта.