Как ИИ улучшает сам себя: обзор 1250 статей раскрывает границы самообучения

Системы искусственного интеллекта всё чаще берут на себя задачу собственного совершенствования, но насколько далеко они могут зайти без участия человека? Недавний обзор 1250 научных работ, опубликованный на arXiv, проливает свет на реальные возможности и ограничения самообучения ИИ. Исследователи проанализировали публикации за 2024–2026 годы и выявили, что, хотя автоматизированное улучшение уже применяется в промышленности, полное рекурсивное самоулучшение (RSI) сталкивается с фундаментальными препятствиями. Главная проблема — в оценке результатов: без надёжного сигнала обратной связи любой цикл улучшения рискует выродиться в самоподтверждение или коллапс модели.

Что такое самоулучшение ИИ и почему это важно

Термин «самоулучшение» в контексте ИИ охватывает множество процессов, которые часто путают. В обиходе используются слова «self-refine», «self-reward», «self-play» и «self-evolve», но они описывают принципиально разные механизмы. Обзор вводит чёткую таксономию, разделяющую ограниченное самоулучшение (bounded self-refinement), которое уже внедрено в коммерческие системы, и открытое рекурсивное самоулучшение (RSI), пока остающееся теоретической концепцией. Разница критична: bounded self-refinement работает в заранее заданных рамках, тогда как RSI предполагает, что ИИ самостоятельно ставит цели и улучшает свои алгоритмы без внешнего контроля. Понимание этих различий необходимо для разработчиков, исследователей безопасности и регуляторов, так как от этого зависят риски и перспективы автономных систем.

Какие аспекты улучшения выделяют авторы обзора

Исследователи предложили два ключевых измерения для классификации работ. Первое — что именно улучшается. Это может быть поведение модели в процессе развёртывания, политика через обучение с подкреплением, сам оценщик (критерий качества) или даже исследовательский процесс, то есть способ, которым ИИ генерирует новые гипотезы и эксперименты. Второе измерение — степень замкнутости цикла: от полного участия человека (human-in-the-loop) через частичную автоматизацию до полностью замкнутых циклов, где ИИ действует автономно. Такая классификация позволяет увидеть, что большинство современных систем находятся на начальных этапах: человек всё ещё играет ключевую роль в постановке задач и верификации результатов.

Почему оценка — самое слабое звено в самообучении

Любой цикл улучшения опирается на сигнал обратной связи, который заменяет человеческое суждение. Авторы обзора выстраивают иерархию верификации: от формальных верификаторов (например, математических доказательств) на вершине до внутренней самооценки модели внизу. Чем сильнее верификатор, тем надёжнее улучшение. Однако на практике часто используются слабые сигналы — например, собственная оценка модели, что ведёт к сбоям. Среди них самоподтверждающие циклы, когда модель закрепляет свои ошибки, коллапс модели, когда разнообразие решений падает, и потеря обобщающей способности. Главное узкое место, удерживающее человека в цикле, — это постановка направления исследований, которая находится на вершине иерархии и пока не поддаётся автоматизации.

Какие существуют ограничения рекурсивного самоулучшения

Обзор выделяет три фундаментальных ограничения RSI: grounding, коллапс и вычислительные ресурсы. Grounding означает, что модель должна иметь доступ к объективной реальности, иначе её улучшения будут оторваны от практики. Коллапс — это тенденция модели сходиться к узкому набору решений, теряя способность к инновациям. Вычислительные ресурсы ограничивают глубину рекурсии: каждый цикл улучшения требует всё больше вычислительной мощности, что делает бесконечную рекурсию невозможной. Авторы подчёркивают, что эти ограничения не являются временными — они связаны с фундаментальными свойствами обучения.

Как измерять самоулучшение на уровне управления

Наименее заполненная ниша в этой области — измерение самоулучшения с точки зрения governance. Авторы отмечают, что существующие метрики фокусируются на производительности модели, но почти не учитывают такие аспекты, как прозрачность, подотчётность и соответствие человеческим ценностям. Без этих измерений невозможно оценить, насколько безопасно внедрять автономные системы улучшения. Разработка таких метрик — одна из ключевых задач для будущих исследований.

Какие перспективы и риски открывает самоулучшение ИИ

Несмотря на ограничения, самоулучшение уже даёт практические результаты в узких областях, таких как оптимизация гиперпараметров и автоматическое исправление ошибок. Однако полное RSI остаётся гипотетическим. Авторы предупреждают, что преждевременное внедрение автономных циклов улучшения без надёжных верификаторов может привести к непредсказуемым последствиям. Поэтому регуляторам и разработчикам необходимо уделять внимание governance-измерениям и создавать механизмы контроля.

Что пока остаётся неизвестным

Остаётся неясным, можно ли преодолеть выявленные ограничения — по grounding, коллапсу и вычислительным ресурсам. Авторы отмечают, что измерение самоулучшения на уровне управления является наименее заполненной нишей в этой области. Будущие исследования должны сосредоточиться на разработке более сильных верификаторов и метрик, которые позволят безопасно расширять автономию ИИ.