Первый в России ГОСТ по безопасной разработке ПО с ИИ: проект вынесен на обсуждение

В России началось публичное обсуждение первого национального стандарта, регламентирующего безопасную разработку программного обеспечения, использующего технологии искусственного интеллекта. Проект ГОСТ Р «Защита информации. Разработка безопасного программного обеспечения, реализующего технологии искусственного интеллекта. Общие требования» разработан Федеральной службой по техническому и экспортному контролю (ФСТЭК России), Институтом системного программирования имени В. П. Иванникова Российской академии наук (ИСП РАН) и Сбером. Документ опубликован на официальном сайте Росстандарта, и его обсуждение продлится до 17 сентября 2026 года. Это означает, что у разработчиков, экспертов и всех заинтересованных сторон есть почти два года, чтобы ознакомиться с текстом и направить свои замечания и предложения.

Что содержит проект ГОСТ Р по безопасной разработке ПО с ИИ

Проект стандарта устанавливает общие требования к процессам разработки безопасного программного обеспечения, реализующего технологии искусственного интеллекта. Документ охватывает весь жизненный цикл такого ПО: от проектирования и разработки до тестирования, эксплуатации и вывода из обращения. Особое внимание уделяется вопросам защиты от атак на модели ИИ, обеспечения целостности данных, используемых для обучения, и предотвращения внедрения уязвимостей на этапе разработки. В стандарте прописаны требования к управлению конфигурацией, контролю версий, анализу кода и тестированию на проникновение применительно к системам с ИИ. Также вводятся категории критичности компонентов ИИ, для которых предусмотрены различные уровни строгости проверок.

Какие угрозы безопасности ИИ учитывает новый стандарт?

Новый ГОСТ Р в первую очередь ориентирован на угрозы, уникальные для систем искусственного интеллекта. Среди них — атаки через отравление данных (poisoning), когда злоумышленник внедряет вредоносные примеры в обучающую выборку, чтобы исказить поведение модели. Также учитываются состязательные атаки (adversarial attacks), при которых незначительные изменения входных данных заставляют ИИ принимать ошибочные решения. Кроме того, стандарт требует защиты от атак, направленных на извлечение конфиденциальной информации из модели, и обеспечения объяснимости решений ИИ для аудита. Эти аспекты ранее не охватывались существующими стандартами безопасной разработки ПО.

Предыстория и контекст

Необходимость разработки такого стандарта назревала давно. С ростом внедрения ИИ в критически важные сферы — от здравоохранения и финансов до промышленности и государственного управления — остро встал вопрос безопасности. Существующие стандарты безопасной разработки ПО (например, ГОСТ Р 56939-2016) не учитывали специфику систем ИИ: уязвимости в моделях, атаки через подмену данных, состязательные атаки и проблемы объяснимости решений. Инициатива ФСТЭК и её партнёров направлена на заполнение этого пробела. Работа над проектом велась с учётом международных практик, в том числе рекомендаций OWASP для машинного обучения и стандартов ISO/IEC в области ИИ. Примечательно, что Сбер, как крупнейший разработчик и потребитель ИИ-решений в России, выступил одним из соавторов, что добавляет документу практической значимости.

Чем новый стандарт отличается от существующих ГОСТ по безопасной разработке?

Основное отличие — фокус на специфических угрозах, присущих системам ИИ. Если традиционные стандарты безопасности ПО концентрируются на защите от классических уязвимостей (переполнение буфера, SQL-инъекции, XSS), то новый ГОСТ Р вводит требования к защите моделей машинного обучения от атак, направленных на искажение их работы. Например, в документе прописаны меры по обеспечению безопасности конвейеров данных (data pipelines), защите от отравления обучающей выборки и проверке устойчивости модели к состязательным примерам. Кроме того, стандарт требует документирования процессов принятия решений ИИ для обеспечения аудита и отслеживаемости. Это делает его первым в России нормативным актом, который комплексно регулирует безопасность именно ИИ-составляющей программного продукта.

Технические детали и требования стандарта

Проект ГОСТ Р детализирует требования к нескольким ключевым областям. Во-первых, к управлению данными: данные для обучения должны быть проверены на целостность, происхождение и отсутствие вредоносных вставок. Во-вторых, к архитектуре системы: рекомендуется изолировать компоненты ИИ от остальной инфраструктуры с помощью песочниц или контейнеризации. В-третьих, к тестированию: помимо стандартного функционального тестирования, требуется проводить тестирование на устойчивость к состязательным атакам (adversarial robustness testing). В документе также вводятся уровни критичности компонентов ИИ (высокий, средний, низкий), для каждого из которых определён свой набор обязательных мер. Например, для компонентов высокого критичности (например, в системах управления транспортом или медицинской диагностике) требуется обязательное формальное верифицируемое доказательство безопасности.

Какие уровни критичности ИИ-компонентов вводятся?

Стандарт выделяет три уровня критичности: высокий, средний и низкий. Высокий уровень присваивается компонентам, отказ или неправильная работа которых может привести к серьёзным последствиям — угрозе жизни, здоровью, значительному экономическому ущербу или нарушению безопасности государства. Средний уровень — для компонентов, сбой которых вызывает умеренный ущерб. Низкий уровень — для компонентов с минимальными рисками. Для каждого уровня определены свои требования к тестированию, документированию и защите. Например, для высококритичных компонентов требуется обязательное формальное доказательство безопасности, а для низкокритичных достаточно базовых мер.

Кого затронет новый ГОСТ и как

Стандарт является добровольным, однако, как показывает практика, ГОСТ Р часто становятся основой для требований регуляторов. В первую очередь он затронет разработчиков ПО с ИИ, работающих в государственных информационных системах, критической информационной инфраструктуре (КИИ) и сфере персональных данных. Банки, страховые компании, медицинские учреждения и промышленные предприятия, внедряющие ИИ, также будут вынуждены учитывать требования стандарта, если захотят получить сертификацию или пройти аудит ФСТЭК. Для стартапов и небольших команд это может означать дополнительные издержки на внедрение процессов безопасности, но в долгосрочной перспективе стандарт повысит доверие к российским ИИ-продуктам. В России и СНГ уже есть примеры инцидентов, связанных с уязвимостями в ИИ-системах, поэтому стандарт может снизить риски.

Что будет дальше

Обсуждение проекта продлится до 17 сентября 2026 года. После сбора и анализа замечаний документ будет доработан и направлен на утверждение в Росстандарт. Ожидается, что финальная версия ГОСТ Р вступит в силу в 2027 году. Параллельно ФСТЭК планирует разработать методические рекомендации по применению стандарта и, возможно, создать программу добровольной сертификации. В перспективе не исключено, что требования станут обязательными для систем ИИ, используемых в КИИ, по аналогии с действующими требованиями к общесистемному ПО. Индустрии стоит активно включиться в обсуждение сейчас, чтобы повлиять на реалистичность и выполнимость требований.

Итог

Проект первого в России стандарта по безопасной разработке ПО с ИИ — важный шаг к формированию цивилизованного рынка ИИ-решений. Он задаёт чёткие ориентиры для разработчиков и регуляторов, но при этом оставляет пространство для диалога. Участникам рынка стоит внимательно изучить документ и направить свои предложения, чтобы итоговый ГОСТ был сбалансированным и способствовал развитию безопасных технологий искусственного интеллекта в России.