Cloud.ru открыл исходный код Guardrails Filter для защиты данных в LLM

Cloud.ru выпустил open-source инструмент Guardrails Filter, который защищает конфиденциальные данные при работе с большими языковыми моделями. Это прозрачный обратный прокси, встраиваемый между клиентом и LLM-провайдерами: он удаляет чувствительную информацию из запросов и восстанавливает её в ответах. Решение совместимо с любыми моделями и легко интегрируется в существующую инфраструктуру, что особенно важно для компаний, обеспокоенных утечками данных.

Cloud.ru открыл код Guardrails Filter для защиты данных при работе с LLM

Guardrails Filter — это open-source решение, которое решает проблему утечки чувствительной информации при использовании больших языковых моделей. Прокси перехватывает запросы, находит и заменяет конфиденциальные данные (например, имена, адреса, номера телефонов, банковские реквизиты) на маскированные значения, отправляет очищенный запрос LLM-провайдеру, а затем восстанавливает оригинальные данные в ответе. Таким образом, модель никогда не видит реальные чувствительные данные.

Инструмент написан на Python и использует библиотеку PII-Codex для детекции персональной информации. Он поддерживает работу с OpenAI, YandexGPT, GigaChat и другими провайдерами через единый API. Разработчики подчеркивают, что Guardrails Filter не хранит логи и не передает данные третьим сторонам.

Как Guardrails Filter защищает данные от утечек?

Прокси работает по принципу «man-in-the-middle»: он принимает HTTP-запросы от клиента, анализирует их с помощью регулярных выражений и ML-модели, заменяет найденные PII на плейсхолдеры, отправляет очищенный запрос к LLM, получает ответ, восстанавливает оригинальные данные и возвращает результат клиенту. Все это происходит прозрачно для пользователя.

Разработчики заявляют, что задержка, вносимая прокси, не превышает 100 мс. Инструмент можно развернуть в Docker-контейнере или как отдельный сервис. Конфигурация правил маскирования задается через YAML-файл.

Предыстория и контекст

Проблема защиты данных при работе с LLM стала особенно острой после того, как Samsung, Amazon и другие компании запретили сотрудникам использовать ChatGPT из-за риска утечек. В ответ появились коммерческие решения вроде PrivateGPT или Vectara, но они часто привязаны к конкретному вендору или требуют платной подписки. Cloud.ru решил пойти по пути open-source, чтобы дать рынку бесплатный и прозрачный инструмент.

Компания уже несколько лет развивает облачную платформу и AI-сервисы. Guardrails Filter — не первый их опенсорс-проект: ранее они публиковали инструменты для управления Kubernetes и мониторинга. По словам представителей Cloud.ru, открытие кода позволяет привлечь сообщество к доработке решения и ускорить его развитие.

Технические детали и возможности

Guardrails Filter поддерживает более 20 типов PII, включая номера паспортов, банковских карт, email, IP-адреса и геолокацию. Для каждого типа можно настроить свой метод маскировки: замена на случайные данные, хеширование или удаление. Прокси также умеет работать с контекстом диалога — он запоминает соответствие плейсхолдеров в рамках сессии, чтобы корректно восстанавливать данные в последующих запросах.

Инструмент не требует модификации кода клиентского приложения — достаточно изменить endpoint API в настройках. Поддерживаются протоколы OpenAI и REST. В планах — добавить поддержку gRPC и WebSocket.

Кого затронет и как

Новость в первую очередь важна для российских компаний, которые активно внедряют LLM в бизнес-процессы, но опасаются утечек. Особенно это актуально для банков, медицинских учреждений и госструктур, где защита персональных данных регулируется законом 152-ФЗ. Guardrails Filter позволяет использовать любые модели — от зарубежных OpenAI до российских YandexGPT и GigaChat — с соблюдением требований к конфиденциальности.

Для разработчиков и DevOps-инженеров инструмент упрощает интеграцию LLM в существующие системы без необходимости писать собственные фильтры. Бизнесу это снижает юридические риски и затраты на комплаенс. Конкуренты Cloud.ru — например, Selectel или VK — могут либо последовать примеру, либо предложить платные альтернативы с дополнительными функциями.

Почему важно использовать прокси для LLM?

Использование прокси для LLM критически важно, потому что модели, особенно облачные, могут непреднамеренно запоминать и раскрывать конфиденциальные данные. Guardrails Filter предотвращает это, гарантируя, что чувствительная информация никогда не покидает инфраструктуру компании. Это снижает риски утечек и помогает соблюдать регуляторные требования, такие как GDPR или 152-ФЗ.

Что будет дальше

Cloud.ru планирует развивать Guardrails Filter совместно с сообществом: на GitHub уже открыты issue и pull request. В ближайших релизах ожидается расширение списка поддерживаемых PII, улучшение производительности и добавление интерфейса для мониторинга. Компания также рассматривает возможность выпуска платной версии с премиум-поддержкой и SLA, но базовая функциональность останется бесплатной.

Рынок решений для безопасного использования LLM будет расти — по оценкам Gartner, к 2026 году 40% компаний будут использовать такие инструменты. Guardrails Filter может стать стандартом де-факто в России, если сообщество активно подключится к его доработке.

Итог

Cloud.ru сделал важный шаг, открыв исходный код Guardrails Filter. Компании теперь могут бесплатно защитить свои данные при работе с любыми языковыми моделями, не привязываясь к одному провайдеру. Следить за проектом стоит всем, кто использует LLM в бизнесе — это не только снижает риски, но и дает контроль над инфраструктурой.