SOFROS AI/ML: архитектура гибридных моделей и REST API для нормализации данных

Нормализация данных — одна из самых трудоёмких задач при внедрении систем мастер-данных (MDM). Компания SOFROS построила сервис, который автоматизирует этот процесс с помощью гибридных моделей машинного обучения и больших языковых моделей (LLM). В этой статье разберём, как устроен SOFROS AI/ML под к

Как устроена архитектура сервиса SOFROS AI/ML

В основе SOFROS AI/ML лежит модульная архитектура, которая разделяет процесс нормализации на несколько этапов: извлечение характеристик, сопоставление с эталонными значениями, валидация и устранение дубликатов. Каждый этап обрабатывается отдельными компонентами, что позволяет гибко настраивать пайплайн под конкретную задачу. Это означает, что заказчик может адаптировать сервис под свои уникальные требования, выбирая, какие модули задействовать и в каком порядке.

Сервис разворачивается в контуре заказчика или в облаке и предоставляет REST API для интеграции с внешними системами. Это значит, что SOFROS AI/ML не привязан к конкретной платформе — он работает и с 1С:MDM, и с SAP, и с любыми другими системами, поддерживающими HTTP-запросы. Такая гибкость особенно важна для компаний, которые используют несколько различных систем и нуждаются в едином решении для нормализации данных.

Ключевая особенность — гибридный подход: классические алгоритмы машинного обучения (например, градиентный бустинг) сочетаются с LLM. Классические модели отвечают за быстрые и интерпретируемые операции, такие как классификация и сопоставление, а LLM используются для сложных случаев, требующих понимания контекста и нечётких формулировок. Такое сочетание позволяет достигать высокой точности, сохраняя производительность даже при больших объёмах данных.

Какие модели используются и за что отвечают

SOFROS AI/ML использует несколько типов моделей, каждый из которых решает свою задачу. Во-первых, это модели на основе градиентного бустинга (например, CatBoost или XGBoost), которые обучены на исторических данных заказчика для предсказания вероятности совпадения записей. Они работают быстро и хорошо справляются с типовыми случаями, например, когда нужно сопоставить записи с одинаковыми идентификаторами или точными названиями.

Во-вторых, применяются трансформерные модели для обработки естественного языка. Они помогают извлекать характеристики из неструктурированных полей, например, из описаний товаров или адресов. LLM, такие как GPT-подобные модели, задействуются для семантического сопоставления, когда нужно понять, что «ООО Ромашка» и «ООО Ромашка-М» — это разные организации, а «Иванов Иван Иванович» и «Иванов И.И.» — одна и та же персона. Это особенно важно для российского рынка, где часто встречаются сокращения и нестандартные написания.

Важно, что все модели работают в связке: сначала классические алгоритмы быстро отсеивают очевидные несовпадения, затем LLM берут на себя сложные случаи. Это позволяет достигать высокой точности при сохранении производительности. Например, в тестовых сценариях точность нормализации достигает 95–98%, а время обработки одной записи не превышает 500 миллисекунд.

Какие задачи решают классические алгоритмы машинного обучения в нормализации данных

Классические алгоритмы машинного обучения, такие как градиентный бустинг, играют роль быстрого фильтра. Они обучены на исторических данных и способны быстро оценить вероятность совпадения записей на основе набора признаков: наименование, ИНН, адрес и другие. Эти модели хорошо интерпретируемы, что позволяет объяснить бизнес-пользователям, почему система приняла то или иное решение. Это особенно важно для регулируемых отраслей, где требуется прозрачность процессов.

Однако классические модели не всегда могут справиться с неструктурированными данными, где важную роль играет контекст. Например, если в поле «адрес» указано «Москва, ул. Ленина, д. 1», а в другом — «г. Москва, Ленина 1», классическая модель может не распознать, что это один и тот же адрес. Здесь на помощь приходят LLM, которые понимают семантику и могут сопоставить различные формулировки.

Таким образом, классические алгоритмы обеспечивают скорость и интерпретируемость, а LLM — глубину понимания. Вместе они образуют мощный гибридный пайплайн, который справляется с разнообразными задачами нормализации.

Как сервис интегрируется с 1С:MDM, SAP и другими системами

Интеграция с внешними системами осуществляется через REST API. SOFROS AI/ML предоставляет набор эндпоинтов для приёма данных, запуска процесса нормализации и получения результатов. Например, система-источник отправляет JSON с записями, сервис обрабатывает их и возвращает нормализованные данные с указанием вероятности совпадения. Это стандартный подход, который легко реализовать в любой современной ИТ-инфраструктуре.

Для 1С:MDM и SAP разработаны готовые коннекторы, которые упрощают настройку обмена. Коннекторы поддерживают как пакетный режим (загрузка больших объёмов данных), так и онлайн-режим (обработка отдельных записей в реальном времени). Время ответа на один запрос составляет от 50 до 500 миллисекунд в зависимости от сложности. Это позволяет использовать сервис как для периодической загрузки справочников, так и для оперативной проверки данных при создании новых записей.

Безопасность обеспечивается на нескольких уровнях: аутентификация через API-ключи, шифрование трафика по TLS, а также разграничение прав доступа. Сервис может быть развёрнут в закрытом контуре, что особенно важно для компаний, работающих с персональными данными. Кроме того, предусмотрена возможность настройки ролей и прав для различных групп пользователей, что обеспечивает контроль над доступом к данным.

Как обеспечивается безопасность и соответствие ФЗ-152

Соблюдение требований ФЗ-152 «О персональных данных» — критически важный аспект для сервисов, работающих с данными клиентов. SOFROS AI/ML спроектирован с учётом требований российского законодательства: данные обрабатываются на серверах, расположенных на территории РФ, если это необходимо заказчику. Это гарантирует соблюдение требований о хранении персональных данных на территории России.

Все операции с персональными данными логируются, а доступ к ним ограничен на уровне ролей. Для дополнительной защиты используется шифрование данных в хранилище и при передаче. Также предусмотрена возможность анонимизации данных перед отправкой в LLM, если это требуется политикой безопасности компании. Это особенно актуально, если для обработки используются облачные LLM-сервисы, которые могут находиться за пределами РФ.

Сервис проходит регулярные аудиты безопасности, и для заказчиков доступны документы, подтверждающие соответствие требованиям ФЗ-152 и другим стандартам, например ISO 27001. Это даёт уверенность в том, что данные клиентов защищены на высоком уровне.

Какие требования ФЗ-152 учитываются при работе с персональными данными

При работе с персональными данными SOFROS AI/ML учитывает все ключевые требования ФЗ-152: законность обработки, минимизацию собираемых данных, обеспечение точности и актуальности, а также защиту от несанкционированного доступа. В частности, сервис позволяет настроить анонимизацию данных перед отправкой в LLM, что снижает риски утечки персональной информации.

Также предусмотрена возможность получения согласия субъектов персональных данных, если это необходимо. Для этого в сервисе есть инструменты управления согласиями и интеграции с системами, которые ведут учёт таких согласий. Это особенно важно для компаний, работающих с клиентскими базами.

Кого затронет внедрение SOFROS AI/ML и как

Внедрение SOFROS AI/ML в первую очередь интересно компаниям, которые используют 1С:MDM, SAP MDM или аналогичные системы для управления мастер-данными. Это могут быть ритейлеры, производители, логистические компании и любые организации с большими объёмами справочников. Например, розничная сеть с тысячами товарных позиций может использовать сервис для автоматической нормализации наименований товаров от разных поставщиков, что значительно ускоряет процесс закупок.

Для ИТ-отделов внедрение означает сокращение ручной работы по очистке данных и снижение числа ошибок. Бизнес-пользователи получают более качественные данные для аналитики и принятия решений. Интеграция с REST API позволяет быстро подключить сервис к существующей инфраструктуре без серьёзных доработок. Это снижает стоимость внедрения и ускоряет получение результата.

Для российского рынка важно, что сервис является отечественной разработкой и может быть адаптирован под специфические требования заказчика, включая работу с кириллицей и особенности российских справочников. Например, сервис умеет распознавать сокращения и аббревиатуры, характерные для российских организаций, что повышает точность нормализации.

Что будет дальше

SOFROS планирует расширять функциональность сервиса, добавляя новые модели и улучшая существующие. В ближайших планах — поддержка мультиязычности и расширение набора коннекторов для других MDM-систем. Также ожидается развитие инструментов для мониторинга качества нормализации и автоматической настройки моделей под конкретные данные заказчика. Это позволит ещё больше автоматизировать процесс и снизить потребность в ручной настройке.

Компания активно работает над повышением интерпретируемости моделей, чтобы клиенты могли понимать, почему сервис принял то или иное решение. Это особенно важно для регулируемых отраслей, таких как финансы и здравоохранение, где требуется объяснимость алгоритмов. В планах также внедрение механизмов обратной связи, которые позволят пользователям корректировать результаты и улучшать модели.

Итог

SOFROS AI/ML представляет собой зрелое решение для автоматизации нормализации данных, сочетающее классические алгоритмы и LLM. Гибридный подход, модульная архитектура и REST API делают его универсальным инструментом для интеграции с 1С:MDM, SAP и другими системами. С учётом требований к безопасности и ФЗ-152, сервис подходит для российских компаний, стремящихся повысить качество мастер-данных без значительных затрат на ручную очистку. Следить за развитием сервиса стоит всем, кто работает с данными — эта технология может существенно упростить жизнь.