Почему WhyTrend стал фреймворком: BM25, эмбеддинги и Protocol вместо наследования

WhyTrend — это open-source инструмент, который не просто находит аномалии во временных рядах, но и объясняет их причины, собирая контекст из новостей, Hacker News и Wikipedia. Многие разработчики, следящие за современными решениями для анализа данных, задаются вопросом, почему автор выбрал именно такую архитектуру. Ответ кроется в продуманном сочетании гибридного поиска, протоколов и инверсии управления. В этой статье мы разберём, как WhyTrend эволюционировал из простой библиотеки в полноценный фреймворк, и какие технические решения позволили ему занять уникальную нишу.

Почему WhyTrend — это фреймворк, а не библиотека

Ключевое различие между фреймворком и библиотекой заключается в инверсии управления. Библиотека предлагает набор функций, которые разработчик вызывает по своему усмотрению, тогда как фреймворк задаёт структуру приложения и вызывает код разработчика в определённых точках. Автор WhyTrend изначально планировал создать библиотеку, но в процессе работы осознал, что пользователям нужна не просто готовая функция поиска объяснений, а возможность встраивать собственные источники данных, алгоритмы ранжирования и даже модели объяснений.

Фреймворк WhyTrend позволяет разработчику определять свои коннекторы к источникам данных, стратегии поиска и шаблоны для генерации объяснений. Это оказалось критически важным, потому что потребности пользователей сильно различаются: одним нужны объяснения на основе финансовых новостей, другим — на основе технических блогов, третьим — на основе внутренних корпоративных систем. Библиотека с жёстко заданной логикой не смогла бы покрыть все эти сценарии.

Какие преимущества даёт фреймворк перед библиотекой?

Фреймворк обеспечивает гибкость и расширяемость, что особенно важно для инструментов, работающих с разнородными источниками данных. Вместо того чтобы подстраиваться под ограничения библиотеки, разработчик может адаптировать WhyTrend под свои нужды. Например, добавить поддержку нового API или изменить логику ранжирования результатов. Это делает фреймворк универсальным решением для широкого круга задач, от мониторинга IT-инфраструктуры до анализа рыночных трендов.

Предыстория и контекст

Проблема, которую решает WhyTrend, возникла не вчера. Анализ временных рядов и поиск аномалий — давно решённая задача: существует множество библиотек и сервисов, которые отлично справляются с обнаружением выбросов, скачков и необычных паттернов. Но вот объяснение этих аномалий — это terra incognita. Обычно аналитик, увидев аномалию, начинает вручную искать причины: открывает новости, проверяет форумы, заглядывает в Slack-каналы. Это занимает часы, а иногда и дни.

Автор WhyTrend заметил эту проблему, работая над проектами по мониторингу метрик. Он понял, что сам процесс поиска объяснений можно автоматизировать, если собирать внешний контекст и сопоставлять его с аномалиями. Так родилась идея WhyTrend. Однако первая реализация была слишком завязана на конкретные источники и алгоритмы, что делало её непригодной для широкого использования. Потребовалось несколько итераций, чтобы прийти к архитектуре, которая сегодня лежит в основе фреймворка.

Как работает гибридный поиск: BM25 против эмбеддингов

Один из ключевых компонентов WhyTrend — поиск релевантных фрагментов текста, которые могут объяснить аномалию. Автор перепробовал несколько подходов и в итоге остановился на гибридном: сочетание классического BM25 и современных эмбеддингов.

BM25 — это алгоритм ранжирования, который используется в поисковых системах уже много лет. Он основан на частоте терминов и длине документа, хорошо работает для точного совпадения ключевых слов. Эмбеддинги, напротив, позволяют находить семантически близкие тексты, даже если в них нет общих слов. Например, запрос «падение акций» может найти статью о «снижении котировок».

Почему нельзя обойтись только эмбеддингами? Дело в том, что эмбеддинги иногда пропускают точные совпадения, которые важны для технических терминов. BM25, в свою очередь, не понимает синонимов и контекста. Гибридный подход позволяет объединить сильные стороны обоих методов: BM25 даёт точные совпадения, эмбеддинги — семантическую близость. В WhyTrend результаты обоих методов объединяются и ранжируются по комбинированному баллу.

Почему гибридный поиск лучше одиночных методов?

Гибридный поиск обеспечивает более высокую точность и полноту результатов. BM25 отлично справляется с точными совпадениями, но может пропустить семантически связанные тексты, которые не содержат тех же ключевых слов. Эмбеддинги, наоборот, находят смысловые аналоги, но иногда теряют важные детали при точных запросах. Комбинируя оба подхода, WhyTrend достигает баланса, который важен для качественного объяснения аномалий.

Архитектурное решение: Protocol вместо наследования

Вторая важная архитектурная особенность WhyTrend — использование протоколов (Protocol) вместо наследования. Это решение пришло из языка Swift, на котором написан фреймворк. В объектно-ориентированном программировании наследование позволяет создавать иерархии классов, но оно имеет недостатки: жёсткая связанность, сложность изменения поведения на лету, проблемы с множественным наследованием.

Протоколы в Swift — это, по сути, интерфейсы, которые описывают требования к функциональности, но не реализуют её. Классы и структуры могут соответствовать нескольким протоколам, что даёт большую гибкость. В WhyTrend это позволило сделать систему расширяемой: разработчик может добавить новый источник данных, просто реализовав протокол DataSource, не меняя остальной код.

Этот подход особенно важен для фреймворка, потому что он позволяет пользователям расширять функциональность без необходимости форкать проект. Вместо того чтобы наследоваться от базового класса и переопределять методы, достаточно реализовать несколько простых протоколов.

Как протоколы упрощают расширение функциональности?

Протоколы позволяют создавать модульные и легко тестируемые компоненты. Разработчик может следовать принципу разделения интерфейсов, определяя минимальные требования для каждой части системы. Например, для добавления нового источника данных достаточно реализовать протокол DataSource, который включает методы для загрузки и обработки данных. Это снижает порог входа для новых участников и упрощает поддержку кода.

Кого затронет и как

WhyTrend будет полезен прежде всего разработчикам, которые занимаются мониторингом и анализом данных. Если вы используете Prometheus, Grafana, Datadog или любую другую систему мониторинга, вы можете интегрировать WhyTrend для автоматического объяснения аномалий. Это сэкономит часы ручного анализа.

Для бизнес-аналитиков WhyTrend также может стать незаменимым инструментом: вместо того чтобы гадать, почему упали продажи или выросло число ошибок, они получат автоматически сгенерированное объяснение со ссылками на источники. Это позволяет быстрее принимать решения и реагировать на проблемы.

Российским и СНГ-разработчикам стоит обратить внимание на WhyTrend, потому что фреймворк поддерживает русский язык для поиска и генерации объяснений. Хотя изначально он был ориентирован на англоязычные источники, автор добавил возможность подключать русскоязычные новости и блоги.

Какие сценарии использования наиболее востребованы?

Наиболее востребованные сценарии включают мониторинг финансовых рынков, отслеживание изменений в социальных сетях и анализ технических инцидентов. В каждом из этих случаев WhyTrend помогает быстро выявить причину аномалии, предоставляя релевантный контекст. Например, если метрика отказов резко выросла, фреймворк может найти новости о сбое в облачном провайдере, что объяснит проблему.

Что будет дальше

Автор WhyTrend планирует развивать фреймворк в нескольких направлениях. Во-первых, он хочет добавить поддержку большего количества языков и источников данных. Во-вторых, планируется улучшить алгоритмы генерации объяснений, чтобы они были более связными и информативными. В-третьих, автор рассматривает возможность создания готовых плагинов для популярных систем мониторинга.

Также в планах — интеграция с машинным обучением: возможность обучать модели на исторических данных, чтобы предсказывать, какие аномалии скорее всего потребуют объяснения. Это позволит сократить количество ложных срабатываний и повысить точность рекомендаций.

Какие новые возможности появятся в ближайшее время?

Ожидается, что в ближайших версиях WhyTrend появится поддержка большего числа языков, включая испанский и немецкий, а также улучшенная интеграция с популярными BI-инструментами. Кроме того, автор планирует выпустить готовые коннекторы для Twitter и Telegram, что расширит охват источников.

Итог

WhyTrend — это не просто очередная библиотека для поиска аномалий, а полноценный фреймворк, который решает гораздо более сложную задачу — объяснение этих аномалий. Архитектурные решения, такие как гибридный поиск на BM25 и эмбеддингах и использование протоколов вместо наследования, делают его гибким и расширяемым. Если вы занимаетесь анализом временных рядов и хотите автоматизировать процесс поиска причин аномалий, стоит присмотреться к WhyTrend.