Платформа данных АстраЗенека в России: BI, DWH и Data Lake

Как сообщает Habr со ссылкой на материалы компании «АстраЗенека», российское подразделение биофармацевтического гиганта выстроило комплексную платформу данных. Система объединяет озеро данных, корпоративное хранилище и инструменты бизнес-аналитики для работы с разнородными запросами бизнеса.

Российское подразделение компании «АстраЗенека» внедрило многокомпонентную архитектуру работы с информацией, объединившую хранилище данных, озеро данных и инструменты BI в единый контур. По данным Habr, необходимость создания такой системы возникла из-за разной природы бизнес-запросов. Одним подразделениям требуется строгая и точная цифра для годовой отчётности, другим — возможность проверить гипотезу за три дня на сырых логах, а третьим — заархивировать массивные объемы информации для дальнейшего использования.

Предыстория и контекст

Развитие корпоративных информационных систем неизбежно приводит к ситуации, когда универсальные инструменты перестают справляться с диаметрально противоположными нагрузками. На определенном этапе стандартные хранилища перегружаются запросами на глубокую аналитику и эксперименты, что мешает формированию регламентированной отчетности. Появление специализированных решений для разных классов задач позволило разделить потоки информации и оптимизировать инфраструктуру под конкретные сценарии использования внутри компании.

Как устроена архитектура платформы данных?

Платформа разделена на несколько специализированных компонентов, каждый из которых отвечает за строго определенный класс задач. Потоки данных распределяются таким образом, чтобы обеспечить максимальную скорость и надежность для каждого сценария: от долгосрочного архивного хранения до оперативной визуализации ключевых показателей бизнеса в режиме реального времени.

Технические детали и интеграция контуров

В рамках единого контура платформы выделены зоны для хранилища данных, озера данных и систем бизнес-аналитики. Каждое звено решает автономную задачу, но все они интегрированы в общую экосистему компании. Это позволяет одинаково эффективно работать как со структурированными витринами для финансовой отчетности, так и с неструктурированными сырыми логами для исследовательских и аналитических задач без потери производительности.

Кого затронет и как

Новая организация работы с информацией затрагивает различные внутренние направления компании, включая финансовый сектор, аналитические подразделения и инженерные команды. Наличие раздельных контуров дает возможность руководству и бухгалтерии опираться на верифицированные показатели для официальных отчетов, в то время как дата-саентисты и разработчики могут тестировать новые гипотезы и работать с сырыми данными, не создавая нагрузки на критические транзакционные системы.

Что будет дальше

Дальнейшее развитие платформы связано с масштабированием аналитических возможностей, подключением новых источников и оптимизацией процессов обработки массивов информации. Опыт интеграции различных подходов к хранению и анализу данных задает вектор для дальнейшего совершенствования внутренней ИТ-инфраструктуры компании.

Итог

Опыт российской команды «АстраЗенека» показывает, как разделение платформы данных на специализированные компоненты помогает эффективно решать противоположные бизнес-задачи. Сочетание DWH, Data Lake и BI в едином контуре обеспечивает баланс между строгой отчетностью и гибкими исследованиями.