Data Engineering PRO: проектирование DWH, моделирование данных, dbt и аналитика

Структуры данных и их применение 

Структуры: 3NF, OLAP Cube, ROLAP, flat, Data Vault и их применение 

Примеры структур данных источников для тестовой витрины и тестового аналитического набора данных

ER-диаграммы

Нормальные формы

Dimensional Modeling 

Data Vault 

Anchor Modeling 

Якорная модель 

Data Build Tool (dbt): инициализация, подключение, моделирование

Разновидности систем управления базами данных: MPP: обзор MPP хранилищ, Greenplum, Clickhouse, Teradata, Vertica

Понятие хранилища данных 

Почему появились DWH и какие задачи решают; 

Отличия OLAP от OLTP 

Подходы к проектированию: "по Инмону", "по Кимбалу"

dbt как инструмент для генерации Data Vault 

DBT: Analytics Engineering: Analytics Engineering; Building complex Data Marts; 

SQL best practices: Complex SQL transformations + CTE;

DBT: Analytical functions; 

DBT: Macros + Jinja templates; 

DBT: Code compilation + debugging; Documenting your project; Accessing documentation easily with static website.

Представления данных: Информационные продукты. Виды аналитики. 

Особенности. Оптимизации 

Введение в анализ данных и основы статистики: Основы статистики. Генеральная совокупность и выборка. Нормальное распределение. Стандартное отклонение. Доверительные интервалы. Статистические гипотезы и уровень значимости. Коэффициент корреляции.

Предобработка данных, исследовательский и статистический методы анализа данных: Изучение срезов данных. Работа с пропусками и дубликатами. Нормировка данных. Анализ временных рядов. Постановка и проверка гипотез. Валидация результатов. Взаимосвязь данных. 

Потребность в SQL для работы с Hadoop.

Архитектура Hive и модели данных. HiveQL 

Вопросы оптимизации производительности: Performance best practices; Execution plan analysis; Compressing data & physical design (DIST, SORT, Materialized views, …); Incremental updates / building marts by periods; Code refactoring & KISS (Keep it simple, stupid).

Analytics: Базовые аналитические витрины: сегментация – Segments; ключевые показатели и метрики – KPI; анализ временных рядов – Timeseries analytics + Period-by-period; когортный анализ – Cohort analysis. 

Analytics: Сквозная аналитика: требования бизнеса и ожидаемые результаты; эволюция подходов, используемых инструментов, практик; рейтинг проблем и узких мест;

Основы Business Intelligence: redash; superset; datalens.

Развертывание BI-решения

Управление метаданными: что такое метаданные; источники метаданных; Data Catalog и Data Discovery; Atlas. 

BI: Modeling & Delivering: Connecting to data sources; задание метрик, фильтров, сегментов; подготовка визуализаций для представления выводов; сборка аналитических дашбордов: лучшие практики.

Основные метрики качества данных; 

Причины нарушения качества и стратегии реагирования; 

Измерение, мониторинг, исправление; 

Демонстрация: тесты актуальности, кросс-проверки источник <-> DWH

Тестирование DWH. Применение dbt и dbt cloud. Github CI.