Академия информационных систем
Data Engineering PRO: проектирование DWH, моделирование данных, dbt и аналитика
Ближайшая дата
23 Ноября - 04 Декабря 2026 г.
Длительность
10 дн. 40 ак.час
Форма обучения
Дистанционно
Документ
Удостоверение о повышении квалификации
Стоимость
89 900 ₽
О курсе
В рамках обучения будут рассмотрены различные инструменты и практики, позволяющие познакомиться с основными концепциям и проблемами построения хранилища данных. Программа курса в приоритете затрагивает вопросы построения аналитических хранилищ, аналитику данных, а также роль DWH в системах бизнес-аналитики «BI».Необходимые знания и навыки:
- Знание SQL
- Знание основ синтаксиса Python
- Понимание процесса разработки ПО
Программа курса
Реляционные базы данных
Структуры данных и их применение
Структуры: 3NF, OLAP Cube, ROLAP, flat, Data Vault и их применение
Примеры структур данных источников для тестовой витрины и тестового аналитического набора данных
ER-диаграммы
Нормальные формы
Dimensional Modeling
Data Vault
Anchor Modeling
Якорная модель
Data Build Tool (dbt): инициализация, подключение, моделирование
Разновидности систем управления базами данных: MPP: обзор MPP хранилищ, Greenplum, Clickhouse, Teradata, Vertica
Архитектура DWH
Понятие хранилища данных
Почему появились DWH и какие задачи решают;
Отличия OLAP от OLTP
Подходы к проектированию: "по Инмону", "по Кимбалу"
dbt как инструмент для генерации Data Vault
DBT: Analytics Engineering: Analytics Engineering; Building complex Data Marts;
SQL best practices: Complex SQL transformations + CTE;
DBT: Analytical functions;
DBT: Macros + Jinja templates;
DBT: Code compilation + debugging; Documenting your project; Accessing documentation easily with static website.
Аналитические запросы
Представления данных: Информационные продукты. Виды аналитики.
Особенности. Оптимизации
Введение в анализ данных и основы статистики: Основы статистики. Генеральная совокупность и выборка. Нормальное распределение. Стандартное отклонение. Доверительные интервалы. Статистические гипотезы и уровень значимости. Коэффициент корреляции.
Предобработка данных, исследовательский и статистический методы анализа данных: Изучение срезов данных. Работа с пропусками и дубликатами. Нормировка данных. Анализ временных рядов. Постановка и проверка гипотез. Валидация результатов. Взаимосвязь данных.
Потребность в SQL для работы с Hadoop.
Архитектура Hive и модели данных. HiveQL
Вопросы оптимизации производительности: Performance best practices; Execution plan analysis; Compressing data & physical design (DIST, SORT, Materialized views, …); Incremental updates / building marts by periods; Code refactoring & KISS (Keep it simple, stupid).
Analytics: Базовые аналитические витрины: сегментация – Segments; ключевые показатели и метрики – KPI; анализ временных рядов – Timeseries analytics + Period-by-period; когортный анализ – Cohort analysis.
Analytics: Сквозная аналитика: требования бизнеса и ожидаемые результаты; эволюция подходов, используемых инструментов, практик; рейтинг проблем и узких мест;
BI решения
Основы Business Intelligence: redash; superset; datalens.
Развертывание BI-решения
Управление метаданными: что такое метаданные; источники метаданных; Data Catalog и Data Discovery; Atlas.
BI: Modeling & Delivering: Connecting to data sources; задание метрик, фильтров, сегментов; подготовка визуализаций для представления выводов; сборка аналитических дашбордов: лучшие практики.
DevOps практики. CI + CD
Основные метрики качества данных;
Причины нарушения качества и стратегии реагирования;
Измерение, мониторинг, исправление;
Демонстрация: тесты актуальности, кросс-проверки источник <-> DWH
Тестирование DWH. Применение dbt и dbt cloud. Github CI.
По окончании обучения выдается
Удостоверение о повышении квалификации
Как вы будете учиться
Занятия
Занятия проводятся как очно в аудитории с непосредственным взаимодействием между преподавателем и слушателями. Для тех, кто не может присутствовать физически, предусмотрено участие через платформу MTS.link.
Процесс обучения
Занятия включают лекции, семинары и групповые проекты. Материалы подаются в виде презентаций, которые могут содержать графику, видео. Полученные знания закрепляются тестированиями и практическими заданиями, а затем вы получаете развернутую обратную связь от эксперта курса.
Сопровождение
Вы можете задавать вопросы преподавателю в режиме реального времени. Так же у каждой группы есть кураторы, которые всегда на связи и помогают решить организационные вопросы.
Получить персональное предложение
Хотите быть в курсе последних новостей?
Подпишитесь на нашу рассылку и станьте одним из первых, кто будет в курсе
всех новостей АИС!
