Академия информационных систем
Apache Airflow для Data Engineers: проектирование, разработка, эксплуатация
09 - 11 Ноября 2026 г.
О курсе
Программа направлена на развитие практических навыков проектирования, оркестрации и мониторинга потоков обработки данных в Apache Airflow. Участники освоят создание DAG, настройку расписаний, диагностику процессов, контейнеризацию и интеграцию с платформами обработки данных.
Курс поможет участникам:
• понимать архитектуру ETL-процессов и основные компоненты Apache Airflow
• устанавливать и настраивать Apache Airflow
• проектировать DAG и управлять последовательностью выполнения задач
• настраивать расписания и контролировать исполнение процессов
• выполнять мониторинг, тестирование и диагностику DAG
• использовать XCom, параллелизм, плагины, операторы и хуки
• запускать Airflow в Docker и интегрировать его с платформами обработки данных
Кому будет полезен курс
Инженеры данных
Разработчики
Архитекторы баз данных
Специалисты Data Science
Аналитики данных
ETL-разработчики
Преимущества нашей программы
Участники изучают структуру ETL-процессов, основные компоненты Apache Airflow и правила построения DAG для последовательного и контролируемого выполнения задач.
Курс охватывает настройку расписаний, контроль исполнения, мониторинг, отладку и тестирование процессов. Слушатели учатся находить ошибки и обеспечивать стабильную работу DAG.
Программа включает работу с XCom, параллелизмом, плагинами, уведомлениями, операторами и хуками для реализации сложных сценариев оркестрации.
Слушатели осваивают запуск Airflow в Docker, конфигурирование, резервное копирование и интеграцию с Hadoop, Spark, Impala, ClickHouse и Apache Superset.
Программа курса
Программа курса / модули:
Введение в ETL. Структура и типы источников данных
Введение в Apache Airflow
Настройка, установка Airflow.
Основные абстракции и компоненты. DAG
Принципы работы DAG.
Установка интервала расписания (Schedule Interval).Как выстраивать DAG и стадии во времени и контролировать их исполнение (Execution Date)
Мониторинг и дебаггинг процессов DAG.
Более совершенные техники и сценарии использования AirFlow: работа с XComs, sub-DUGs, пуллинг, параллелизм и др.
Лучшие практики по использованию AirFlow: интеграция с системами (Hadoop, Spark, Impala, ClickHouse, SuperSet и т.д), бекапы конфигурирование и масштабирование.
Разработка. Плагины и нотификация. Операторы и хуки
Установка и запуск Airflow в контейнерах Docker.
Тестирование. Использование тестов в разработке.
Итоговая аттестация
По окончании обучения выдается
Удостоверение о повышении квалификации
Оркестрация данных: Научитесь проектировать DAG, выстраивать последовательность задач и управлять расписанием ETL-процессов.
Контроль процессов: Освойте мониторинг, диагностику, тестирование и отладку процессов обработки данных.
Интеграция и масштабирование: Запускайте Airflow в Docker и интегрируйте его с Hadoop, Spark, ClickHouse и Apache Superset.
Как вы будете учиться
Получить персональное предложение
