Apache Airflow для Data Engineers: проектирование, разработка, эксплуатация

О курсе

Программа направлена на развитие практических навыков проектирования, оркестрации и мониторинга потоков обработки данных в Apache Airflow. Участники освоят создание DAG, настройку расписаний, диагностику процессов, контейнеризацию и интеграцию с платформами обработки данных.

Курс поможет участникам:

• понимать архитектуру ETL-процессов и основные компоненты Apache Airflow
• устанавливать и настраивать Apache Airflow
• проектировать DAG и управлять последовательностью выполнения задач
• настраивать расписания и контролировать исполнение процессов
• выполнять мониторинг, тестирование и диагностику DAG
• использовать XCom, параллелизм, плагины, операторы и хуки
• запускать Airflow в Docker и интегрировать его с платформами обработки данных

Кому будет полезен курс

Инженеры данных

Разработчики

Архитекторы баз данных

Специалисты Data Science

Аналитики данных

ETL-разработчики

Преимущества нашей программы

Проектирование процессов обработки данных

Участники изучают структуру ETL-процессов, основные компоненты Apache Airflow и правила построения DAG для последовательного и контролируемого выполнения задач.

Мониторинг и диагностика

Курс охватывает настройку расписаний, контроль исполнения, мониторинг, отладку и тестирование процессов. Слушатели учатся находить ошибки и обеспечивать стабильную работу DAG.

Расширенные возможности Apache Airflow

Программа включает работу с XCom, параллелизмом, плагинами, уведомлениями, операторами и хуками для реализации сложных сценариев оркестрации.

Контейнеризация и интеграции

Слушатели осваивают запуск Airflow в Docker, конфигурирование, резервное копирование и интеграцию с Hadoop, Spark, Impala, ClickHouse и Apache Superset.

Программа курса

Программа курса / модули:

Введение в ETL. Структура и типы источников данных

Введение в Apache Airflow

Настройка, установка Airflow.

Основные абстракции и компоненты. DAG

Принципы работы DAG.

Установка интервала расписания (Schedule Interval).Как выстраивать DAG и стадии во времени и контролировать их исполнение (Execution Date)

Мониторинг и дебаггинг процессов DAG.

Более совершенные техники и сценарии использования AirFlow: работа с XComs, sub-DUGs, пуллинг, параллелизм и др.

Лучшие практики по использованию AirFlow: интеграция с системами (Hadoop, Spark, Impala, ClickHouse, SuperSet и т.д), бекапы конфигурирование и масштабирование.

Разработка. Плагины и нотификация. Операторы и хуки

Установка и запуск Airflow в контейнерах Docker.

Тестирование. Использование тестов в разработке.

Итоговая аттестация

Как вы будете учиться

Занятия

Занятия проводятся как очно в аудитории с непосредственным взаимодействием между преподавателем и слушателями. Для тех, кто не может присутствовать физически, предусмотрено участие через платформу MTS.link.

Процесс обучения

Занятия включают лекции, семинары и групповые проекты. Материалы подаются в виде презентаций, которые могут содержать графику, видео. Полученные знания закрепляются тестированиями и практическими заданиями, а затем вы получаете развернутую обратную связь от эксперта курса.

Сопровождение

Вы можете задавать вопросы преподавателю в режиме реального времени. Так же у каждой группы есть кураторы, которые всегда на связи и помогают решить организационные вопросы.

Академия

Курсы

Услуги

Библиотека

Контакты

Apache Airflow для Data Engineers: проектирование, разработка, эксплуатация

О курсе

Кому будет полезен курс

Преимущества нашей программы