Академия информационных систем
Big Data и SQL: инженерия данных, ETL и оптимизация запросов
23 Ноября - 04 Декабря 2026 г.
О курсе
Курс помогает участникам научиться:
- • понимать принципы хранения, обработки и анализа больших данных
- • использовать SQL для выборки, фильтрации, группировки и анализа данных
- • работать с таблицами, связями между данными и основными SQL-запросами
- • получать из данных прикладные выводы для аналитических и управленческих задач
- • ориентироваться в базовых инструментах и подходах Big Data
- • применять SQL как основу для дальнейшего развития в аналитике, Data Engineering и работе с корпоративными данными
Особое внимание уделяется практической отработке SQL-запросов и разбору типовых задач, с которыми сталкиваются специалисты при работе с большими массивами данных в ИТ, аналитике и смежных направлениях.
Чек-лист по установке ClickHouse + PostgreSQL + Python
Преимущества нашей программы
Практическое освоение SQL
Участники учатся писать SQL-запросы для выборки, фильтрации, сортировки, группировки и анализа данных. Это базовый навык для аналитиков, ИТ-специалистов и всех, кто работает с данными.
Понимание принципов Big Data
Курс дает базовое понимание, что такое большие данные, как они хранятся, обрабатываются и используются в корпоративных системах.
Работа с реальными задачами анализа данных
Участники учатся получать из данных полезные выводы: находить нужную информацию, готовить выборки, проверять гипотезы и использовать данные для принятия решений.
База для развития в аналитике, BI и Data Engineering
Программа помогает заложить основу для дальнейшего обучения и перехода к более сложным направлениям: BI, хранилища данных, Data Engineering и корпоративная аналитика.
Программа курса
Модули
- 1) Инструменты Big Data
- 2) Инженерия данных: организация хранения данных
- 3) Инженерия данных: высокоуровневое проектирование систем работы с данными
- 4) Бизнес-решения Big Data
- 5) Установка ClickHouse с использованием Docker, установка PostgreSQL в Windows и Linix.
- 6) ETL (Python + SQL): Импорт данных в базы данных ClickHouse и PostgreSQL с использованием Python, Прогнозирования Временных рядов в ClickHouse с применением библиотеки Python prophet
- 7) Введение в SQL на примере баз данных ClickHouse, PostgreSQL. Операторы SQL.
- 8) Типы данных, преобразование типов
- 9) Условные конструкции
- 10) Работа с датами
- 11) Работа со строковыми данными, регулярные выражения
- 12) Группировка и агрегатные функции
- 13) Объединение таблиц – JOIN
- 14) Подзапросы, общие табличные выражения (CTE)
- 15) Объединения Union, Except, intersect
- 16) Представления
- 17) Создание/изменение таблиц, связи между таблицами (ключи), индексы
- 18) Использование словарей
- 19) Использование массивов
- 20) Модели распределений вычислений. Распределенные запросы
- 21) Оптимизация запросов: типичные ошибки, замедляющие запросы, оптимизация JOIN, агрегации, фильтров, запросов с массивами, оптимизация с использованием индексов, оптимизация с использованием подзапросов, оптимизация с использованием распределенных запросов
- 22) Оконные функции: Как в ClickHouse сделать эмуляцию Оконных функций с помощью массивов (с помощью функции ArrayMap и оператора ARRAY JOIN), на примере базы данных PostgreSQL
- 23)Использование Оконных функций для анализа Временных рядов.
Итоговая аттестация
По окончании обучения выдается
Удостоверение о повышении квалификации
Освойте SQL на практике: Научитесь писать запросы для поиска, отбора, сортировки и анализа данных.
Разберитесь в основах Big Data: Поймите, как устроены большие данные и где они применяются в ИТ и аналитике.
Применяйте навыки в рабочих задачах: Получайте нужные данные, формируйте выборки и используйте их для отчетов и принятия решений.
Как вы будете учиться
Получить персональное предложение
