Программа курса
Модули
- 1) Инструменты Big Data
- 2) Инженерия данных: организация хранения данных
- 3) Инженерия данных: высокоуровневое проектирование систем работы с данными
- 4) Бизнес-решения Big Data
- 5) Установка ClickHouse с использованием Docker, установка PostgreSQL в Windows и Linix.
- 6) ETL (Python + SQL): Импорт данных в базы данных ClickHouse и PostgreSQL с использованием Python, Прогнозирования Временных рядов в ClickHouse с применением библиотеки Python prophet
- 7) Введение в SQL на примере баз данных ClickHouse, PostgreSQL. Операторы SQL.
- 8) Типы данных, преобразование типов
- 9) Условные конструкции
- 10) Работа с датами
- 11) Работа со строковыми данными, регулярные выражения
- 12) Группировка и агрегатные функции
- 13) Объединение таблиц – JOIN
- 14) Подзапросы, общие табличные выражения (CTE)
- 15) Объединения Union, Except, intersect
- 16) Представления
- 17) Создание/изменение таблиц, связи между таблицами (ключи), индексы
- 18) Использование словарей
- 19) Использование массивов
- 20) Модели распределений вычислений. Распределенные запросы
- 21) Оптимизация запросов: типичные ошибки, замедляющие запросы, оптимизация JOIN, агрегации, фильтров, запросов с массивами, оптимизация с использованием индексов, оптимизация с использованием подзапросов, оптимизация с использованием распределенных запросов
- 22) Оконные функции: Как в ClickHouse сделать эмуляцию Оконных функций с помощью массивов (с помощью функции ArrayMap и оператора ARRAY JOIN), на примере базы данных PostgreSQL
- 23)Использование Оконных функций для анализа Временных рядов.
Итоговая аттестация
