Программа

    • 1) Инструменты Big Data

    • 2) Инженерия данных: организация хранения данных

    • 3) Инженерия данных: высокоуровневое проектирование систем работы с данными

    • 4) Бизнес-решения Big Data

    • 5) Установка ClickHouse с использованием Docker, установка PostgreSQL в Windows и Linix.

    • 6) ETL (Python + SQL): Импорт данных в базы данных ClickHouse и PostgreSQL с использованием Python, Прогнозирования Временных рядов в ClickHouse с применением библиотеки Python prophet

    • 7) Введение в SQL на примере баз данных ClickHouse, PostgreSQL. Операторы SQL.

    • 8) Типы данных, преобразование типов

    • 9) Условные конструкции

    • 10) Работа с датами

    • 11) Работа со строковыми данными, регулярные выражения

    • 12) Группировка и агрегатные функции

    • 13) Объединение таблиц – JOIN

    • 14) Подзапросы, общие табличные выражения (CTE)

    • 15) Объединения Union, Except, intersect

    • 16) Представления

    • 17) Создание/изменение таблиц, связи между таблицами (ключи), индексы

    • 18) Использование словарей

    • 19) Использование массивов

    • 20) Модели распределений вычислений. Распределенные запросы

    • 21) Оптимизация запросов: типичные ошибки, замедляющие запросы, оптимизация JOIN, агрегации, фильтров, запросов с массивами, оптимизация с использованием индексов, оптимизация с использованием подзапросов, оптимизация с использованием распределенных запросов

    • 22) Оконные функции: Как в ClickHouse сделать эмуляцию Оконных функций с помощью массивов (с помощью функции ArrayMap и оператора ARRAY JOIN), на примере базы данных PostgreSQL

    • - Использование Оконных функций для анализа Временных рядов.

    • Итоговая аттестация