Курсы по Data Engineering в Санкт-Петербурге

Инженерия данных от проектирования до нетривиальной обработки.

Сильный инженер данных за счёт широты знаний и понимания архитектуры DWH способен подобрать правильные инструменты под любые задачи и донести результат до потребителей данных.

Программа курса:

• РЕЛЯЦИОННЫЕ И MPP СУБД
• АВТОМАТИЗАЦИЯ ETL-ПРОЦЕССОВ
• BIG DATA
• ПРОЕКТИРОВАНИЕ DWH
• ОБЛАЧНОЕ ХРАНИЛИЩЕ
• ВИЗУАЛИЗАЦИЯ ДАННЫХ
• BIG ML
• УПРАВЛЕНИЕ МОДЕЛЯМИ
• УПРАВЛЕНИЕ ДАННЫМИ

• Работа в корпоративной среде. Трекинг задач. Постановка задачи. Жизненный цикл задачи.
• Основы Python. Программирование на Python.
• Углублённый Python. Синтаксис Python. Готовим инструменты разработки. Объектно-ориентированное программирование.
• Алгоритмы и структуры данных. Основы алгоритмов. Представление данных в памяти. Рекурсия и сортировки.
• Основы SQL и баз данных. Устройство PostgreSQL. Основы SQL и DDL. Основы SQL и DML. Нормализация и взаимоотношение. Объединение таблиц. Функции.
• Продвинутый SQL для работы с данными. Подзапросы и общие табличные выражения. Оконные функции. Представления. Продвинутые типы данных. Транзакции и блокировки.
• Как построить аналитическое хранилище данных. PostgreSQL и DBeaver. Нормальные формы. Знакомство с DWH. Погружение в DWH. SCD и его типы.
• Работа с данными в хранилище. Витрина данных и VIEW. Оптимизация запросов.
• ELT: автоматизация подготовки данных . Анализ вводных по задаче. Проектирование ETL-процесса. Ликбез по Airflow. Реализация ETL в Airflow.
• Проверка качества данных. Требования к качеству данных. Проектирование и разработка проверки.
• DWH для нескольких источников. Сбор требований и исследование источников. Проектирование DWH. Реализация DWH.Тестирование, интеграция и документация.
• Аналитические базы данных. Аналитические СУБД и Vertica. Разработка аналитической базы данных.
• Организация Data Lake. Проектирование Data Lake. Знакомство со Spark. PySpark для инженера данных.
• Потоковая обработка данных. Потоковая обработка с Kafka и Spark Streaming. Настройка потока данных.
• Облачные технологии. Облачные технологии Yandex Cloud. Подготовка и изучение источников.Создание окружения сервисов. Написание первого сервиса. Знакомство с DataLens.
• Выпускной проект или пет-проект. В конце курса у вас будет выбор: выполнить ещё один учебный проект или реализовать пет-проект. В первом случае нужно выбрать бизнес-задачу и разработать архитектуру данных с использованием всех изученных инструментов. Во втором случае вы сможете воплотить в жизнь и защитить личный проект. Что бы вы ни выбрали, вас поддержат наставники и ревьюеры, а получившийся кейс украсит ваше портфолио.
• Трудоустройство. Эта часть курса для тех, кто решил найти работу в сфере разработки. Вы изучите стратегии поиска работы и узнаете о тонкостях выбора компании-работодателя, подготовите портфолио, напишете резюме и сопроводительное письмо.
• Акселерация. Программа сопровождения: вы ищете работу, мы консультируем и помогаем. Участвовать в программе могут те, кто закончил программу трудоустройства и находится в активном поиске работы.
• Воркшопы для разбора ключевых тем, сессии Q&A. Описание отсутствует