Дата-инженер: расширенный курс

Научитесь с помощью SQL получать данные из БД, а также фильтровать, агрегировать, импортировать и экспортировать их. 20 часов теории, 32 часа практики.

• Введение в SQL. Установка и знакомство
• Основы и работа с базами данных
• Основы SQL
• Углубление в SQL
• Работа с базой данных PostgreSQL

Научитесь поднимать, настраивать кластеры, масштабировать данные, писать хранимые процедуры и триггеры, понимать структуры данных, как они нормализуются и денормализуются. Погрузитесь в специфику проектирования баз данных и интеграцию с другими приложениями. 14 часов теории, 28 часов практики.

• Командная строка. DCL и TCL
• Зависимости. Нормализация. Денормализация
• Масштабирование функций
• Интеграция: API, Redis
• Хранимые процедуры и триггеры событий
• Основы проектирования: архитектурные модели, модели данных

Познакомитесь с видами хранилищ, поймёте архитектуру DWH (хранилища данных) и его возможности. На практическом кейсе разберёте популярные инструменты работы с DWH. 17 часов теории, 32 часа практики.

• Понятие БД, СУБД, хранилища данных
• Архитектура DWH и принципы построения
• Виды заказчиков в процессе разработки DWH
• Data Quality и Data Governance
• Обзор инструментов для работы с хранилищами данных

Научитесь пользоваться базовыми инструментами и подходами в Python, чтобы начать работать с данными. Научитесь получать и очищать данные, управлять их качеством, находить связи и проверять гипотезы. Сможете работать с главными аналитическими библиотеками. 50 часов теории, 39 часов практики.

• Управляющие конструкции и коллекции
• Работа с файловой системой и модули
• Исключения и обработка ошибок
• Регулярные выражения и основы синтаксического разбора
• Библиотека NumPy
• Библиотека Pandas

Познакомитесь с основным инструментом обработки больших данных. Разберётесь в возможностях управления ресурсами кластера. 14 часов теории, 15 часов практики.

• Основы Hadoop: архитектура
• Data Lake(озеро данных) vs Data Warehouse (хранилище данных)
• HDFS: логика работы, Namenode и Datanode
• MapReduce: алгоритм и решение задач
• Yarn, Pig & Hive
• HBase & Cassandra: возможности и основные характеристики
• Управление и администрирование кластера
• Обзор Apache Ambari, Apache Ranger, Apache Atlas

Изучите способы обработки разных видов данных. Узнаете, что такое оркестратор и какие задачи он решает. Поймёте, как эффективно преобразовывать данные в хранилищах. 16 часов теории, 12 часов практики.

• Apache Spark: основные команды и RDD
• Spark SQL: DataFrame API и Dataset API
• Архитектура Spark: компоненты и идеи
• Apache Airflow: основные сущности для построения задач и взаимодействие сущностей
• Data Build Tool как инструмент ETL
• Организация ETL-процессов с помощью Apache NiFi

Поймёте особенности работы с потоковыми данными. Разберётесь в логике работы брокеров сообщений. 12 часов теории, 9 часов практики.

• Устройство Clickhouse и загрузка данных в корпоративное хранилище
• Устройство Kafka и работа с кластером
• Конфигурация Kafka Streams
• Kafka Streams Interactive Queries, Kafka Streams Processor API, Kafka Connect
• Spark Streaming: характеристики и особенности использования
• Создание простого приложения на Spark Structure Streaming + Kafka

Познакомитесь с основными облачными провайдерами. Поймёте преимущества использования облачного хранилища для работы с данными. Выполните практические упражнения в облачной среде Yandex Cloud. 11 часов теории, 19 часов практики.

• Построение пайплайна в облачной среде
• Работа с виртуальными машинами
• Хранение и анализ данных в облаке
• Прогнозирование затрат и оптимизация расходов
• Обеспечение безопасности в облаке
• DevOps и автоматизация

Научитесь решать задачи разработки и аналитики с помощью генеративного искусственного интеллекта. Сможете писать SQL запросы и код с помощью ИИ, даже если вы новичок в этой теме. 2,2 часа теории, 1,5 часа практики.

• Изучите возможности ChatGPT в работе с таблицами в Excel и Google Sheets
• Узнаете, какие возможности для продвинутой работы с данными предоставляет GPT-4

Узнаете, как с помощью генеративных нейросетей оформить резюме и портфолио, эффективно подготовиться к собеседованию. Этот курс проходит в формате видеолекций и не привязан к строгому графику, вы можете изучить материалы в своём темпе. 1,4 часа теории, 1,5 часа практики.

Познакомитесь с основными задачами машинного обучения. Научитесь работать с очисткой данных. Поймёте, как при помощи обученных моделей решать задачи. 38 часов теории, 33 часа практики.

• Регрессионный анализ. Линейная, полиномиальная и логарифмическая регрессия
• Классификация: Логистическая регрессия и SVM
• Оценка точности модели, переобучение, регуляризация
• Работа с качеством данных
• Деревья решений
• Поиск выбросов и генерация новых признаков
• Feature Selection
• Ансамблирование

Узнаете, зачем нужен DevOps. Разберётесь в пайплайне разработки ML-моделей. 8 часов теории, 25 часов практики.

• Что такое DevOps / MLOps
• Docker и микросервисная архитектура
• Технологии контейнеризации, k8s
• Оркестраторы
• CI/CD
• Мониторинг
• Инструменты DevOps для обучения ML-моделей
• Deploy ML-моделей

Поймёте, как создавать наглядные визуализации, доносить информацию и создавать истории с помощью данных.

Изучите термины, чтение документации, лексику для собеседований и резюме.

Освоите Java — это пригодится для автоматизации обработки данных и разработки служебных утилит.

• Основы облачных технологий
• Виртуальные машины и принципы их работы
• Обеспечение безопасности облака
• Создание среды разработки

Диплом о профессиональной переподготовке