Инженер машинного обучения

Познакомитесь со статистическими показателями, научитесь проводить статистический анализ данных и проверять гипотезы с помощью различных инструментов. 8 часов теории, 14 часов практики.

• Что такое статистика и для чего она нужна
• Основные статистические показатели, виды распределений данных, корреляция
• Взаимосвязи данных и формулирование гипотез по SMART
• Статистические критерии в Google Таблицах. Проверка гипотез и формулирование выводов

В идеальном мире data scientist получает готовые данные, чтобы строить модели, но мир не идеален. Вы научитесь с помощью SQL получать данные из БД, фильтровать, агрегировать, а также импортировать и экспортировать. 20 часов теории, 32 часа практики.

• Архитектура и структура баз данных (БД)
• Простые запросы, join`s, агрегаты
• Базовые команды в SQL и встроенные аналитические функции
• Импорт и экспорт данных посредством SQL и ETL программ
• Принципы работы с различными БД
• Основные библиотеки для подключения к БД из Python
• Функции SQL и их аналоги в pandas
• Консоль: знакомство, основные операторы, утилита psql
• Архитектура и проектирование
• Нормализация
• Зависимости
• Подготовка и сдача итогового проекта

Вы научитесь пользоваться базовыми инструментами и подходами в Python, чтобы начать работать с данными. Разберёте популярные библиотеки, парсинг и работу с API 59 часов теории, 47 часов практики.

• Базовые типы данных и циклы
• Продвинутые типы данных: массивы, множества, словари
• Библиотека NumPy: вычислительные задачи
• Основы парсинга и работы с API
• Функции и классы
• Регулярные выражения и основы синтаксического разбора
• Библиотека Pandas: возможности и оптимизация

Научитесь проверять данные на полноту, целостность, валидность, наличие шумов, ошибок и пропусков. Узнаете, как очищать данные с помощью NumPy и Pandas, как сокращать размерности данных алгоритмами PCA, LDA, NMF. Научитесь строить деревья решений и модели логистической, линейной и полиномиальной регрессии. Узнаете, как использовать Random Forest в задачах классификации. 42 часа теории, 37 часов практики.

• Регрессионный анализ. Линейная, полиномиальная и логарифмическая регрессия
• Классификация: логистическая регрессия и SVM
• Функции потерь и оптимизация
• Оценка точности модели, переобучение, регуляризация
• Проблема качества данных
• Работа с пропусками и переменными

Научитесь строить простые полносвязанные сети уровня LeNet и AlexNet и экспериментировать с их обучением. Получите теоретическую и практическую базу для использования нейросетей в блоках CV и NLP. 10 часов теории, 6 часов практики.

• Введение в нейронные сети и библиотеку Keras
• Углубление в нейронные сети и библиотеку Keras
• Введение в свёрточные нейронные сети
• Введение в рекуррентные сети
• Автокодировщики
• Введение в генеративно-состязательные сети

На трёх воркшопах вместе с экспертами Яндекса, Т-Банка и Сбера попрактикуетесь в решении тестовых заданий из актуальных вакансий. На вебинарах с экспертами мы предложим вам аналоги тестовых заданий для соискателей на позиции в аналитике данных и Data Science. Сначала вы попробуете решить задание самостоятельно, а потом разберёте его с экспертом.

• Поймёте, как не теряться при работе с абсолютно незнакомыми данными
• Подготовитесь психологически к решению тестовых заданий на собеседовании
• Научитесь выбирать и использовать инструменты в соответствии с поставленной задачей

Поймёте особенности работы с потоковыми данными. Разберётесь в логике работы брокеров сообщений. 12 часов теории, 9 часов практики.

• Устройство Clickhouse и загрузка данных в корпоративное хранилище
• Устройство Kafka и работа с кластером
• Конфигурация Kafka Streams
• Kafka Streams Interactive Queries, Kafka Streams Processor API, Kafka Connect
• Spark Streaming: характеристики и особенности использования
• Создание простого приложения на Spark Structure Streaming + Kafka

Познакомитесь с основным инструментом обработки больших данных. Разберётесь в возможностях управления ресурсами кластера. 14 часов теории, 15 часов практики.

• Основы Hadoop: архитектура
• Разница Data Lake (озеро данных) и Data Warehouse (хранилище данных)
• DFS: логика работы, Namenode и Datanode
• MapReduce: алгоритм и решение задач
• Yarn, Pig & Hive
• HBase & Cassandra: возможности и основные характеристики
• Управление и администрирование кластера
• Обзор Apache Ambari, Apache Ranger, Apache Atlas

Познакомитесь с видами хранилищ, поймёте архитектуру DWH (хранилища данных) и его возможности. На практическом кейсе разберёте популярные инструменты работы с DWH. 17 часов теории, 32 часа практики.

• Понятие БД, СУБД, хранилища данных
• Архитектура DWH и принципы построения
• Виды заказчиков в процессе разработки DWH
• Data Quality и Data Governance
• Обзор инструментов для работы с хранилищами данных

Узнаете, зачем нужен DevOps. Разберётесь в пайплайне разработки ML-моделей. 8 часов теории, 25 часов практики.

• Что такое DevOps и MLOps
• Docker и микросервисная архитектура
• Технологии контейнеризации, k8s
• Оркестраторы
• CI/CD
• Мониторинг
• Инструменты DevOps для обучения ML-моделей

Создадите ML-модель для решения профессиональных задач. Тему выбираете самостоятельно, можете защитить итоговую работу на основе данных с Kaggle. В работе над проектом вам будет помогать дипломный руководитель. Для каждого студента, в зависимости от выбранной программы обучения, предусмотрены от 4 индивидуальных консультаций по дипломной работе.

Изучите основные операции с векторами, матричными операциями. Рассмотрите генетические алгоритмы, алгоритм дифференциальной эволюции. Узнаете, что такое математическое ожидание, дисперсия и моменты старших порядков. Изучите закон больших чисел.

• Линейная алгебра. Векторы
• Продвинутая линейная алгебра
• Производная функции нескольких аргументов
• Теория вероятностей. Дискретные и непрерывные случайные величины
• Линейная алгебра. Матрицы
• Математический анализ. Производная
• Теория оптимизации
• Центральная предельная теорема и закон больших чисел

Научитесь решать задачи разработки и аналитики с помощью генеративного искусственного интеллекта. Сможете писать SQL запросы и код с помощью ИИ, даже если вы новичок в этой теме. 2,2 часа теории, 1,5 часа практики.

• Изучите возможности ChatGPT в работе с таблицами в Excel и Google Sheets
• Узнаете, какие возможности для продвинутой работы с данными предоставляет GPT-4

Узнаете, как с помощью генеративных нейросетей оформить резюме и портфолио, эффективно подготовиться к собеседованию. Этот курс проходит в формате видеолекций и не привязан к строгому графику, вы можете изучить материалы в своём темпе. 1,4 часа теории, 1,5 часа практики.

Вы освоите основные техники машинного зрения — извлечение признаков, поиск по картинкам, сегментирование, детекция объектов. Такие навыки востребованы для видеонаблюдения, автопилотируемой техники, медицинской диагностики, генерации контента. 21 час теории, 12 часов практики.

• Выделение признаков и поиск похожих изображений
• Задачи детекции и сегментации
• Сегментация и детекция объектов
• Рекуррентные нейронные сети в задачах компьютерного зрения (Image Captioning)
• Свёрточные нейронные сети
• Порождающие модели
• Обучение свёрточной сети на практике

Вы освоите морфологический и синтаксический анализ, дистрибутивную семантику и информационный поиск, научитесь снижать размерность в векторной модели, классифицировать, извлекать информацию и генерировать тексты. Это востребовано для перевода, виртуальных ассистентов, онлайн-ботов поддержки, транскрибации видео. 21 час теории, 12 часов практики.

• Введение в автоматическую обработку текста
• Тематическое моделирование
• Структура слова. Морфология
• Информационный поиск
• Синтаксический анализ
• Классификация в АОТ
• Дистрибутивная семантика
• Языковые модели
• Извлечение ключевых слов
• Извлечение информации
• Словари. Подкрепление знаний

16 часов теории, 16 часов практики.

• Для компьютерного зрения
• Для обработки естественного языка

Диплом о профессиональной переподготовке