Deep Learning

Познакомитесь с базовыми элементами нейронной сети. Научитесь строить простые модели для решения задач регрессии и классификации. 3 часа теории, 3 часа практики.

• Линейная регрессия
• Логистическая регрессия
• Построение простой нейронной сети

Узнаете принципы построения многослойной нейронной сети. Поймёте, как оценить качество обучения. Познакомитесь с понятием переобучения нейросети, изучите разные методы оптимизации нейронных сетей: градиентный спуск и его основные модификации. Изучите основные способы регуляризации нейронных сетей: ранняя остановка, L1/L2, dropout, batch normalization. 3 часа теории, 3 часа практики.

• Многослойный персептрон
• Оценка качества модели
• Градиентный спуск и его модификации
• Регуляризация нейронных сетей

Узнаете, как работает свёрточная операция. Разберётесь, как повысить устойчивость сетей к сдвигам и трансформациям с помощью пулинга (pooling). Познакомитесь с первой свёрточной сетью LeNet. 2 часа теории, 3 часа практики.

• Что такое свёрточная операция и как она работает
• Padding и stride
• Pooling
• LeNet

Познакомитесь с различными архитектурами свёрточных сетей: LeNet, AlexNet, VGG, NiN, GoogLeNet, ResNet. 2 часа теории, 3 часа практики.

• Архитектуры свёрточных сетей:

Научитесь использовать в коде различные методы аугментации и Transfer Learning для улучшения обучения сети. 2 часа теории, 3 часа практики.

• Аугментации
• Динамическое изменение learning rate (LR Schedulers)
• Transfer learning: fine tuning, feature extractors
• Архитектуры Feature extractors: VGG, EfficientNet, MobileNet

Поймёте, как построить языковые модели. Узнаете, зачем нужны рекуррентные нейронные сети и как они работают. Рассмотрите виды рекуррентных нейронных сетей: GRU и LSTM. Сгенерируете текст при помощи нейросети. Узнаете, как строить более глубокие RNN. Познакомитесь с двунаправленными RNN (bidirectional RNN). Узнаете о возможностях Residual Connections для RNN. Изучите архитектуру модели Encoder-decoder, познакомитесь с понятием информационный bottleneck. Потренируетесь решать задачи машинного перевода на основе рекуррентных сетей. 8 часов теории, 9 часов практики.

• Языковые модели
• Обучение рекуррентных нейросетей
• GRU и LSTM
• Генерация текста
• Deep RNN
• BiRNN
• Residual Connections
• Encoder-Decoder архитектура
• Машинный перевод

Познакомитесь с механизмом внимание (attention) и его основными видами: dot-product, линейная модель, аддитивная модель, self-attention и multi-head attention. Изучите два способа реализации внимания: на скалярном произведении и на MLP. Узнаете, как attention привёл к появлению архитектуры Transformer. 2 часа теории, 3 часа практики.

• Виды внимания
• Трансформер

Изучите основные датасеты и метрики качества для решения задач визуального обнаружения объектов и распознавания изображений. Познакомитесь с подходами к детектированию объектов: Region Based, YoLo, SSD. Узнаете, что такое семантическая сегментация. Познакомитесь с архитектурами SegNet и U-Net. Узнаете различные методы модификации изображений: технология Deep dream, матрица Грама, генерация текстур, Neural style transfer. 7 часов теории, 9 часов практики.

• Задача детекции
• Архитектуры Region Based, YoLo и SSD
• Семантическая сегментация
• Архитектуры SegNet и U-Net
• Модификации изображений

Познакомитесь с понятием «векторное представление слов» (word embedding) и основными методами построения векторов слов: SVD, Word2vec. Узнаете, что такое transfer learning и как оно используется в NLP. Познакомитесь с основными предобученными текстовыми моделями: ELMo, BERT и его вариациями, GPT. Сможете решать задачи классификации, межъязыкового семантического поиска и генерации продолжения текста. 4 часа теории, 6 часов практики.

• Векторные представления слов
• Сингулярное разложение (SVD)
• Word2Wec
• FastText
• Модель ELMo
• BERT и его вариации
• GPT

Научитесь применять обычные и вариационные автоэнкодеры и строить архитектуру генеративных состязательных сетей (Generative Adversarial Networks, GAN). Создадите генератор лиц аниме с использованием GAN. Познакомитесь с глубоким обучением с подкреплением. 3 часа теории, 3 часа практики.

• Автоэнкодеры
• Вариационные автоэнкодеры (VAE)
• Генеративные состязательные сети (GAN)
• Типы генеративных состязательных сетей
• Проблемы генеративных состязательных сетей
• Глубокое обучение с подкреплением

Вы самостоятельно выбираете задачу и тему проекта и работаете над ним под руководством преподавателей курса. В результате защитите диплом перед экспертом. 2 часа теории, 20 часов практики.