Занятие №7 Batch normalization

Седьмое занятие на курсе «Классическое машинное обучение» для группы НС214. Преподаватель: Александр Пославский Таймкоды: 00:00:28 Сигмоида затухает и теоретически и практически 00:05:23 Затухание градиента 00:07:51 Инициализация весов 00:07:56 Инициализация Ксавьера (Xavier, Glorot) 00:10:51 He-инициализация (Kaiming) 00:12:57 Инициализация весов в Pytorch 00:17:06 Регуляризация 00:18:26 Dropout 00:20:17 Борьба с коадаптацией 00:22:01 Dropout как регуляризация 00:26:17 Dropout помогает бороться с переобучением 00:30:31 Confidence interval от Dropout 00:33:30 Простая реализация Dropout 00:39:55 Dropconnect 00:41:35 DropBlock 00:42:46 Нормализация 00:43:02 Нормализация входных данных 00:44:38 Covariate shift 00:45:55 Internal covariate shift 00:53:59 Плохой вариант борьбы с этим 00:55:22 BatchNormalization 00:58:01 Скользящее среднее 01:04:29 Пример работы 01:05:19 Градиент 01:05:58 Internal covariate shift? 01:06:53 Tips 01:15:22 Другие Normalization 01:23:02 Weights standartizat