Лекция №7 Улучшение сходимости нейросетей и борьба с переобучением

Седьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для группы НС242 пятого потока обучения. Преподаватель: Любовь Антюфриева Дата: 00:00 Начало 00:30 Сигмоида затухает и теоретически, и практически 04:27 Затухание градиента 06:04 Нормализация входов и выходов 06:20 Нормализация входных данных 06:59 Нормализация целевых значений в задаче регрессии 11:11 Инициализация весов 13:40 Инициализация Ксавье (Xavier Glorot) 16:49 Инициализация Каймин Хе (Kaiming He) 17:16 Важность инициализации весов 17:56 Ортогональная инициализация 19:29 Инициализация весов в PyTorch 21:53 Слои нормализации 22:02 Covariate shift (Ковариантный сдвиг) 27:48 Internal covariate shift 29:43 Batch Normalization 44:09 Другие Normalization 46:44 Регуляризация 47:01 L1, L2 регуляризации 47:40 Dropout 58:30 DropConnect 58:59 DropBlock 59:29 Batch Normalization до или после Dropout 01:01:22 Оптимизация параметров нейросете