СПбГУ -- -- Стохастический градиентный спуск, дропаут, batch normalization

Это лекция из курса “Глубокое обучение“, который читается на Факультете математики и компьютерных наук СПбГУ вместе с двумя другими частями курса машинного обучения -- “Основами байесовского вывода“ и “Графическими вероятностными моделями“. Все материалы этой и других лекций курса (слайды, доска, ноутбуки с кодом) размещены по адресу: ~sergey/teaching/ Разделы: 00:00 Введение, методы оптимизации первого и второго порядка 23:00 Стохастический градиентный спуск 01:05:17 Метод моментов 01:21:00 Адаптивные варианты SGD 01:49:02 Перерыв 02:08:45 Примеры SGD 02:17:34 Дропаут 02:33:55 Инициализация весов 02:57:55 Нормализация по мини-батчам