Лекция 8 Архитектуры неиронных сетеи

Восьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для группы НС262 шестого потока обучения. Преподаватель: Виктор Немченко Дата: 00:00 Заставка 00:42 Базовые компоненты свёрточных сетей 01:39 ImageNet 02:44 Baseline (AlexNet 2012) 08:07 Метрики ImageNet 11:18 Тюнинг гиперпараметров (ZFnet) 11:54 Базовый блок (VGGNet 2014) 13:43 Вычислительные ресурсы 22:48 Inception module (GoogLeNet 2014) 24:15 1×1 Convolution 26:29 Stem network 28:21 Global Average Pooling 31:24 Batchnorm (революция глубины) 31:58 Skip connection (ResNet 2015) 33:12 Архитектура ResNet 33:52 BasicBlock в PyTorch 35:46 Bottleneck layer 36:16 Обучение ResNet 37:32 Grouped Convolution 38:50 Grouped Convolution in PyTorch 39:17 ResNeXt 40:01 Обзор сети MobileNet (2017 г.) 42:18 Сравнение моделей 44:32 Много skip connection (DenseNet 2016) 44:55 Ширина вместо глубины (WideResNet 2016) 45:31 Squeeze-and-Excitation (SENet 2017) 47:37 Поиск хорошей архитектуры 48:36 Обзор сети EfficientNet (2019 г.) 50:19 Трансформеры 53:53 ConvNext (2022) 01:02:23 Custom feature extractor 01:05:27 Обучение без разметки 01:05:49 Дистилляция 01:09:32 CLIP Материалы лекции: Открыть в Colab: Открыть в HTML-формате: