Лекция 6: Трансформеры (часть 1). МФК Нейронные сети и их применение в научных исследованиях.

Шестое занятие на МФК«Нейронные сети и их применение в научных исследованиях» для студентов МГУ. Преподаватель: Виктор Немченко 00:00 Заставка 00:06 Приветствие 00:16 Лекция 6. Трансформеры 00:25 В предыдущих сериях 00:49 Часть 1 00:50 Трансформеры 01:33 Проблемы рекуррентных нейронных сетей 02:40 Seq2Seq 02:55 Машинный перевод 04:03 Энкодер и Декодер 05:43 Attention (внимание) 11:07 Ответы на вопросы 12:44 Часть 2 12:48 Применение трансформеров в поиске 13:01 Как работает поиск 15:10 Обучение нейросети без разметки данных 15:57 Self-supervised learning 21:10 Пример работы маски предсказания слов 23:13 BERT 24:09 Заморозка весов 24:58 Пример работы нейросети : анализ тональности 29:34 Работа трансформеров с картинками 30:15 Visual Transformer (ViT) 31:52 Self-Supervised для картинок 33:09 DINO 34:34 Трансформеры работают с речью 34:52 Wav2vec 2.0 36:15 Ответы на вопросы 42:53 Краткий итог содержания лекции