Общий ИИ, Лекция 8, часть 2

Курс “Общий Искусственный Интеллект“, читается на Факультете свободных искусств и наук Санкт-Петербургского Государственного Университета, весенний семестр 2021 года. Лекция 8, Архитектура Transformer, часть 2 Во второй части лекции рассматриваются модели BERT, GPT и, собственно, Transformer, так же даётся обзор “больших“ моделей, GPT-2 и GPT-3. Особое внимание уделяется способности этих моделей решать широкий круг задач без предварительной подгонки. 00:00 BERT 09:45 Cloze task 12:34 Next Sentence Prediction 13:20 Обучение BERT 19:02 Задачи и подгонка (fine tuning) 27:29 Перегонка знаний (knowledge distillation) 38:20 Casual attention masking 42:10 GPT 49:00 Zero-shot learning для GPT 55:06 Transformer 1:01:34 На что смотрит Transformer? 1:05:05 GPT-2 1:11:15 GPT-3 1:18:53 ruGPT от СБЕР