Нейронные сети LSTM/GRU, архитектура Encoder-Decoder. Лекция 3 по NLP.

Лекция посвящена разбору нейронных сетей LSTM и GRU, архитектуре Encoder-Decoder. Сейчас LSTM и GRU не являются особенно актуальными подходами, но это исторический мостик к Encoder-Decoder и Sequence-to-sequence, а это ведет к главной архитектуре сегодняшнего дня – Трансформеру. Ему будет посвящена следующая лекция. 00:00 Вступление 04:34 Что было на прошлой лекции – кратко 05:39 Рекуррентные нейронные сети 08:17 Обновление внутреннего состояния RNN 11:30 Архитектура нейронной сети: выходной слой и функция Softmax 16:59 Архитектура рекуррентной нейронной сети 17:28 Обучение рекуррентной нейронной сети 22:07 LSTM: Long Short-Term Memory RNN 22:41 Архитектура LSTM 23:39 Архитектура LSTM: Cell State 24:26 Архитектура LSTM: Forget Gate 30:00 Архитектура LSTM: обновление Cell State 31:23 Архитектура LSTM: Input Gate 31:53 Архитектура LSTM: обновление Cell State 32:39 Архитектура LSTM-сети: Input Gate and New Candidate Values (а вот теперь, собственно говоря, сам вектор) 34:25 Архитектура LSTM-сети: Output Gate 36:04 Архитектура LSTM-сети: LSTM RNN Architecture 38:33 GRU (Gated Recurrent Unit) 38:54 Gated Recurrent Unit: GRU Cell Architecture 41:31 Sequence-to-Sequence: выдаем последовательность на основе другой последовательности 43:05 Архитектура Encoder-Decoder 57:29 Encoder-Decoder: результаты 59:16 Механизмы внимания в архитектуре Encoder-Decoder Евгений Разинков -- к.ф.-м.н., директор по науке компании Pr3vision Technologies, руководитель отдела машинного обучения и компьютерного зрения Группы компаний FIX, CEO парфюмерного AI-стартапа , преподаватель Казанского федерального университета. Информация о лекциях: Телеграм-канал с анонсами лекций и материалами по машинному обучению: