Методы оптимизации 14. Распределённая оптимизация

Дата лекции: Лектор: Безносиков Александр Николаевич 00:00:00 - современные проблемы обучения 00:03:11 - виды распределённого обучения 00:07:24 - самая популярная постановка 00:08:45 - общение через сервер 00:10:00 - с чем и за что боремся? 00:12:11 - несмещённая компрессия (квантизация) 00:20:44 - квантизированный градиентный спуск (QGD) 00:26:13 - метод DIANA (решение проблемы с плато) 00:35:18 - AllGather/AllReduce 00:45:21 - перестановочный компрессор 00:48:01 - смещённая компрессия 00:53:40 - компенсация ошибки (error feedback) 00:57:12 - оценки сходимостей 00:58:41 - локальный градиентный спуск 01:03:06 - решение проблемы локального метода 01:07:24 - data similarity 01:11:06 - параметр схожести 01:12:10 - метод в общем виде 01:23:14 - итоги по data similarity Материалы курса: Съёмка и монтаж: Игорь Сенин