Guest
Обсудим что такое большая языковая модель, какие есть предобученные модели. Поработаем с API ChatGPT, запустим предобученную RuGPT3. Посмотрим примеры работы с подходами Zero-shot, Few-shot. Обсудим, как можно дообучать LLM на небольших видеокартах с помощью LORA модификаторов. Кому подходит этот урок: - IT-специалистам, которые хотят внедрить ChatGPT в бизнес-процессы - Тем кто хочет познакомиться с LLM моделями в экосистеме HuggingFace - Тем кто хочет понять, как можно адаптировать большие предобученные модели к собственным задачам Результаты урока: Вы узнаете как работать с API ChatGPT, запускать собственную LLM, представленную на HuggingFace, работать с LORA модификаторами моделей. «Machine Learning. Professional» - Преподаватель: Александр Брут-Бруляко - Ds инженер в СБЕР Neurolab Пройдите опрос по итогам мероприятия - Следите за новостями проекта: - Telegram: - ВКонтакте: - LinkedIn: - Хабр: Эпизоды: 00:00 - Начало записи 01:28 - Знакомство с преподавателем и Otus 04:52 - О чем будет открытый урок (Open AI, Hugging face, Lora модификатор) 06:16 - Токенизация в больших языковых моделях 10:10 - Трансформеры построенные на механизмах внимания 13:00 - Архитектура трансформеров (енкодер, декодер) 15:55 - Эмбеддинг для разных языков 21:15 - Как обучать? Как предсказывать следующий токен по предыдущему токену (loss-функция) 25:52 - Зоопарк LLM 36:18 - Как работает ChatGPT на примерах 47:16 - Как наложить корпоративную базу знаний поверх ChatGPT 53:41 - Что есть в OpenSource ( Hugging face) 1:17:06 - Что такое fine tuning 1:17:58 - Коротко о карьерных перспективах
