Как учат большие языковые модели

Публичная лекция профессора Владимира Крылова, доктора технических наук и научного консультанта Artezio по применению ИИ в разработке ПО. Он расскажет о процессе работы с LLM, который выполняется до того, как модель открывается для использования. И поэтому, как правило, этот процесс не входит в интересы пользователей. Однако именно от него зависит, будет ли успешной ваша работа с LLM. Это процесс обучения модели. В лекции рассмотрим: - основы машинного обучения и глубокого обучения; - особенности и базовые этапы обучения LLM; - проблему обучающего набора данных; - причины чрезвычайно больших затрат на предварительное обучение LLM. «Основное внимание уделим методикам оценивания работы LLM и причинам, по которым разработчики вынуждены расширять обучение дополнительными процессами. Вы познакомитесь с понятием согласования – alignment – и поймете, как дополнительное обучение позволило появиться феномену ChatGPT. Вы узнаете, что такое метод RLHF, обучение с подкреплением на основе обратной связи с человеком, и как его реализовали в OpenAI. Как метод DPO – оптимизация прямых предпочтений – стал новым оружием в войнах за лучший ИИ? Что такое Self-Rewarding Language Models, которые обучаются без участия человека и достигают результатов, сравнимых с моделями-лидерами? Как появляются модели нового типа, названные Contrastive Learning model (CVCL) и основанные на самообучении с активными действиями вместо гигантских датасетов? Почему о моделях генеративного ИИ все больше говорят как о признаках появления гибридной органической и кремниевой культуры? Обо всем этом узнаете на лекции», – рассказал Владимир Крылов. Лекция будет полезна всем, кто связан с развитием информационных технологий или интересуется последними мировыми тенденциями в ИТ. Она пройдет в формате онлайн-вебинара с возможностью задавать вопросы лектору. Задавайте вопросы лектору в комментариях к этому посту: На них ответим в первую очередь :)