Передний край исследований в области больших языковых моделей

Трансформеры, мультимодальные языковые модели, а что потом? О передовых разработках в сфере LLM рассказывает начальник управления экспериментальных систем машинного обучения Сбербанка Сергей Марков 🧔 Рекомендуем досмотреть мини-лекцию, потому что в конце Сергей представил свою новую книгу «Охота на электроовец. Большая книга искусственного интеллекта» и подарил нескольким зрителям издания с автографами за лучшие вопросы 📚 В электронном виде можешь скачать здесь О чём пойдёт речь: 🤖 факторы революции глубокого обучения 🤖 поворотный момент: появление в 2017 году нейросетевой модели Трансформер и трансформерных архитектур (позволяют применять методы параллельных вычислений) 🤖 экспонента роста оцифрованных данных: к 2025 году человечество накопит их в объёме 175 зеттабайт 🤖 суперкомпьютеры: количество вычислительных мощностей удваивается каждые 2 года (заслуга нейросетей в этом тоже есть) 🤖 фундаментальные (базовые) модели искусственного интеллекта: новый подход (стадия предобучения); мультимодальность 🤖 алгоритмические усовершенствования языковых моделей 🤖 использование NLP для генерации музыки, обработки кода, биоинформатики, химии и др. 🤖 самообучение языковых моделей 🤖 удешевление разработки нового сфота благодаря ML 🤖 челленджи для LLM на 2024 год И это ещё не всё 🤓