ИИИ Спортивный анализ данных - 12 лекция - + конспект от YandexGPT

ИИИ Спортивный анализ данных - 12 лекция - конспект от YandexGPT 00:02 Ансамбли в машинном обучении • Ансамбли - это методы машинного обучения, основанные на голосовании нескольких моделей для получения более точного результата. • Идея ансамблей возникла из исследований, показывающих, что даже если отдельные эксперты могут ошибаться, в среднем можно получить достаточно качественные ответы. 03:47 Реализация ансамблей в машинном обучении • Ансамбли реализуются через выборки, которые позволяют повторить выборку объектов из генеральной совокупности. • Это помогает бороться с дисперсией и разбросом результатов. • В машинном обучении ансамбли реализуются через обучение нескольких моделей на разных выборках и голосование их результатов для получения итогового прогноза. 15:28 Введение в бустинг • В видео обсуждается идея бустинга, которая заключается в усреднении оценок, полученных на отложенных данных, для повышения качества классификации. • Бустинг может быть реализован с использованием различных алгоритмов, таких как бэггинг, рандом форест и другие. 21:58 Преимущества бустинга • Бустинг позволяет распараллеливать обучение и прогнозирование, что может быть особенно полезно для задач с большим количеством данных. • Бустинг также позволяет использовать простые модели, что упрощает процесс обучения и повышает качество результатов. 24:57 Реализация бустинга • Для реализации бустинга можно использовать уже существующие библиотеки, такие как discigen 3, или создать свой собственный класс для работы с деревьями. • Важно помнить о том, что бустинг требует последовательного применения алгоритмов, так как каждый следующий алгоритм исправляет ошибки предыдущего. 31:30 Бустинг и его модификации • Бустинг - это алгоритм, который строит прогнозы на основе нескольких алгоритмов, каждый из которых исправляет ошибки предыдущего. • В бустинге используется градиентный спуск для исправления ошибок и ускорения сходимости. 36:46 Градиентный спуск и его применение • Градиентный спуск - это метод оптимизации, который позволяет найти минимум функции, двигаясь в направлении антиградиента. • В случае бустинга, градиентный спуск используется для обновления весов нейронной сети или коэффициентов при фичах в деревьях. 46:05 Шаги обучения и использование коэффициентов • В бустинге, каждый алгоритм обучается на своих ошибках, а затем применяется на следующих итерациях. • Для плавного спуска и избегания перепрыгивания через глобальный минимум, используются коэффициенты обучения, которые могут быть уменьшены со временем. 49:29 Градиентный бустинг • В видео обсуждается алгоритм градиентного бустинга, который используется для обучения нейронных сетей. • Он основан на идее, что каждое следующее дерево будет делать меньший вклад в общую ошибку, чем предыдущее. • Это позволяет алгоритму сходиться к глобальному минимуму, а не к локальному. 55:06 Модификации градиентного бустинга • В видео обсуждаются различные модификации градиентного бустинга, такие как Light GBM и GBDT. • Light GBM оптимизирует расчеты и работает быстрее, но не всегда дает прирост качества. • GBDT может обрабатывать категориальные данные и извлекать дополнительные фичи из текста. 01:01:33 Применение градиентного бустинга к тексту • В видео также обсуждается возможность передачи векторов в качестве фичей для градиентного бустинга. • Это позволяет работать с текстом и другими транзакциями, которые могут быть представлены в виде векторов. • В заключение, автор призывает зрителей задавать вопросы и благодарит за просмотр.