Автоматизация МО - + конспект от YandexGPT

Автоматизация МО - конспект от YandexGPT 00:02 Процесс разработки и тестирования моделей машинного обучения • Процесс разработки и тестирования моделей машинного обучения включает в себя несколько этапов: опрос источников данных, формирование наборов данных, подбор и обучение модели, тестирование, проверка работы модели, подготовка к переводу модели в промышленную эксплуатацию. • Каждый этап содержит большое количество рутинных операций, таких как прослушивание данных, предобработка данных, настройка окружения, проведение эксперимента, подбор гиперпараметров, сохранение артефактов и т.д. 07:58 Графы и планировщики задач • Для управления сложными последовательностями задач используются специальные функции, такие как планировщик задач, централизованный мониторинг, обработка ошибок и восстановление в случае остановки. • В качестве инструментов для оркестровки моделей машинного обучения и данных можно использовать Luigi (Spotify), Airflow (Airbnb), ML Flow (Linux Foundation), Perfect (Uzi), CTL (Сбербанк). 15:57 Обзор системы управления операциями • В видео обсуждается система управления операциями, которая используется для автоматизации контроля выполнения задач в проектах. • Система состоит из нескольких компонентов: ориентированный циклический граф, операторы, сенсоры, исполнители и брокеры сообщений. 28:09 Установка и настройка системы • Установка системы может быть выполнена с использованием Docker или с помощью Pip. • После установки необходимо инициировать базу данных и настроить сервер. • Для учебных целей рекомендуется использовать SQLite, для производственных проектов - PostgreSQL. 31:36 Работа с системой • После запуска сервера необходимо залогиниться и увидеть главное меню. • В меню можно увидеть сообщения о том, что планировщик не запущен или что SQL Lite не рекомендуется использовать в продуктовой среде. • В системе уже есть примеры дагов, которые можно использовать для демонстрации работы системы. 34:06 Создание и запуск Дага в Airflow • В видео демонстрируется создание и запуск Дага в Airflow, который состоит из семи тасков. • В коде используется импорт и описание Дага с использованием конструктора. • Создаются таски на основе Bash оператора, которые выполняют различные команды. 40:54 Связывание тасков и операторов • В видео объясняется, как связывать таски и операторы между собой, используя стрелки и аннотации. • Приводится пример создания Дага, который состоит из трех тасков, связанных между собой. 45:46 Деплой Дага в Airflow • В видео рассказывается о том, как создать и деплоить Даг в Airflow. • Для этого необходимо создать файл с описанием Дага и поместить его в определенную папку. • После этого Даг будет доступен в интерфейсе Airflow для запуска и мониторинга. 54:29 Docker Volume и Docker Network • Docker Volume позволяет монтировать том докер диска во внешнюю файловую систему, что позволяет контейнерам взаимодействовать друг с другом. • Docker Network позволяет настроить локальную сеть между контейнерами, что позволяет им общаться друг с другом. 58:35 Docker Compose • Docker Compose - это отдельное приложение, которое прописывает взаимосвязь нескольких контейнеров, как будто они существуют в одной локальной сети. • Docker Compose использует YAML (язык разметки) для описания контейнеров и их взаимодействия. 01:05:49 Пример использования Docker Compose • В примере используется Docker Compose для настройки взаимодействия между контейнерами, включая настройку сетевого взаимодействия и переменных окружения. 01:12:43 Обсуждение Docker Compose • Преподаватель обсуждает Docker Compose, но не может объяснить, как это работает и как это использовать. • Он предлагает слушателям сделать примеры или объяснить, как они понимают Docker Compose, чтобы лучше понять его. 01:23:14 Цель Docker Compose • Преподаватель объясняет, что основная цель Docker Compose - показать слушателям, как автоматизировать промышленный проект. • Он объясняет, что Docker Compose - это девелоперская штука, которая используется для тестирования кода на своей машине. 01:25:48 Затруднения в понимании Docker Compose • Слушатели не понимают, как использовать Docker Compose и как его применять в реальных проектах. • Преподаватель предлагает слушателям сделать примеры или объяснить, как они понимают Docker Compose, чтобы лучше понять его.