Как оптимизировать поставку данных в Data Transfer

Руководитель группы управления транспортом и сервисами метаданных Yandex Cloud Светлана Марченко рассказала, как безопасно разогнать ваш трансфер без вреда для источника и приёмника. Были показаны подробные инструкции оптимизации трансфера для разных кейсов переноса данных, а также общий подход к анализу и настройка процессов переноса данных для всех остальных сценариев. Вебинар полезен дата-инженерам, архитекторам баз данных, разработчикам и DevOps-специалистам. 00:00 О сервисе Data Transfer: взаимосвязь ресурсов 02:53 Матрица доступных трансферов 03:23 О сервисе Data Transfer: жизненный цикл трансферов 05:34 Где может потребоваться оптимизация 06:45 Когда нужна оптимизация 10:02 Снапшот: медленный прогресс копирования 14:32 Лаг на репликации 23:05 Оптимизация снапшота 27:36 Оптимизация репликации 31:04 Оптимизация деактивации 32:22 Копирование репликация: много тяжёлых таблиц в одном трансфере 34:42 Перезапуск трансфера без полной перевыгрузки снапшота 37:31 Запись в ClickHouse 39:50 PostgreSQL 42:53 Репликация из очередей 43:31 Тонкие места, и что ещё может тормозить поставку данных 44:56 Итоги 48:18 Вопросы