Дмитрий Балиев, Давид Нурдинов ML для видеоконференций SberJazz: deep dive в разработку моделей замены фона

Ближайшая конференция I’ML: #imlconf #ml #mlops #IT #conference #jugrugroup Расскажем, как разрабатывали модели замены фона для платформы видеоконференций SberJazz. Перед нами стояла амбициозная задача: ощутимо улучшить качество моделей по сравнению с доступными открытыми решениями, будучи существенно ограниченными в вычислительных ресурсах из-за необходимости запускать модели в веб-браузерах на обычных ноутбуках наших пользователей. Пройдемся по основному сетапу обучения моделей сегментации человека: как мы выбирали архитектуры, какие брали данные для обучения и зачем собирали свои, что использовали для аугментации данных, к каким метрикам для оценки качества моделей пришли. Потом пройдемся по вопросу оптимизации моделей: за счет чего мы уменьшили архитектуру, не теряя качество; какие результаты получили, применяя такие общеизвестные подходы, как дистилляция, прунинг и квантизация моделей. В конце обсудим очень важный для продуктового применения технологии аспект — постобработку сегментационных масок моделей для повышения качества и стабильности работы эффекта. Скачать презентацию с сайта —