Follow-Your-Emoji:Fine-Controllable and Expressive Freestyle Portrait Animation Тут завезли нормальный липсинк

Follow-Your-Emoji:Fine-Controllable and Expressive Freestyle Portrait Animation Тут завезли нормальный липсинк. Follow Your Emoji берет на вход видео с вашими кривляньями, переводит их в последовательность фреймов с лендмарками, а затем использует их чтобы драйвить входное фото. Это controlnet для лица на стеройдах, который очень хорошо сохраняет личность на входном фото. Вышло настолько хорошо, что методу под силу не просто рот во время открывать, но и глаза косить, смеяться (и чихать, я думаю, тоже) см. примеры, авторы там знатно поиздевались над своим творением. Код вроде как должны выложить, на project page уже есть ссылка, но пока в никуда. Еще есть бумага .