Guest
CAT3D: Как это работает? 1. Имея любое количество исходных изображений и набор целевых новых ракурсов, диффузия генерирует согласованные новые виды сцены. 2. Эти сгенерированные виды затем используются в качестве входных данных для тренирвоки NeRF. 3. В результате получается 3D-представление, которое можно рендерить с любого ракурса в реальном времени. В качестве диффузии, тут взяли Latent Diffusion и сперва натренили ее генерить 2d картинки в 512x512 по тексту. Все внутри Гугла, они не использовали публичные Stable Diffusion. А затем дотюнили модель на генерацию сразу серии консистентных видов по нескольких входным фото. Консистентность здесь - это ключ к хорошему результату. Весь процесс, включая генерацию новых видов и 3D-реконструкцию, занимает всего около минуты. Это значительно быстрее существующих методов создания 3D по одному изображению или небольшому набору ракурсов.
