AutoVFX: Да простит меня Даня, но щас вот за VFX. Не чокаясь. Это очень забавная работа китайских студентов из Иллинойса

AutoVFX: Да простит меня Даня, но щас вот за VFX. Не чокаясь. Это очень забавная работа китайских студентов из Иллинойса. Но это прям полноценная попытка сделать однокнопочный Гудини или Майю. Вместе с Нюком до кучи. Замысел на миллион - загружаете видео и голосом говорите, каких эффектов навалить и как приподвзорвать объекты в сцене. И оно такое - апажалста. Я сначала дам цитату, а потом разберу работу, уж больно лихие амбиции (в духе этого канала) “Мы представляем AutoVFX, фреймворк, который автоматически создает реалистичные и динамичные VFX-видео из одного видео и инструкций на естественном языке. Используя нейро-3Д-моделирование сцены, генерацию кода на основе LLM и физическую симуляцию, AutoVFX способен обеспечить физически корректные, фотореалистичные эффекты, которыми можно управлять непосредственно с помощью инструкций на естественном языке.“ Каково? Поглядите примеры тут: А теперь пробежимся, из какого опен-сорса и палок они собирают эту монструозную конструкцию. Gaussian Splatting submodules diff-gaussian-rasterization segmentation & tracking modules Grounded-Segment-Anything and GroundingDINO recognize-anything lighting estimation modules PyTorch3D Trimesh Tracking-Anything-with-DEVA По дороге ставится Блендор! We use BakedSDF implemented in SDFStudio for surface reconstruction. Please make sure to use our custom SDFStudio for reproducibility. We recommend to create an extra environemnt for this part since CUDA 11.3 has been tested on this repo. Это больше похоже, конечно, на эксперимент и дипломную работу, но безумство и отвага меня восхищают. Почитайте их Гитхаб, это прям дерзко: