VGGSfM: 3D-реконструкция на основе глубокого анализа структуры в движении

VGGSfM: 3D-реконструкция на основе глубокого анализа структуры в движении. VGGSfM предлагает новый подход к процессу реконструкции трехмерной структуры сцены и положения камер по набору фотографий. Вместо цепочки отдельных алгоритмов поиска ключевых точек, сопоставления их между кадрами, длительного восстановления положения камер относительно координат ключевых точек, была разработана модель, каждый компонент которой работает параллельным сквозным принципом. Ключевые особенности метода: Вместо поиска соответствий между парами изображений, модель сразу отслеживает точки через все кадры последовательности. Положения всех камер оцениваются одновременно, а не последовательно. Для финальной оптимизации используется дифференцируемый слой. В ходе тестирования при обучении особенно хорошие результаты были получены на сложных сценах с большими изменениями ракурса между кадрами. Там, где традиционные методы часто терпели неудачу, VGGSfM справлялся с задачей. Локальная установка: source Локальный запуск: python SCENE_DIR=/path_to_images resume_ckpt=/path_to_models pip install visdom pip install git visdom python SCENE_DIR=/path_to_images resume_ckpt=/path_to_models visualize=True VGGSfM поддерживает извлечение плотных карт глубины с помощью Depth-Anything-V2 (бета): python pip install scikit-learn git clone git@:DepthAnything/ dependency/depth_any_v2 python SCENE_DIR=/path_to_images resume_ckpt=/path_to_models dense_depth=True Страница проекта Модели на HF Demo Github [ Stars: 529 | Issues: 16 | Forks: 33]