InstantSplat: реконструкция больших 3D-сцен без Structure from Motion (SfM)

InstantSplat: реконструкция больших 3D-сцен без Structure from Motion (SfM). InstantSplat - подход к реконструкции 3D-сцены по исходным изображениям с помощью Multi-View Stereo (MVS) и 3D Gaussian Splatting (3D-GS). Методика InstantSplat использует выборку из самых дальних точек (FPS) в каждом вокселе, чтобы сохранить только самые надежные гауссианы для построения точного представления сцены. Одновременное уточнение гауссовых атрибутов и параметров камеры с помощью фотометрических потерь позволяет добиться высокого качества рендеринга и точной оценки положения камеры без использования Adaptive Density Control (ADC). Для решения проблемы overparameterization, присущей 3D-GS, InstantSplat применяет confidence-aware point downsampler. Алгоритм оптимизации в InstantSplat позволяет исправлять ошибки, накопленные на этапе MVS, в результате чего получается относительно точная и плотная 3D-модель. По сравнению с релевантными современными методами (Nope-NeRF и CF-3DGS), InstantSplat предлагает более высокое качество рендеринга, более высокую точность оценки положения камеры при низких значениях Absolute Trajectory Error (ATE) и Relative Pose Error (RPE), при этом требует меньшего количества обучающих просмотров. Локальный запуск с автозагрузкой модели на тестовом подготовленном датасете (около 8Gb) : git clone —recursive cd InstantSplat git submodule update —init —recursive cd submodules/dust3r/ mkdir -p checkpoints/ wget -P checkpoints/ pip install pytorch torchvision pytorch-cuda=12.1 -c pytorch -c nvidia pip install -r pip install submodules/simple-knn pip install submodules/diff-gaussian-rasterization vim submodules/diff-gaussian-rasterization/cuda_rasterizer/auxiliary.h 'p_view.z