Sapiens: Семейство ViT-моделей для визуальных задач c изображениями человека

️ Sapiens: Семейство ViT-моделей для визуальных задач c изображениями человека. Meta Reality Labs выпустила семейство моделей Sapiens, предназначенных для операций с изображениями или видео людей: вычисления 2D-позы (17, 133 и 308 ключевых точек); сегментации частей тела (28 категорий); оценки карты глубины; извлечения нормалей поверхности. Модели могут работать с разрешением 1K (1024х1024) и легко адаптируются под специфические задачи путем тонкой настройки моделей. Семейство было обучено на предварительно отобранном корпусе данных в 300 млн изображений, из которого были удалены изображения с водяными знаками, художественной стилизацией, снимки плохого качества и содержащие размытие в движении. Опубликованные модели разделяются по назначению : sapiens_lite_host - предназначены для инференса, а sapiens_host - длясамостоятельного обучения на ваших данных. Для обеих вариантов наборов выпущены градации плотности: Sapiens Sapiens Sapiens 1B Sapiens 2B Разработчики рекомендуют lite-установку для инференса , она оптимизирована для быстрого запуска с минимальными зависимостями и возможностью запуска на нескольких GPU. Установка и запуск на примере Depth Estimation: git clone git@:facebookresearch/ export SAPIENS_ROOT=/path/to/sapiens conda create -n sapiens_lite python= conda activate sapiens_lite conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia pip install opencv-python tqdm json-tricks cd $SAPIENS_LITE_ROOT/scripts/demo/[torchscript,bfloat16,float16] ./ Лицензирование : CC-BY-NC-SA-4.0 License Страница проекта Набор моделей Arxiv Github [ Stars: 75 | Issues: 0 | Forks: 0]