Stable Video 4D : Модель для динамической генерации видео с разных ракурсов

️ Stable Video 4D : Модель для динамической генерации видео с разных ракурсов. Stable Video 4D - модель генерации видео от Stability AI, способная преобразовывать одиночное видео объекта в несколько новых видео с различных ракурсов с поддержкой согласованности внешнего вида объекта по пространственным и временным осям.. Модель использует комбинацию из четырех визуальных энкодеров (SigLIP, CLIP, DINOv2 и OpenCLIP ConvNeXt) и пространственный агрегатор зрения для создания 5 кадров для каждого из 8 ракурсов примерно за 40 секунд. В Stable Video 4D пользователю доступны параметры: Входное видео: загрузка одиночного видео объекта, которое будет использоваться как основа для генерации новых ракурсов. Поддерживаемые форматы — .gif, .mp4 или секвенция кадров в формате .png\.jpeg\.jpg; 3D-позиции камеры: указание конкретных ракурсов и углов обзора, с которых модель должна сгенерировать новые видео; Количество кадров: по умолчанию модель генерирует 5 кадров для каждого ракурса, но этот параметр может быть изменен; Количество ракурсов: стандартно модель создает 8 новых ракурсов, но пользователь может настроить это количество в зависимости от своих потребностей; Количество шагов оптимизации: регулировка количества шагов, затрачиваемое на 4D-оптимизацию, чем больше шагов - тем лучше результат. Технические рекомендации по запуску официально не публиковались, но в сообществе пользователей подтверждают о возможности запуска Stable Video 4D на 16 GB VRAM. Для локального запуска необходимы модели: Stable Video 3D_U Stable Video 3D_P Stable Video 4D Локальный запуск Stable Video 4D : с автозагрузкой моделей и дефолтными параметрами python scripts/sampling/ —input_path assets/ —output_folder outputs/sv4d с настраиваемыми параметрами python scripts/sampling/ —input_path — — — —output_folder_path Лицензирование : бесплатно для исследовательского, некоммерческого и коммерческого использования организациями и частными лицами, получающими годовой доход в размере до 1 млн USD; для коммерческого использования организациями и частными лицами, получающими годовой доход в размере, превышающим 1 млн USD - запрос-консультация через форму Страница проекта Модель на HF