Guest
LuxDiT: Оценка освещения с помощью видеотрансформатора диффузии В статье представлена LuxDiT, новый подход к оценке освещения сцены по изображениям или видео, основанный на данных. Он использует видеотрансформатор диффузии, настроенный для генерации HDR-карт окружения на основе визуального ввода. Модель обучена на большом синтетическом наборе данных с разнообразными условиями освещения, что позволяет ей выводить освещение из косвенных визуальных признаков. Для улучшения семантического соответствия используется стратегия тонкой настройки с адаптацией низкого ранга с использованием реальных HDR-панорам. LuxDiT обеспечивает точные прогнозы освещения с реалистичными деталями, превосходя существующие методы. Метод решает проблему ограниченности данных HDR с реальной основой, используя синтетические данные и адаптируясь к реальным сценам. Архитектура модели основана на диффузионных трансформаторах, что позволяет агрегировать глобальный контекст и рассуждать на основе косвенных визуальных признаков. Основной вклад заключается в новой архитектуре, стратегии тонкой настройки на основе LoRA и крупномасштабном синтетическом наборе данных. #ОценкаОсвещения #ВидеотрансформаторДиффузии #HDR #КомпьютерноеЗрение #ГенеративныеМодели #ГлубокоеОбучение #LuxDiT документ - подписаться - отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM
