Guest
Я погонял Paint-Undo от создателя Fooocus. Там под капотом Stable Diffusion 1.5 и та сама сетка ToonCrafter , которая недавно навела шороху. В общем идея там простая. Есть два режима single frame и multi frame. Первый берет на вход картинку и номер кадра. 999 это ваша картинка, 0 это чистый лист. 950 - это почти законченная картинка. Далее вы задаете эти кифреймы ручками, типа 0, 100, 200, ..., 900, 999. И сетка строит видео “назад“. Single frame генерит картинку в указанном кадре, а multi frame генерит 16 картинок между полученным кадром и поданным на вход. В примере выше берется кадр 999, генерится кадр 900 и 16 кадров между ними, потом берется полученный 900, генерится 800 ну и тд. Не обязательно до нуля. Лучше ставить до 400-500. Сначала вгружаешь картинку, просишь описать промптом. Он натренирован на 1.5 пэтому чаще всего промпт такой - 1girl, solo, long hair, looking at viewer, blue eyes, blonde hair, collarbone, artist name, mole, lips, eyelashes, makeup, watermark, lipstick, portrait, yellow background, freckles, red lips Я думал, что это будет работать только на аниме девочках, но нет, он работает на всем подряд. Потом задаешь ключевые кадры, по ним уже понятно, что получится (это режим single frame отработал), потом генеришь видео. Ну и самое интересное. Я взял нашу любимую принцессу (сделанную вчера в Kolors) из мезозойской эры промптов для Stable Diffusion Early Access. Если просить его самого сгенерить промпт, то он честно пытается воспроизвести режим рисования этого шедевра А вот если дать ему принцессу и ее родной промпт на вход(а он сложный и кучерявый, как вы помните), то он генерит целый комикс! Его мозг разносит таким промптом, он генерит новые кадры уже из недр сознания, соединяет из в видео, получается кислотный мультик (последнее видео в шапке). В общем я нагенерил вам примеров, некоторые подрезал вначале, его в конце генерации часто уводит в неведомые дали, то есть от исходной картинки назад, в прошлое. Работает, лучше всего на портретах. На логотипах ему явно тяжело. P.S. Видосы надо ускорять, конечно, смотреть тяжело, сорри.
