|
Аннотация.
В статье рассматривается подход к генерации видеоряда на основе текста без переобучения диффузионных моделей. Предложен способ согласования кадров путём применения многомерных матриц вращения к текстовым эмбеддингам, подаваемым на вход модели генерации изображений. Показано, что такие преобразования позволяют передавать информацию о движении и сохранять визуальную и семантическую связность между изображениями. Исследуется структура латентного пространства и свойства преобразований в моделях Stable Diffusion и Kandinsky 2.2. Эксперименты подтверждают, что даже при использовании «замороженных» моделей генерации изображений можно добиться согласованной генерации кадров за счёт управления векторным представлением текста.
Ключевые слова:
генерация видео; диффузионные модели; текстовые эмбеддинги; латентное пространство; матрицы вращения.
DOI 10.14357/20718632260216
EDN VVVXMY
Стр. 166-179.
Литература
1. Ho J., Jain A., Abbeel P. Denoising diffusion probabilistic models // Advances in Neural Information Processing Systems. 2020. Vol. 33. P. 6840–6851. 2. Rombach R. et al. High-resolution image synthesis with latent diffusion models // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. P. 10684–10695. 3. Kandinsky 2.2: official project repository [Электронный ресурс]. URL: https://github.com/ai-forever/Kandinsky-2 (дата обращения: 24.10.2025). 4. Khachatryan L. et al. Text2Video-Zero: Text-to-image diffusion models are zero-shot video generators // Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023. P. 15954–15964. 5. Guo Y., Wang Y., Tang Z. et al. AnimateDiff: Animate your personalized text-to-image diffusion models without specific tuning [Электронный ресурс]. 2023. URL: https://arxiv.org/abs/2307.04725 (дата обращения: 24.10.2025). 6. Menapace W., Borsato M., Galasso F. Snap Video: Scaled spatiotemporal transformers for text-to-video synthesis // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024. P. 7038–7048. 7. Hong W., Zhang X., Tan C. et al. CogVideo: Large-scale pretraining for text-to-video generation via transformers [Электронный ресурс]. 2022. URL: https://arxiv.org/abs/2205.15868 (дата обращения: 24.10.2025). 8. Park Y.H., Choi Y., Kim Y. Understanding the latent space of diffusion models through the lens of Riemannian geometry // Advances in Neural Information Processing Systems. 2023. Vol. 36. P. 24129–24142. 9. Arora R. On learning rotations // Advances in Neural Information Processing Systems. 2009. Vol. 22. 10. Zhelezov O.I. N-dimensional rotation matrix generation algorithm // American Journal of Computational and Applied Mathematics. 2017. Vol. 7, no. 2. P. 51–57. 11. Пузицкий М. Л. Как оживить Кандинский матрицами вращений для генерации видео (часть 1-я) [Электронный ресурс] // Хабр. 2024. URL: https://habr.com/ru/articles/830366/ (дата обращения: 24.10.2025). 12. Репозиторий экспериментов по созданию видеоряда через диффузионные модели [Электронный ресурс] // GitHub. 2024. URL: https://github.com/Mike030668/MIPT_magistratura/tree/main/Text2Video_ project (дата обращения: 24.10.2025). 13. Пузицкий М. Л. Как оживить Кандинский матрицами вращений для генерации видео — модель Splitter (часть 2-я) [Электронный ресурс] // Хабр. 2024. URL: https://habr.com/ru/articles/831816/ (дата обращения: 24.10.2025). 14. Репозиторий экспериментов по обучению матриц вращений для создания видеоряда через диффузионные модели [Электронный ресурс] // GitHub. 2024. URL: https://github.com/Mike030668/Rotation_train_Text2Image_2_task_Text2Video (дата обращения: 24.10.2025). 15. Пузицкий М. Л. Как оживить Кандинский матрицами вращений для генерации видео — модель Splitter Next (часть 3-я) [Электронный ресурс] // Хабр. 2024. URL: https://habr.com/ru/articles/835210/ (дата обращения: 24.10.2025). 16. Репозиторий итоговых экспериментов по обучению матриц вращений для создания видеоряда через диффузионные модели [Электронный ресурс] // GitHub. 2024. URL: https://github.com/Mike030668/Rotation_T21_to_T2V (дата обращения: 24.10.2025).
|
