Як створити відео з тексту за допомогою ШІ

Генератори відео на основі штучного інтелекту дають змогу перетворювати текстові описи на короткі ролики з рухом, освітленням і ефектами камери. Один зі способів створення такого контенту — використання Adobe Firefly: користувач вводить опис сцени, обирає параметри відео та генерує кліп.

Як повідомляє Digital Trends, генеративна модель інтерпретує в запиті об’єкт, місце дії, рух і візуальний стиль, після чого створює послідовність кадрів. Для довшого ролика доцільно генерувати окремі сцени, а потім монтувати їх у потрібному порядку.

Як сформулювати запит

Детальний опис допомагає отримати результат, ближчий до задуму. Замість загальної фрази про автомобіль у місті варто вказати тип автомобіля, локацію, час доби, ракурс і рух камери. Adobe радить описувати п’ять складових: головний об’єкт, дію, середовище, параметри камери та візуальний стиль.

Наприклад, у запиті можна зазначити, що потрібен кінематографічний кадр вінтажного червоного спорткара на нічних вулицях Токіо, з неоновими відблисками на мокрій дорозі та зйомкою з нижнього ракурсу. У Firefly також доступна функція Enhance prompt, яка може допрацювати початковий опис.

Параметри відео та монтаж

Перед генерацією слід обрати співвідношення сторін і доступні параметри якості. Формат 16:9 підходить для горизонтального відео, а 9:16 — для вертикальних роликів. Власна модель Firefly Video Model підтримує роздільну здатність 540p, 720p та 1080p і створює п’ятисекундні кліпи з частотою 24 кадри на секунду. Партнерські моделі можуть пропонувати іншу роздільну здатність, налаштування й тривалість роликів від п’яти до десяти секунд.

Для створення 30-секундного промовідео автори радять розбити задум на вступний кадр, кілька сцен із продуктом і фінальний кадр із повідомленням. Референсні зображення або відео в підтримуваних сценаріях можуть допомогти зберігати спільний стиль, хоча сталість персонажів та об’єктів іноді потребує кількох спроб.

Обмеження та комерційне використання

Під час генерації можуть виникати неприродні рухи рук, зміни форми предметів між кадрами або небажаний рух камери. Тому варто перевіряти кожен кліп, уникати надто складних одночасних дій і за потреби уточнювати запит. Для атмосферних фонових кадрів, концептів продуктів і сторібордів такі інструменти можуть бути корисними, тоді як сцени, що потребують фізичної точності або достовірного відтворення реальних подій, вимагають особливої перевірки.

Adobe позиціонує відео, створені власною моделлю Firefly Video Model, як придатні для комерційного використання, оскільки модель навчали на ліцензованому контенті Adobe Stock і матеріалах із суспільного надбання. Водночас умови для партнерських моделей можуть відрізнятися, а користувачі мають переконатися, що мають права на завантажені логотипи, музику та референсні матеріали.