Корпорація Meta анонсувала Emu Video та Emu Edit — інструменти на основі генеративного штучного інтелекту для редагування і створення контенту.
Today we’re sharing two new advances in our generative AI research: Emu Video & Emu Edit.
Details ➡️ https://t.co/qm8aejgNtd
These new models deliver exciting results in high quality, diffusion-based text-to-video generation & controlled image editing w/ text instructions.
🧵 pic.twitter.com/1wF7r773yc
— AI at Meta (@AIatMeta) November 16, 2023
Обидві нейромережі, за основу для яких узято мовну модель Emu, все ще перебувають на стадії тестування. Згідно із заявою, продукти вже демонструють потенційну користь для художників, аніматорів та інших фахівців творчого спрямування.
Emu Video здатний генерувати відеокліпи на основі введеного тексту і прикріплених зображень у форматі 512×512 з частотою 16 кадрів на секунду.
Приклади відео Emu Video. Джерело: Meta.
Нейромережу навчали за допомогою «факторизованого» підходу, розділивши процес на два етапи, що дало змогу інструменту реагувати на різні вхідні дані.
«Спочатку [Emu Video] створює зображення з урахуванням текстової підказки, а потім на його основі та тексту генерує відео. Цей „факторизований“ або розділений підхід до генерації дозволяє нам ефективно навчати моделі для відеороликів», — пояснили в Meta.
Emu Edit дає змогу видаляти або додавати тло на фото, виконувати перетворення кольору і геометрії, а також підтримує локальне і глобальне редагування.
Приклади використання Emu Edit. Джерело: Meta.
ШІ навчений на наборі даних з 10 млн зразків, кожен з яких має вхідний варіант зображення та опис завдання, а також цільовий результат.
«Хоча Emu Video, Emu Edit і подібні до них нові технології, безумовно, не можуть замінити професійних художників, вони допоможуть людям виразити себе по-новому: від артдиректора, що вигадує нову концепцію, або відеомонтажера, який оживляє свій останній ролик, до кращого друга, який ділиться унікальним привітанням з днем народження», — підкреслили в компанії.
Раніше Meta представила набір ШІ-інструментів у вигляді голосового помічника, нейромережі з різними особистостями, «розумних окулярів» і генератора стікерів.
Нагадаємо, у серпні корпорація анонсувала нейромережу AudioCraft, яка створює звуки та музику за текстовим описом.