В блоге софтверный гигант подробно рассказал о новых функциях и инструментах, которые скоро получат пользователи Adobe Firefly. Эти функции будут доступны только платным подписчикам, а некоторые из них пока доступны только в веб-приложении. Видеомодель Adobe Firefly уже создаёт видео с реалистичным движением, основанным на законах физики. Теперь компания расширяет возможности генерации движения, обеспечивая более плавные и естественные переходы. Эти улучшения касаются как 2D-, так и 3D-контента, повышая точность воспроизведения движения не только персонажей, но и таких элементов, как парящие пузырьки, шелест листьев и плывущие облака.
Недавно выпущенное приложение Firefly также получило поддержку новых сторонних моделей искусственного интеллекта. Adobe представляет модули масштабирования изображений и видео Topaz Labs и Marey от Moonvalley. Они скоро появятся в Firefly Boards. С другой стороны, модели искусственного интеллекта Ray 2 и Pika 2.2 от Luma AI, уже доступные в Boards, вскоре будут поддерживать генерацию видео (в настоящее время они могут использоваться только для генерации изображений).Что касается новых элементов управления видео, Adobe добавила дополнительные инструменты, которые делают подсказки менее утомительными и сокращают необходимость вносить изменения в видео. Первый инструмент позволяет пользователям загружать видео в качестве референса, и Firefly будет использовать его оригинальную композицию в сгенерированном видео.
Ещё одно нововведение — инструмент «Настройка стилей». Пользователи, создающие видео с использованием ИИ, теперь могут выбрать стиль, например, «пластилиновая анимация», «аниме», «линейный рисунок» или «2D», а также задать параметры, и Firefly будет придерживаться выбранного стиля в конечном продукте. Теперь также доступна обрезка ключевых кадров на этапе настройки параметров. Пользователи могут загрузить первый и последний кадры видео, и Firefly сгенерирует видео с заданным форматом и соотношением сторон.
Кроме того, Adobe представляет новый инструмент Generate Sound Effects (Генерировать звуковые эффекты), находящийся в стадии бета-тестирования. Этот инструмент позволяет пользователям создавать собственные аудиоэффекты с помощью голосовых или текстовых подсказок и накладывать их на видео, созданное искусственным интеллектом. Используя голос, пользователи также могут задавать темп и интенсивность звука, поскольку Firefly генерирует аудио, соответствующее энергии и ритму голоса. Наконец, компания также представляет функцию «Текст в аватар», которая преобразует текст в видеоролики с аватаром. Пользователи смогут выбрать понравившийся аватар из библиотеки Adobe, настроить фон и даже выбрать акцент генерируемой речи.