Alibaba AI запускает альтернативу Sora EMO из другого мира

Alibaba AI запускает Sora Alternative EMO — новый видеогенератор с искусственным интеллектом, который предназначен для преобразования статических фотографий в реалистичные видеоролики с разговорами и пением. EMO работает на основе прямого синтеза аудио-видео, минуя необходимость в 3D-моделях или ориентирах лица.

EMO прошла обучение с использованием обширного набора данных, содержащего более 250 часов различных видеороликов с говорящими головами. Это тщательное обучение позволяет EMO производить естественные и эмоциональные жесты лица, которые точно соответствуют сопровождающему звуку.

Благодаря прямому преобразованию аудиосигналов в видеокадры Emo AI привносит новый уровень реализма в цифровые портреты, анимируя их синхронно с аудиовходами. Эмо-ИИ от Alibaba нравится Сора выходит за рамки статичных образов, вдыхая жизнь в портреты. По мере развития технологий наше взаимодействие с цифровым контентом становится богаче и эмоциональнее.

Способность EMO воспроизводить тонкие движения и нюансы речи отличает его от традиционных методов создания видео. От реалистичных разговорных видеороликов до эмоциональных вокальных выступлений — EMO (Emote Portrait Alive) демонстрирует уровень реализма, который ранее был недостижим.

Alibaba AI запускает альтернативу Sora EMO

Синтез аудио-видео. Основная функциональность Emo AI заключается в его способности синтезировать входные сигналы аудио-видео. Система анализирует звуковую дорожку на наличие речи или пения, а затем генерирует соответствующие движения и выражения лица.

Картирование выражений лица. Он фиксирует тонкие движения, такие как синхронизация губ, поднятие бровей и моргание глаз, гарантируя, что анимированный портрет плавно согласуется с произнесенным или спетым содержанием.

Функция анимации в реальном времени позволяет Emo AI динамически адаптироваться к изменениям аудиовхода. Будь то душевный разговор или веселая песня, система соответствующим образом корректирует мимику и эмоции.

Инновационная технология EMO намекает на будущее, в котором создание персонализированного видеоконтента из одной фотографии и аудиоклипа может стать обычным явлением. Однако это достижение вызывает этические проблемы, связанные с возможным неправомерным использованием, таким как выдача себя за другое лицо или распространение дезинформации.

«Шагните в мир безграничных возможностей с альтернативой Sora от Alibaba AI, EMO. Испытайте более интерактивное и захватывающее путешествие, как никогда раньше!» Эмо-ИИ стоит в авангарде этой революции, приглашая нас исследовать мир, где пиксели пульсируют индивидуальностью.