Unity + FaceFX - Лицевая анимация

Инструменты для разработки

Unity + FaceFX - Лицевая анимация

Сообщение antonio 04 ноя 2010, 04:52

logo-facefx-alt.jpg

FaceFX, умеет распознавать речь из аудио- или текстовых файлов, преобразуя её в лицевую анимацию.
face.jpg

Проект Unity и несколько видео уроков.
на оф сайте facefx: http://www.facefx.com/page/unity-demo
на оф форуме: http://forum.unity3d.com/threads/63573- ... ght=plugin
У вас нет доступа для просмотра вложений в этом сообщении.
Аватара пользователя
antonio
UNIт
 
Сообщения: 132
Зарегистрирован: 03 ноя 2009, 15:42
Откуда: Смоленск

Re: Unity + FaceFX - Лицевая анимация

Сообщение strelok 04 ноя 2010, 11:58

Это хорошая новость!
strelok
UNIверсал
 
Сообщения: 356
Зарегистрирован: 15 ноя 2009, 13:29
Откуда: Курск

Re: Unity + FaceFX - Лицевая анимация

Сообщение antonio 05 ноя 2010, 01:26

Небольшое дополнение.
Попробовал FaceFx c Unity.

FaceFX предоставляется в виде следующих продуктов:
- FaceFX Studio Professional 1995$
- FaceFX plugins 199$
Также FaceFX License Manager позволяет лицензированным пользователям предоставлять на время свою лицензию на другие компьютеры.
Можно посмотреть лицензирование и прочее видео по FaceFX на youtube

Можно получить пробную (Evaluate) версию продукта куда входят и плагины.
Конечно с некоторыми ограничениями но мне хватило чтобы проверить связку Unity и FaceFx.

Что нам дает FaceFX:
- воспроизведение анимации персонажа синхронизировано с аудио.
- анимация храниться ввиде XML файла актера, что как говорят разработчики FaceFX экономит более 90% ресурсов, в отличие если бы анимация загружалась по ключам в FBX.
- Интеграция с Unity происходит посредством скриптов и XML-файлов полученных из FaceFX, что позволяет делать вэбсборку и использовать как Unity Pro так и Unity Free.

Чтобы полноценно работать с Unity плюс FaceFx вам необходимо приобрести лицензию на FaceFX Studio Professional или FaceFX Studio плагин.
Но как я написал для тестирования мне хватило бесплатных версий.

Конечно имеется официальное видео и для
FaceFx Evaluate и для FaceFX Studio Professional.
Но хочется проверить своими руками что от этого можно получить и заодно расписал т.к. вопросы могут возникать и после просмотра и после прочтения.

Я использовал FaceFx Evaluate и Unity 3 free.
Так же в тесте я использовал модель эльфийки которая когда-то предоставлялась вместе с FaceStation (был в свое время такой хороший инструмент для трекинга лицевой анимации, можно было даже в реалтайме передавать анимацию на персонажа, плюс в пакет входил инструмент для генерации лица по фотографиям). Хотел сэкономить время. Модель отличается по костям и размерам от Demo FaceFx.

Устанавливаем FaceFx Evaluate выбираем плагин для редактора получаем FaceFX Studio Free, FaceFX Studio No-Save Evaluation, и Evaluate plugin.

Запускаем редактор с моделькой (с Unity FaceFX использует анимацию на костях).
Я использовал 3ds max.

Во вкладке Utilities жмем More добавляем FaceFX.
- Выбираем Create Actor задаем имя актеру. В Reference Pose выбираем Export добавляем кости которые будут анимированы с помощью FaceFx.
- Переходим в Nodes здесь создаем позы. Я старался не отклоняться от стандартных поз и морфем (иначе не подцепятся без FaceFx Studio Professional). Сделал наклоны головы, добавил морфемы, глаза не делал (у выбранного персонажа глаза были не на костях).
Примерно настроил позы (но лучше делать аккуратнее). Если позы не устраивают их всегда можно переписать просто сохранить позу с тем же именем.Кнопка import загружает позу export сохраняет.

- Следующим этапом подгружаем Analysis Actor специально подготовленного для тех кто не использует FaceFX Studio Professional. (Подробно рассказано почему на оф форуме Unity) Актер находится в демо проекте FaceFx - Analysis-Actor-For-Unity-Demo-Plugin-Use.facefx

- В Animations жмем Generate и добавляем наш аудио файл по которому должен быть анимирован перснонаж.
У меня большого выбора не было так как плагин бесплатный и в этом случае может генерироваться только фраза "Welcome to FaceFx! I`ve ..." стандартная как и в оф примере.

После чего сохраняем нашего актера уже с анимацией (если хотите посмотреть что получилось уже в редакторе - жмем импорт). Все с 3d редактором закончили.

Запускаем FaceFX Studio Free открываем нашего анимированного актера делаем экспорт в xml.

В Unity
Осталось настроить сцену. Нужны файлы в папке Editor, также FaceFXControllerScript и ваш xml файл с анимацией. Со скриптами не заморачивался - переписал в PhraseLockedDemo имя на своего персонажа.

На пустой гейм объект накидываем PhraseLockedDemo, на персонажа audiosource (добавляем озвучку), не забываем нажать правой клавишей на xml файле и сделать reimрort если в структуре персонажа добавилась ветка facefx_controller то все отлично. Вот и все нажимаем плей.

У меня получился конечно большеватый файл но это больше из-за текстур, а так в связи стем что анимация грузиться не по ключам в fbx файле а через xml, то получается экономия ресурсов.
FaceFXElf.unitypackage
test.jpg
У вас нет доступа для просмотра вложений в этом сообщении.
Аватара пользователя
antonio
UNIт
 
Сообщения: 132
Зарегистрирован: 03 ноя 2009, 15:42
Откуда: Смоленск

Re: Unity + FaceFX - Лицевая анимация

Сообщение antonio 05 ноя 2010, 13:30

У кого не запускается анимация проверьте следующий порядок действий:
Импортируем package, открываем сцену с персонажем, в папке с персонажем находим XML файл нажимаем правой клавишей выбираем reimport в консоле получаем сообщение,
"Completed importing FaceFX XML file. Saving Assets"
нажимаем плей.
То же самое с официальным демо:
Открываем сцену phraselocked, в папке персонажа Doug находим XML файл нажимаем правой клавишей выбираем reimport... play
Для работы проекта необязательно устанавливать FaceFX.
Аватара пользователя
antonio
UNIт
 
Сообщения: 132
Зарегистрирован: 03 ноя 2009, 15:42
Откуда: Смоленск

Re: Unity + FaceFX - Лицевая анимация

Сообщение LightWorld 15 янв 2012, 04:42

У кого ещё остался этот плагин, перезалейте пожалуйста пожалуйста!
Аватара пользователя
LightWorld
UNIт
 
Сообщения: 96
Зарегистрирован: 14 сен 2011, 09:21
Откуда: г. Зарафшан

Re: Unity + FaceFX - Лицевая анимация

Сообщение antonio 21 янв 2012, 23:10

LightWorld писал(а):У кого ещё остался этот плагин, перезалейте пожалуйста пожалуйста!

Там вроде все без изменений осталось
http://www.facefx.com/page/unity-demo
Ставишь FaceFX качаешь демо проект
Аватара пользователя
antonio
UNIт
 
Сообщения: 132
Зарегистрирован: 03 ноя 2009, 15:42
Откуда: Смоленск

Re: Unity + FaceFX - Лицевая анимация

Сообщение LightWorld 01 фев 2012, 05:39

antonio писал(а):
LightWorld писал(а):У кого ещё остался этот плагин, перезалейте пожалуйста пожалуйста!

Там вроде все без изменений осталось
http://www.facefx.com/page/unity-demo
Ставишь FaceFX качаешь демо проект

Большое спасибо! чёт не нашол на их сайте [curved_hands]
Аватара пользователя
LightWorld
UNIт
 
Сообщения: 96
Зарегистрирован: 14 сен 2011, 09:21
Откуда: г. Зарафшан

Re: Unity + FaceFX - Лицевая анимация

Сообщение LightWorld 10 мар 2012, 03:11

сори за то что тему поднял! я правильно понял что faceFx Evaluate ограничивается текстом "Welcome to FaceFx! I`ve ..."? если это так то напрашивается вопрос на*уй нужна Evaluate версия?
Аватара пользователя
LightWorld
UNIт
 
Сообщения: 96
Зарегистрирован: 14 сен 2011, 09:21
Откуда: г. Зарафшан

Re: Unity + FaceFX - Лицевая анимация

Сообщение achest 13 июл 2012, 17:12

А я накропал свою систему на базе костей http://achest.pro/index.php/2012-03-15-19-15-06/mspeecher/gui-demo только вот мэш и кости надо самому настраивать.... 8-x
Моё гнездо _ttp://www.achest.pro
Аватара пользователя
achest
UNец
 
Сообщения: 12
Зарегистрирован: 12 авг 2009, 17:09
Откуда: Дмитров
  • Сайт
  • ICQ


Вернуться в Инструментарий

Кто сейчас на конференции

Сейчас этот форум просматривают: Yandex [Bot] и гости: 0