Фреймворк для работы с антропоморфным интерфейсом

[DanisZH]

Работа фреймворка представляется таковой:
1)Пользователь передает агенту некоторую информацию, посредством набора текста или голоса.
2)Фреймворк передает распознанную информацию в приложение.
3)Приложение обрабатывает информацию, поступившую от пользователя, и формирует ответ.
4)Приложение отправляет запрос API, например, озвучивание текста с определенной эмоцией.
5)Фреймворк выполняет запрос, анимируя агента соответствующим образом, а также озвучивая/выводя на экран текст.

подскажите плиз алгоритм действий и какие нибудь ништячки которые помогуть это осуществить?)

[Valerich]

Это у вас похоже на какой то голосовой движок что ли Это тяжело все делается наверное, на счет текста это еще можно сделать пишешь в тексте слова( какую то логику в тексте и сразу в пункт 5

5)Фреймворк выполняет запрос, анимируя агента соответствующим образом, а также озвучивая/выводя на экран текст.

короче можно это сделать как то я уверен)

[DanisZH]

Это у вас похоже на какой то голосовой движок что ли Это тяжело все делается наверное, на счет текста это еще можно сделать пишешь в тексте слова( какую то логику в тексте и сразу в пункт 5

5)Фреймворк выполняет запрос, анимируя агента соответствующим образом, а также озвучивая/выводя на экран текст.

короче можно это сделать как то я уверен)

cпасибо что откликнулись.

Нужно создать именно API который будет распознавать речь, текст введенный пользователем и проговаривать его)
если можете подсказать какие инструменты использовать буду благодарен)

[Valerich]

Нужно создать именно API который будет распознавать речь,

Эх ох ах) Я не представляю...
По поводу :

5)Фреймворк выполняет запрос, анимируя агента соответствующим образом, а также озвучивая/выводя на экран текст

Я имел в виду что в теории этот момент можно заскриптовать, мы же на юнити3d, и поэтому я вообще говорю про работу в этом движке и с С#.
если

анимируя агента

это имеется ввиду например ГГ, то после ввода на клавиатуре каких то слов заставить этого ГГ делать что надо...то да, можно.Но я такого не делал делал товарищ да и то не из этой серии.Есть такая игра на которую орешь/говоришь YASUHATI и гг там прыгает, сделанная на Unity. Но это просто и не совсем то что вам надо наверное.(просто звук сильнее/меньше )
Это все

1)Пользователь передает агенту некоторую информацию, посредством набора текста или голоса.
2)Фреймворк передает распознанную информацию в приложение.
3)Приложение обрабатывает информацию, поступившую от пользователя, и формирует ответ.
4)Приложение отправляет запрос API, например, озвучивание текста с определенной эмоцией.
5)Фреймворк выполняет запрос, анимируя агента соответствующим образом, а также озвучивая/выводя на экран текст.

в принципе я ответил выше как я себе представляю.
По поводу чисто отдельных фреймворк-а/ов для всего этого дела, не знаю может и есть но я не знаю.
Не знаю может кто и что подскажет, но так в идеале то это можно осуществить для андроида возможно, или для пк с микрофоном? не знаю Я прям подумал вы там искусственный интеллект пишете по началу, хотя...

если можете подсказать какие инструменты использовать буду благодарен)

- программирование. И вообще я представляю себе это как какой нибудь (например )ok google спросил - ответ. Если так, то это база должна быть по всему этому, ответы...

[Tolking]

распознавать речь

- перевести голос в текст.

озвучивание текста с определенной эмоцией

- прочитать текст голосом. Это две разные задачи.
Удовлетворительно работающих без интернета технологий нет.(да и с инетом не очень работает) Зачем здесь задавать вопрос - не ясно. Писать свою версию API для офлайна? Фантастика!

[Woolf]

Ну и запросики у вас.. даже гугл пока не добился нормального результата по распознаванию текста и его озвучиванию, и это с его миллиардами. А вы так просто хотите. Это фронтэнд, причем еще почти и не паханый.