Intengration eines Text-To-Speech-Systems in der Unreal Engine 4 zur Ansteuerung von Lippenbewegungen virtueller Charaktere.

Das Ziel dieser Arbeit war es ein System zu entwickeln, welches es ermöglicht ein Text-To-Speech-System in die Unreal Engine 4 zu integrieren. Durch die Ausgabe von animationsrelevanten Daten des TTS-Systems sollte innerhalb der Unreal Engine Lippenanimation virtueller Charaktere ermöglicht werden. Somit wird dem Benutzer des Systems die Möglichkeit gegeben, Dialoge von virtuellen Charakteren simpel zu generieren. Der zu sprechende Text kann anhand eines in der Unreal Engine erstellten benutzerdefinierten Editor-Fensters verfasst und angepasst werde. Dieser Text wird von dem TTS-System ausgewertet und verarbeitet. Die hieraus resultierende Ausgabe der Wave-Datei und der nötigen Daten für die Lippenanimation des Charakters können in der Unreal-Engine für eine spätere Verwendung gespeichert werden. Außerdem ist es möglich innerhalb einer Anwendung zur Laufzeit Dialoge zu erstellen. Hintergrund hierbei ist, dass dynamisch anhand von Benutzereingaben Text in Dialoge möglichst verzögerungslos umgewandelt werden soll.

  • Arbeit vorgelegt am: 07.09.2018
  • Durchgeführt: An der Fakultät für Informatik, Studiengang Game Engineering
  • Autor: Dominikus Bertl
  • Email: Dominikus.Bertl@gmx.de
  • Aufgabensteller/Prüfer: Prof. Dr. techn. Klaus Ulhaas

Quellenangaben

  • Verwendete Game Engine: Unreal Engine 4, URL: https://www.unrealengine.com/en-US/
  • Verwendetes Text-To-Speech-System: MaryTTS, URL: http://mary.dfki.de/download/index.html
  • Verwendeter Charakter: Vorher ManuelbastioniLab, jetzt MB-Lab, URL: https://github.com/animate1978/MB-Lab
Projektübersicht