Entwicklung einer Smartphone-basierten Augmented-Reality-Anwendung zur Unterstützung des interaktiven Erlernens von Klavierstücken

Die klassische Notation für Klavierstücke erschwert gerade bei Klavieranfänger den Lernprozess. Die Zuordnung der Noten zu den Tasten des Klaviers erzeugt einen hohen zusätzlichen kognitiven Aufwand. Dies sorgt für ausbleibende Erfolgserlebnisse durch einen langsamen Lernfortschritt. Die Fähigkeit, klassische Noten flüssig lesen zu können, erfordert sehr viel Übung und ist meist professionellen Klavierspielern vorbehalten. In dieser Abschlussarbeit wird die Augmented-Reality-Anwendung „PianoAssist“ entwickelt, welche eine moderne Notation für Klavierstücke einführt. PianoAssist unterstützt den Nutzer beim Erlernen von Klavierstücken, indem der kognitive Aufwand durch die intuitive Darstellung der Noten stark reduziert wird. Dafür werden keinerlei
Kenntnisse der klassischen Notation vorausgesetzt. Des Weiteren bietet PianoAssist einen interaktiven Übungsmodus, mit welchem der Nutzer das Klavierstück im eigenen Lerntempo mitspielen kann. Dabei wartet die Anwendung auf den Nutzer, bis die richtigen Töne gespielt wurden. Zudem wird dem Nutzer über ein Feedback-System der aktuelle Lernfortschritt visualisiert. PianoAssist wird in Kombination mit einem Android-
Smartphone verwendet und wurde mit Unity und Vuforia umgesetzt. Für die visuelle Ausgabe der Augmented-Reality-Anwendung wurden zwei Smartphone-betriebene HMDs getestet (ARyzon und VRBox). Die Nutzung des Optical-See-Through-HMDs „ARyzon“ wurde aufgrund der auftretenden Latenz der virtuellen Inhalte verworfen.
Das Video-See-Trough-HMD „VRBox“ erwies sich hingegen als geeignet. Allerdings treten auch hier durch die Latenz gewisse Probleme auf. Letztendlich ist PianoAssist erfolgreich realisiert worden und kann als Unterstützung zum Erlernen von Klavierstücken eingesetzt werden.

  • Masterarbeit von Fabian Gulde
  • Aufgabensteller/Prüfer: Prof. Dr. Christoph Bichlmeier
  • Arbeit vorgelegt am: 30.04.2020
  • Durchgeführt an der: Fakultät für Informatik, Studiengang Game Engineering und Visual Computing