Act-e-Motion 2: Gesten- und Spracherkennung im performativen Kontext mit der Kinect v2

In dieser Arbeit wird die Konzeption, Entwicklung und Evaluation eines Systems zur interaktiven Steuerung von multimedialen Inhalten im performativen Kontext beschrieben. Es handelt sich hierbei um die Neuentwicklung der ALS-Lernapplikation (Ambien Learning Systems) mit dem Titel ActeMotion. Dieses System besteht konzeptionell aus dem ActeMotion-Creator1, einer web-basierten Benutzungsschnittstelle zur Erstellung und Bearbeitung interaktiver Bühnenbilder und aus dem ActeMotion-Player2, mit dem eine mit dem Creator erstellte „Show“ vor Ort, etwa einer Bühne, interaktiv mittels Körpergesten (oder nach Beendigung dieser Arbeit auch mittels Sprache) gesteuert werden kann. Eine Show besteht aus einer beliebigen Anzahl von Szenen, welche mit Audio, Video, Grafiken oder auf den Körperdaten der Akteure basierenden Effekten angereichert werden können. Die Szenen können nichtlinear abgerufen werden.
Mit der ersten Version von ActeMotion, die mit der ersten Generation der Kinect for Windows arbeitete, konnten lediglich im Programm voreingestellte Gesten erkannt und diesen Medien oder Effekte zugeordnet werden. Auch konnten maximal vier Personen gleichzeitig erkannt werden. Mit einer erweiterten, zunächst im Rahmen der Bachelor Lehrveranstaltung „Medien- und Interaktionsgestaltung“ rudimentär erstellten Version für die Microsoft Kinect for Windows v2 wurde die Möglichkeit geschaffen diese neue Hardware anzusprechen. Doch erst mit der im Rahmen dieser Arbeit ausgearbeiteten Version, die jetzt als ActeMotion2 bezeichnet wird, können vom Benutzer im Creator zuvor erzeugte Einstellungen mit dem auf einem PC zu installierenden Player und dem dazugehörigen Adapter für Windows die Kinect for Windows v2 verarbeitet und somit genutzt werden. Das Sensormodul der Kinect for Windows v2 kann mithilfe einer eingebauter Tiefen-, Infrarot- und RGB-Kamera, sowie einer Mikrofonmatrix die Körperdaten bis zu sechs Personen gleichzeitig in einer maximalen Entfernung von 4,5 Metern erkennen und verfolgen, sowie Spracheingaben verarbeiten. Insbesondere die Verarbeitung von Spracheingaben stellt für ActeMotion ein zusätzliches, neues Feature dar.
Schlüsselelemente für die in weiten Teilen neue Entwicklung des Systems ActeMotion2 im Rahmen dieser Arbeit sind die Verfeinerung der Gestenerkennung und der Gestenaufnahme, die Implementierung der Spracherkennung, die Visualisierung der Körperdaten als Effekte und die interaktive Navigation während einer Show. Zudem wird die Weboberfläche, der Creator, neu entwickelt. Arbeitsumfeld des Systems sollen überwiegend Schulen sein. Kinder und Jugendliche können in den Fächern Musik, Kunst und Darstellendem Spiel die Lernapplikation verwenden. Darüber hinaus kann ActeMotion2 auch in der außerschulischen Jugendbildung, etwa in Theater oder Tanzgruppen, zum Einsatz kommen. Damit das System sich auch in der Praxis mit technisch weniger affinen Anwendern bewährt, ist es von essentieller Bedeutung dieses benutzungsgerecht zu gestalten.