Entwicklung und Evaluation eines Explainable Conversational Assistants: Ein Optimierungsvorschlag für die Handhabung von Nutzeranfragen in Conversational User Interfaces

Die aktuelle Forschung zeigt, dass Interaktionen mit Conversational Assistants (CA) trotz stetiger Fortschritte grundlegende Anforderungen an eine gute Usability verfehlen. Zentrale Ursache dabei ist die unzureichende Rückmeldung durch CAs bezüglich des Systemzustands. Daher wird untersucht, wie der Zustand eines CAs erklärt werden kann und ob sich diese Erklärung positiv auf die Zufriedenheit von Nutzenden und die Bearbeitungsdauer vorgegebener Aufgaben auswirkt. Als Einsatzgebiet des zu entwi-ckelnden CAs wurde der Empfang eines Büros gewählt, weshalb zuerst die Nutzenden eines solchen CAs, die Aufgaben und die Umgebung analysiert wurden. Anschließend erfolgte die technische Analyse der Funktionsweise von Conversational Assistants. Mit-hilfe der Ergebnisse wurde das Konzept eines Explainable Conversational Assistants (XCA) erstellt, das den Zustand mithilfe einer Confidence-Darstellung, Darstellung von Intent-Alternativen und Entities sowie eines Kontext-Zeitstrahls erklärt. Der XCA wurde anschließend in einer Studie mit einem normalen CA verglichen. Die Auswertung zeigte, dass Aufgaben, die mit dem XCA bearbeitet wurden, nicht signifikant besser be-wertet oder signifikant schneller durchgeführt wurden. Auch die Erklärbarkeit des CAs und die erklärenden Komponenten wurden von den Teilnehmenden nur mäßig gut be-wertet. Dennoch zeigten sie eine klare Präferenz für den XCA gegenüber dem normalen CA. Teilnehmende, die Aufgaben der Kategorien Räumliche Suche und Verbindungen mit dem XCA bearbeiteten, waren mit dem XCA zudem signifikant zufriedener. Von diesen Teilnehmenden wurden auch unterschiedliche Komponenten besser bewertet, was ei-nen Zusammenhang zwischen Aufgabentyp und Komponente vermuten lässt. Dies gilt es in weiteren Arbeiten zu untersuchen.