Chatbot kann Apps erklären und wie sie auf Hardware oder Daten zugreifen

Update: 9. Dezember 2023

Chatbot sind mit ihrer schnellen und intuitiven Möglichkeit, Aufgaben wie Terminplanung und Informationssuche mithilfe von Gesprächen in natürlicher Sprache zu erledigen, bereits zu einem Teil unseres Alltags geworden. Forscher der Aalto-Universität haben nun die Leistungsfähigkeit von Chatbots genutzt, um Designern und Entwicklern bei der Entwicklung neuer Apps zu helfen und es Endbenutzern zu ermöglichen, Informationen zu den Apps auf ihren Geräten zu finden.

Der Chatbot kann Fragen beantworten, indem er Bilder und Screenshots von Apps anzeigt oder durch einfache Textphrasen.

„Hey GUI macht Programmierkenntnisse oder technisches Know-how überflüssig. Jeder kann damit nach Informationen suchen, zum Beispiel, welche meiner Apps um Erlaubnis zur Verwendung der Kamera bittet oder wo sich die Suchschaltfläche auf diesem Bildschirm befindet“, sagt die Postdoktorandin der Aalto-Universität.

Wichtige Erkenntnisse für Chatbot-Entwickler und -Forscher

Unterschiedliche Arten von Anwendungen und Benutzeroberflächen enthalten riesige Mengen an Informationen, die für unterschiedliche Bedürfnisse und Aufgaben verwendet werden können. In ihrer Studie machten sich die Forscher daran, die wünschenswertesten Chatbot-Funktionen zu finden und herauszufinden, wie Benutzer mit ihnen ins Gespräch kommen würden.

Im Experiment wurden drei Zielgruppen berücksichtigt: Designer, Softwareentwickler und allgemeine Benutzer. Über 100 Designer, Entwickler und normale Benutzer haben an der Umfrage teilgenommen.

Ihr Ziel ist es, ein gutes Verständnis dafür zu bekommen, welche Fähigkeiten und Funktionen verschiedene Arten von Benutzern bei der Verwendung dieser neuen Art von Chatbot am vorteilhaftesten finden und wie sie Fragen formulieren würden – insbesondere welche Arten von Wörtern und Phrasen sie verwenden würden. Dies ist ein wichtiger erster Schritt zur Entwicklung von Chatbots, die Benutzern helfen können, mithilfe einfacher Konversationen Informationen über Apps zu finden.

Als Ergebnis der Umfrage wurden 21 Schlüsselfunktionen und mehr als 1300 der von Benutzern am häufigsten gestellten Fragen gesammelt und analysiert, um die Hey-Benutzeroberfläche zu erstellen, die es Benutzern ermöglicht, Informationen in Benutzeroberflächen mithilfe einfacher Konversationen basierend auf den häufigsten Ausdrücken zu finden in der Umfrage gesammelt.

Designer können sich zum Beispiel inspirieren lassen, indem sie Hey GUI nach guten Designs für Onlineshops fragen. Der Chatbot antwortet mit mehreren Screenshots von bestehenden Apps im Katalog. Softwareentwickler könnten einen Chatbot fragen, welche typischen Farbcodes für Login-Buttons verwendet werden, und der Chatbot antwortet mit mehreren Optionen.

Bei Fragen von normalen Benutzern wurde ein besonderer Schwerpunkt auf Angelegenheiten im Zusammenhang mit Datenschutz und Zugänglichkeitsinformationen oder Hilfe zu ihren Apps, z. B. fragen, welche Apps Karten anzeigen.