Chatbot peut expliquer les applications et comment elles accèdent au matériel ou aux données

Mise à jour : 9 décembre 2023

Chatbot font déjà partie de notre vie quotidienne grâce à leur manière rapide et intuitive d'effectuer des tâches telles que la planification et la recherche d'informations à l'aide de conversations en langage naturel. Les chercheurs de l'Université Aalto ont désormais exploité la puissance des chatbots pour aider les concepteurs et les développeurs à développer de nouvelles applications et permettre aux utilisateurs finaux de trouver des informations sur les applications sur leurs appareils.

Le chatbot peut répondre aux questions en affichant des images et des captures d'écran d'applications, ou à l'aide de simples phrases de texte.

« Hey GUI élimine le besoin de compétences en codage ou d'expertise technique. N'importe qui peut l'utiliser pour rechercher des informations sur, par exemple, laquelle de mes applications demande l'autorisation d'utiliser l'appareil photo, ou où se trouve le bouton de recherche sur cet écran », explique le chercheur postdoctoral de l'Université Aalto.

Des découvertes importantes pour les développeurs de chatbots et les chercheurs

Différents types d'applications et d'interfaces utilisateur contiennent de grandes quantités d'informations, qui peuvent être utilisées pour différents besoins et tâches. Dans leur étude, les chercheurs ont tenté de trouver les fonctionnalités de chatbot les plus souhaitables et la manière dont les utilisateurs auraient des conversations avec eux.

Trois groupes cibles ont été pris en compte dans l'expérience : les concepteurs, les développeurs de logiciels et les utilisateurs généraux. Plus de 100 concepteurs, développeurs et utilisateurs ordinaires ont répondu à l'enquête.

Leur objectif est de bien comprendre les capacités et les fonctions que différents types d'utilisateurs trouveraient les plus utiles lors de l'utilisation de ce nouveau type de chatbot, ainsi que la façon dont ils formuleraient les questions, en particulier les types de mots et de phrases qu'ils utiliseraient. Il s'agit d'une première étape importante vers le développement de chatbots qui peuvent aider les utilisateurs à trouver des informations sur les applications à l'aide de conversations simples.

À la suite de l'enquête, 21 fonctionnalités clés et plus de 1300 XNUMX des questions les plus fréquemment posées par les utilisateurs ont été collectées et analysées pour créer Hey GUI, permettant aux utilisateurs de trouver des informations dans les interfaces utilisateur à l'aide de conversations simples, basées sur les expressions les plus fréquentes. recueillies dans l'enquête.

Les concepteurs peuvent s'inspirer, par exemple, en demandant à Hey GUI de trouver de bons designs de boutique en ligne. Le chatbot répond avec plusieurs captures d'écran d'applications existantes dans le catalogue. Les développeurs de logiciels peuvent demander à un chatbot quels codes de couleur typiques sont utilisés pour les boutons de connexion, et le chatbot répond avec plusieurs options.

Dans les questions des utilisateurs ordinaires, un accent particulier a été mis sur les questions liées à la confidentialité et des informations sur l'accessibilité, ou obtenir de l'aide sur leurs applications, comme demander quelles applications affichent des cartes.