Chatbot kan apps uitleggen en hoe ze toegang krijgen tot hardware of gegevens

Update: 9 december 2023

Chatbot zijn al onderdeel van ons dagelijks leven geworden met hun snelle en intuïtieve manier om taken uit te voeren, zoals plannen en informatie vinden met behulp van gesprekken in natuurlijke taal. Onderzoekers van de Aalto Universiteit hebben nu de kracht van chatbots benut om ontwerpers en ontwikkelaars te helpen nieuwe apps te ontwikkelen en eindgebruikers in staat te stellen informatie over de apps op hun apparaten te vinden.

De chatbot kan vragen beantwoorden door afbeeldingen en screenshots van apps te tonen, of door middel van eenvoudige tekstzinnen.

“Hey GUI elimineert de behoefte aan codeervaardigheden of technische expertise. Iedereen kan ermee zoeken naar informatie over bijvoorbeeld welke van mijn apps toestemming vraagt ​​om de camera te gebruiken, of waar de zoekknop op dit scherm staat”, zegt postdoctoraal onderzoeker van Aalto University.

Belangrijke bevindingen voor chatbotontwikkelaars en onderzoekers

Verschillende soorten applicaties en gebruikersinterfaces bevatten enorme hoeveelheden informatie, die voor verschillende behoeften en taken kunnen worden gebruikt. In hun onderzoek gingen de onderzoekers op zoek naar de meest wenselijke chatbotfuncties en hoe gebruikers daarmee gesprekken zouden voeren.

In het experiment zijn drie doelgroepen meegenomen: ontwerpers, softwareontwikkelaars en algemene gebruikers. Meer dan 100 ontwerpers, ontwikkelaars en gewone gebruikers hebben op de enquête gereageerd.

Hun doel is om een ​​goed inzicht te krijgen in welke mogelijkheden en functies verschillende soorten gebruikers het nuttigst zouden vinden bij het gebruik van dit nieuwe type chatbot, en ook hoe ze vragen zouden formuleren, vooral welke soorten woorden en zinsdelen ze zouden gebruiken. Dit is een belangrijke eerste stap in de richting van de ontwikkeling van chatbots die gebruikers kunnen helpen informatie over apps te vinden met behulp van eenvoudige gesprekken.

Als resultaat van het onderzoek werden 21 belangrijke kenmerken en meer dan 1300 van de meest voorkomende vragen van gebruikers verzameld en geanalyseerd om Hey GUI te creëren, waarmee gebruikers informatie kunnen vinden binnen gebruikersinterfaces met behulp van eenvoudige gesprekken, gebaseerd op de meest voorkomende uitdrukkingen verzameld in de enquête.

Ontwerpers kunnen bijvoorbeeld inspiratie opdoen door Hey GUI te vragen om goede online winkelontwerpen te vinden. De chatbot reageert met verschillende screenshots van bestaande apps in de catalogus. Softwareontwikkelaars kunnen een chatbot vragen welke typische kleurcodes worden gebruikt voor inlogknoppen, en de chatbot antwoordt met verschillende opties.

Bij vragen van gewone gebruikers werd speciale nadruk gelegd op zaken die daarmee verband hielden privacy en toegankelijkheidsinformatie, of hulp krijgen over hun apps, zoals vragen welke apps kaarten weergeven.