Chatbot dapat Menjelaskan Aplikasi dan Bagaimana Mereka Mengakses Perangkat Keras atau Data

Pembaruan: 9 Desember 2023

ChatBot telah menjadi bagian dari kehidupan kita sehari-hari dengan cara mereka yang cepat dan intuitif untuk menyelesaikan tugas seperti menjadwalkan dan mencari informasi menggunakan percakapan bahasa alami. Para peneliti di Aalto University kini telah memanfaatkan kekuatan chatbots untuk membantu perancang dan pengembang mengembangkan aplikasi baru dan memungkinkan pengguna akhir menemukan informasi tentang aplikasi di perangkat mereka.

Chatbot dapat menjawab pertanyaan dengan menampilkan gambar dan tangkapan layar aplikasi, atau melalui frasa teks sederhana.

“Hei GUI menghilangkan kebutuhan akan keterampilan pengkodean atau keahlian teknis. Siapa pun dapat menggunakannya untuk mencari informasi, misalnya, salah satu aplikasi saya yang meminta izin untuk menggunakan kamera, atau di mana tombol pencarian di layar ini,” kata peneliti postdoctoral dari Aalto University.

Temuan penting untuk pengembang dan peneliti chatbot

Berbagai jenis aplikasi dan antarmuka pengguna berisi sejumlah besar informasi, yang dapat digunakan untuk kebutuhan dan tugas yang berbeda. Dalam studi mereka, para peneliti mulai menemukan fitur chatbot yang paling diinginkan dan bagaimana pengguna akan melakukan percakapan dengan mereka.

Tiga kelompok sasaran dipertimbangkan dalam percobaan: desainer, pengembang perangkat lunak, dan pengguna umum. Lebih dari 100 desainer, pengembang, dan pengguna biasa menanggapi survei tersebut.

Tujuan mereka adalah untuk mendapatkan pemahaman yang baik tentang kemampuan dan fungsi apa yang menurut berbagai jenis pengguna paling bermanfaat saat menggunakan jenis chatbot baru ini, serta bagaimana mereka akan merumuskan pertanyaan—terutama jenis kata dan frasa apa yang akan mereka gunakan. Ini adalah langkah pertama yang penting untuk mengembangkan chatbot yang dapat membantu pengguna menemukan informasi tentang aplikasi menggunakan percakapan sederhana.

Sebagai hasil dari survei, 21 fitur utama dan lebih dari 1300 pertanyaan paling umum yang diajukan oleh pengguna dikumpulkan dan dianalisis untuk membuat Hey GUI, memungkinkan pengguna untuk menemukan informasi dalam antarmuka pengguna menggunakan percakapan sederhana, berdasarkan ekspresi yang paling sering dikumpulkan dalam survei.

Desainer bisa mendapatkan inspirasi, misalnya, dengan meminta Hey GUI untuk menemukan desain toko online yang bagus. Chatbot merespons dengan beberapa tangkapan layar dari aplikasi yang ada di katalog. Pengembang perangkat lunak dapat bertanya kepada chatbot kode warna khas apa yang digunakan untuk tombol login, dan chatbot merespons dengan beberapa opsi.

Dalam pertanyaan dari pengguna biasa, ada penekanan khusus pada hal-hal yang berkaitan dengan pribadi dan informasi aksesibilitas, atau mendapatkan bantuan tentang aplikasi mereka, seperti menanyakan aplikasi mana yang menampilkan peta.