Chatbot สามารถอธิบายแอพและวิธีการเข้าถึงฮาร์ดแวร์หรือข้อมูล

อัปเดต: 9 ธันวาคม 2023

chatbot ได้กลายเป็นส่วนหนึ่งของชีวิตประจำวันของเราไปแล้วด้วยวิธีการที่รวดเร็วและใช้งานง่ายในการทำงานให้เสร็จสิ้น เช่น การกำหนดเวลาและการค้นหาข้อมูลโดยใช้การสนทนาภาษาธรรมชาติ ขณะนี้นักวิจัยจากมหาวิทยาลัย Aalto ได้ใช้ประโยชน์จากพลังของแชทบอทเพื่อช่วยนักออกแบบและนักพัฒนาในการพัฒนาแอพใหม่ๆ และช่วยให้ผู้ใช้ปลายทางสามารถค้นหาข้อมูลเกี่ยวกับแอพบนอุปกรณ์ของพวกเขาได้

แชทบอทสามารถตอบคำถามโดยแสดงภาพและภาพหน้าจอของแอพ หรือผ่านข้อความธรรมดา

“เฮ้ GUI ไม่จำเป็นต้องใช้ทักษะการเขียนโปรแกรมหรือความเชี่ยวชาญด้านเทคนิค ใครๆ ก็ใช้กล้องนี้เพื่อค้นหาข้อมูลได้ เช่น แอปใดแอปหนึ่งของฉันที่ขออนุญาตใช้กล้อง หรือปุ่มค้นหาบนหน้าจอนี้อยู่ที่ไหน” นักวิจัยหลังปริญญาเอกของมหาวิทยาลัย Aalto กล่าว

ข้อค้นพบที่สำคัญสำหรับนักพัฒนาและนักวิจัยแชทบอท

แอปพลิเคชันและอินเทอร์เฟซผู้ใช้ประเภทต่างๆ มีข้อมูลจำนวนมหาศาล ซึ่งสามารถนำไปใช้สำหรับความต้องการและงานที่แตกต่างกัน ในการศึกษาของพวกเขา นักวิจัยได้เริ่มค้นหาฟีเจอร์แชทบอทที่ต้องการมากที่สุดและวิธีที่ผู้ใช้จะสนทนากับพวกเขา

มีการพิจารณากลุ่มเป้าหมายสามกลุ่มในการทดลอง ได้แก่ นักออกแบบ นักพัฒนาซอฟต์แวร์ และผู้ใช้ทั่วไป นักออกแบบ นักพัฒนา และผู้ใช้ทั่วไปกว่า 100 คนตอบแบบสำรวจ

เป้าหมายของพวกเขาคือการทำความเข้าใจอย่างดีถึงความสามารถและฟังก์ชันต่างๆ ที่ผู้ใช้จะพบว่ามีประโยชน์มากที่สุดเมื่อใช้แชทบ็อตรูปแบบใหม่นี้ ตลอดจนวิธีที่พวกเขาจะกำหนดคำถาม โดยเฉพาะอย่างยิ่งคำและวลีประเภทใดที่พวกเขาจะใช้ นี่เป็นก้าวแรกที่สำคัญในการพัฒนาแชทบอทที่สามารถช่วยให้ผู้ใช้ค้นหาข้อมูลเกี่ยวกับแอพโดยใช้การสนทนาง่ายๆ

จากการสำรวจพบว่ามีการรวบรวมและวิเคราะห์คุณสมบัติหลัก 21 ข้อและคำถามทั่วไปมากกว่า 1300 คำถาม เพื่อสร้าง Hey GUI ทำให้ผู้ใช้สามารถค้นหาข้อมูลภายในอินเทอร์เฟซผู้ใช้โดยใช้การสนทนาง่ายๆ ตามนิพจน์ที่พบบ่อยที่สุด รวบรวมไว้ในแบบสำรวจ

นักออกแบบสามารถรับแรงบันดาลใจได้โดยขอให้ Hey GUI ค้นหาการออกแบบร้านค้าออนไลน์ที่ดี แชทบอทตอบสนองด้วยภาพหน้าจอหลายภาพจากแอพที่มีอยู่ในแคตตาล็อก นักพัฒนาซอฟต์แวร์สามารถถาม chatbot ว่ารหัสสีทั่วไปที่ใช้สำหรับปุ่มเข้าสู่ระบบคืออะไร และแชทบอทจะตอบกลับด้วยตัวเลือกต่างๆ

ในคำถามจากผู้ใช้ทั่วไป มีการเน้นเป็นพิเศษในเรื่องที่เกี่ยวข้องกับ ความเป็นส่วนตัว และข้อมูลการช่วยสำหรับการเข้าถึง หรือรับความช่วยเหลือเกี่ยวกับแอพ เช่น การถามว่าแอพใดแสดงแผนที่