Präzise Touchscreens dank KI

Wissenschaftler der ETH Computer haben eine KI-Lösung entwickelt, mit der Touchscreens mit achtmal höherer Auflösung als aktuelle Geräte erfasst werden können.

Während sich Berührungssensoren, die Fingereingaben auf dem Touchscreen erfassen, seit ihrer Veröffentlichung Mitte der 2000er Jahre nicht wesentlich geändert haben, bieten Smartphone- und Tablet-Bildschirme jetzt eine beispiellose visuelle Qualität, die bei jeder neuen Gerätegeneration noch deutlicher wird Das ist höhere Farbtreue, höhere Auflösung oder schärferer Kontrast.

Christian Holz, Informatikprofessor der ETH vom Sensing, Interaction & Perception Lab (SIPLAB), hat zusammen mit dem Doktoranden Paul Streli, Holz, eine künstliche Intelligenz (KI) namens CapContact entwickelt, die Touchscreens in Superauflösung bringen kann kann zuverlässig erkennen, wann und wo Finger tatsächlich die Anzeigeoberfläche berühren, mit einer viel höheren Genauigkeit als dies bei aktuellen Geräten der Fall ist.

Die KI wurde für kapazitive Touchscreens entwickelt, bei denen es sich um Touchscreens handelt, die in den meisten Mobiltelefonen, Tablets und Laptops verwendet werden. Hier die Sensor Erkennt die Position der Finger dadurch, dass sich das elektrische Feld zwischen den Sensorleitungen aufgrund der Nähe eines Fingers beim Berühren der Bildschirmoberfläche ändert, jedoch keinen echten Kontakt erkennen kann.

CapContact verwendet die Touchscreens als Bildsensoren. Laut Holz ist ein Touchscreen im Wesentlichen eine Tiefenkamera mit sehr niedriger Auflösung, die eine Entfernung von etwa acht Millimetern sehen kann. Eine Tiefenkamera erfasst keine farbigen Bilder, sondern zeichnet ein Bild davon auf, wie nahe Objekte sind. CapContact möchte dies nutzen, um die Kontaktbereiche zwischen Fingern und Oberflächen mithilfe eines neuartigen Deep-Learning-Algorithmus, den die Forscher entwickelt haben, genau zu erfassen.

„Erstens schätzt 'CapContact' die tatsächlichen Kontaktflächen zwischen Fingern und Touchscreens bei Berührung“, sagte Holz. „Zweitens werden diese Kontaktflächen mit der achtfachen Auflösung der aktuellen Berührungssensoren generiert, sodass unsere Berührungsgeräte Berührungen viel genauer erkennen können . ”

Um die KI zu trainieren, verwendete das Team Daten aus einer Vielzahl von Berührungen von mehreren Testteilnehmern. Die Forscher erfassten einen Trainingsdatensatz, aus dem CapContact lernte, Kontaktbereiche mit hoher Auflösung aus den groben und niedrig auflösenden Sensordaten heutiger Berührungsgeräte vorherzusagen.

Die Forscher konnten zeigen, dass ein Drittel der Fehler bei aktuellen Geräten auf die niedrig aufgelöste Eingangserfassung zurückzuführen ist. CapContact kann diese Fehler durch den Deep-Learning-Ansatz des Forschers beseitigen.

Sie konnten auch zeigen, dass CapContact die Berührungsflächen zuverlässig unterscheidet, selbst wenn die Finger den Bildschirm sehr nahe beieinander berühren. Dies ist beispielsweise bei der Pinch-Geste der Fall, wenn Sie Daumen und Zeigefinger über einen Bildschirm bewegen, um Texte oder Bilder zu vergrößern. Heutige Geräte können benachbarte Berührungen in der Nähe kaum unterscheiden.

Diese Forschung legt nahe, dass diese KI-Lösung den Weg für eine neue Berührungserkennung in zukünftigen Mobiltelefonen und Tablets ebnen könnte, die zuverlässiger und präziser arbeiten können, jedoch einen geringeren Platzbedarf und eine geringere Komplexität in Bezug auf die Sensorherstellung aufweisen.