Nauwkeurige touchscreens dankzij AI

Wetenschappers van ETH Computer hebben een AI-oplossing ontwikkeld waarmee touchscreens kunnen detecteren met een acht keer hogere resolutie dan de huidige apparaten.

Hoewel aanraaksensoren, die vingerinvoer op het aanraakscherm detecteren, niet veel zijn veranderd sinds ze voor het eerst werden uitgebracht in het midden van de jaren 2000, bieden smartphone- en tabletschermen nu een ongekende visuele kwaliteit, wat nog duidelijker is bij elke nieuwe generatie apparaten of dat is een hogere kleurechtheid, een hogere resolutie of een scherper contrast.

Christian Holz, ETH hoogleraar computerwetenschappen van het Sensing, Interaction & Perception Lab (SIPLAB), heeft samen met promovendus Paul Streli, Holz een kunstmatige intelligentie (AI) ontwikkeld genaamd CapContact die touchscreens een superresolutie kan geven zodat ze kan betrouwbaar detecteren wanneer en waar vingers het schermoppervlak daadwerkelijk raken, met een veel hogere nauwkeurigheid dan het geval is met de huidige apparaten.

De AI is ontworpen voor capacitieve aanraakschermen, de typen aanraakschermen die in de meeste mobiele telefoons, tablets en laptops worden gebruikt. Hier de sensor detecteert de positie van de vingers door het feit dat het elektrische veld tussen de sensorlijnen verandert als gevolg van de nabijheid van een vinger bij het aanraken van het schermoppervlak, maar het kan geen echt contact detecteren.

CapContact gebruikt de touchscreens als beeldsensoren. Volgens Holz is een touchscreen in wezen een dieptecamera met een zeer lage resolutie die ongeveer acht millimeter ver kan zien. Een dieptecamera legt geen gekleurde afbeeldingen vast, maar legt een afbeelding vast van hoe dichtbij objecten zijn. CapContact probeert dit te benutten om de contactgebieden tussen vingers en oppervlakken nauwkeurig te detecteren via een nieuw deep learning-algoritme dat de onderzoekers hebben ontwikkeld.

"Ten eerste schat 'CapContact' de werkelijke contactgebieden tussen vingers en touchscreens bij aanraking," zei Holz, "Ten tweede genereert het deze contactgebieden met een resolutie van acht keer de resolutie van huidige aanraaksensoren, waardoor onze aanraakapparaten aanraking veel nauwkeuriger kunnen detecteren. . "

Om de AI te trainen, gebruikte het team gegevens van een veelvoud aan aanrakingen van verschillende testdeelnemers, de onderzoekers legden een trainingsdataset vast, waaruit CapContact leerde om superresolutie contactgebieden te voorspellen op basis van de grove en lage resolutie sensorgegevens van de huidige aanraakapparatuur.

De onderzoekers konden aantonen dat een derde van de fouten op de huidige apparaten te wijten is aan de inputdetectie met lage resolutie. CapContact kan deze fouten wegnemen door de deep learning-aanpak van de onderzoeker.

Ze konden ook aantonen dat CapContact de aanraakvlakken op betrouwbare wijze onderscheidt, zelfs wanneer vingers het scherm heel dicht bij elkaar aanraken. Dit is bijvoorbeeld het geval bij het knijpgebaar, wanneer je je duim en wijsvinger over een scherm beweegt om teksten of afbeeldingen te vergroten. De apparaten van vandaag kunnen nauwelijks aangrenzende aanrakingen van dichtbij onderscheiden.

Dit onderzoek suggereert dat deze AI-oplossing de weg zou kunnen effenen voor een nieuwe aanraakdetectie in toekomstige mobiele telefoons en tablets die betrouwbaarder en nauwkeuriger kunnen werken, maar met een kleinere voetafdruk en complexiteit in termen van sensorproductie.