AIのおかげで正確なタッチスクリーン

ETH Computerの科学者は、タッチスクリーンが現在のデバイスのXNUMX倍の解像度で感知できるようにするAIソリューションを開発しました。

タッチスクリーンでの指の入力を検出するタッチセンサーは、2000年代半ばに最初にリリースされて以来、それほど変わっていませんが、タブレット画面は今や前例のない視覚品質を提供しています。それは、より高い色の忠実度、より高い解像度、またはより鮮明なコントラストです。

センシング、インタラクション＆パーセプションラボ（SIPLAB）のETHコンピューターサイエンス教授であるクリスチャンホルツは、博士課程の学生であるポールストレリとともに、タッチスクリーンに超解像を与えることができるCapContactと呼ばれる人工知能（AI）を開発しました。現在のデバイスの場合よりもはるかに高い精度で、指が実際にディスプレイ表面に触れたときと場所を確実に検出できます。

AIは、ほとんどの携帯電話、タブレット、ラップトップで使用されているタイプのタッチスクリーンである静電容量式タッチスクリーン用に設計されました。 ここに センサー 画面表面に触れたときに指が接近することでセンサーライン間の電界が変化することで指の位置を検出しますが、実際の接触は検出できません。

CapContactはタッチスクリーンをイメージセンサーとして使用します。 ホルツ氏によると、タッチスクリーンは本質的に非常に低解像度の深度カメラであり、約XNUMXミリメートルの距離を見ることができます。 デプスカメラはカラー画像をキャプチャしませんが、オブジェクトがどれだけ近いかを記録します。 CapContactは、これを利用して、研究者が開発した新しい深層学習アルゴリズムを通じて、指と表面の間の接触領域を正確に検出しようとしています。

「まず、「CapContact」は、タッチ時に指とタッチスクリーンの間の実際の接触面積を推定します。次に、現在のタッチセンサーのXNUMX倍の解像度でこれらの接触面積を生成し、タッチデバイスがタッチをより正確に検出できるようにします。 。」

チームが複数のテスト参加者からの多数のタッチからのデータを使用してAIをトレーニングするために、研究者はトレーニングデータセットをキャプチャしました。このデータセットから、CapContactは、今日のタッチデバイスの粗い低解像度センサーデータから超解像接触領域を予測することを学びました。

研究者は、現在のデバイスのエラーのXNUMX分のXNUMXが低解像度の入力センシングによるものであることを示すことができました。 CapContactは、研究者のディープラーニングアプローチを通じてこれらのエラーを取り除くことができます。

彼らはまた、指が画面に非常に接近して触れた場合でも、CapContactがタッチ面を確実に区別することを実証することができました。 これは、たとえば、親指と人差し指を画面上で動かしてテキストや画像を拡大するピンチジェスチャの場合です。 今日のデバイスは、隣接するタッチをほとんど区別できません。

この研究は、このAIソリューションが、センサー製造の面でフットプリントと複雑さを軽減しながら、より確実かつ正確に動作できる将来の携帯電話やタブレットの新しいタッチセンシングへの道を開く可能性があることを示唆しています。