An investigation into the simulation of capacitive fiducial markers using deep learning

Abstract

Tangibles have shown to enrich the interaction space on touchscreens already in the early 2000s. On early tabletop installations, camera-based systems were used for tracking tangibles. On mainstream projected-capacitive screens, the ability to recognize objects other than fingers is limited. Lately, researchers have utilized deep learning to bring back the capabilities of recognizing conductive tangibles on capacitive screens. The main drawback of sufficiently working neural networks is that they require huge amounts of data for training, domain-specific knowledge for hyper-parameter tuning, and are often single-purpose networks. With this thesis, we propose a toolkit that allows designers and developers to train a deep learning recognizer that is purely trained on simulated data. Our toolkit makes use of a pre-trained Conditional Generative Adversarial Network that, based on sketches of the footprint of conductive tangibles, simulates the corresponding capacitive representation. Furthermore, we use this simulated data to train a deployable recognizer network. Therefore, using our toolkit, designers require no domain knowledge or need to collect data. Our evaluation shows that our approach can reliably recognize conductive fiducials with an average accuracy of 99.3% with a recognizer network solely trained on simulated data. Additionally, our recognizer architecture can predict the tangible's orientation with an average absolute error of 4.8°.

Bereits in den frühen 2000er Jahren haben sich Tangibles als Bereicherung des Interaktionsraums mit digitalen Medien erwiesen. Auf den ersten Tabletopinstallationen wurden kamerabasierte Systeme zur Verfolgung von Tangibles eingesetzt. Auf alltäglich verwendeten, projiziert-kapazitiven Touchscreens sind die Möglichkeiten, andere Objekte als Finger zu erkennen, begrenzt. Zuletzt wurde von Forschern Technik aus dem Bereich des Deep Learnings angewandt, um die Fähigkeit zur Erkennung von leitfähigen Tangibles auf kapazitiven Bildschirmen wiederzuerlangen. Der größte Nachteil gut funktionierender neuronaler Netze besteht darin, dass große Datenmengen für das Trainieren vonnöten sind. Zusätzlich wird domänenspezifisches Wissen zur Abstimmung der Hyperparameter benötigt. Die resultierenden Netze sind trotz hohem Aufwand oft nur für einen Zweck geeignet. In dieser Arbeit schlagen wir ein Toolkit vor, mit welchem Designer und Entwickler ein Deep Learning Erkennernetzwerk auf ausschließlich simulierten Daten trainieren können. Unser Toolkit nutzt ein vortrainiertes Conditional Generative Adversarial Network, welches auf der Grundlage von Skizzen des Fußabdrucks von leitfähigen Tangibles die entsprechende kapazitive Repräsentation simuliert. Ferner verwenden wir diese simulierten Daten, um ein einsatzfähiges Erkennernetzwerk zu trainieren. Mit unserem Toolkit benötigen Designer weder großes Fachwissen, noch müssen Daten für das Trainieren aufgenommen werden. Unsere Ergebnisse zeigen, dass der von uns entwickelte Ansatz es ermöglicht, aufgenommene Bilder leitender AprilTag Marker mit einer durchschnittlichen Genauigkeit von 99,3% zu klassifizieren. Jenes Erkennernetzwerk wurde ausschließlich auf simulierten Daten trainiert. Darüber hinaus kann unsere Erkennungsarchitektur die Rotation der Tangibles mit einem durchschnittlichen absoluten Fehler von 4,8° vorhersagen.