Interactive visualization methods for mobile device applications

Abstract

The number of mobile devices today already outnumbers the installed desktop PCs and this gap will further widen in the future since the market for desktop PCs is stagnating but is still growing for mobile devices. For example, the cellular phone is one of the most widespread devices that can display graphical content and its functionality is constantly increasing.

Even with the increased functionality on recent mobile devices bringing interactive graphics and visualization methods to these devices is not as easy as it might appear to be. Strategies and ideas that work for desktop machines cannot necessarily be transferred to mobile devices because they have very different characteristics. The purpose of this thesis is to exactly address this problem.

The current limitations of these devices -- limited processing power, small amount of memory, low bandwidth, limited network capacities, small display area -- that hinder the usage of current visualization applications on these devices are identified. In order to overcome them, several different strategies are presented that allow interactive 3D graphic solutions to run on mobile devices. These strategies take advantage of different properties of a mobile device, e.g., network speed. Which strategy should be employed for a graphical application can be decided based on the properties of the device that suit best to the strategy. Moreover, algorithms for presenting data in a resource friendly, user recognizable form but at the same time taking account of the display limitations are introduced by addressing ideas in illustrative and artistic rendering. A special focus in this thesis is on the representation of transparency that plays a significant role in extending the usable space for visualizing information. In this thesis several strategies taken from artistic rendering have been successfully applied to the context of mobile rendering solutions. Additionally, a 3D graphical user interface was designed that is well suited to solve spatial problems in mobile devices and allows developers to build new classes of modern user interfaces.

All the new algorithms explained in this thesis do not only extend the capabilities of bringing interactive 3D graphics to mobile device, but can for example also be used for enhancing the richness of visualization or non-photorealistic rendering methods in any sort of interactive environment.

Die Zahl der mobilen Geräte übersteigt bereits heute die Anzahl der installierten Schreibtisch-PC-Geräte. Es ist zu erwarten, dass diese Kluft in der Zukunft weiter wachsen wird, da die Verkaufszahlen für PC-Geräte momentan stagnieren, während die von mobilen Geräten weiterhin zunehmen. Zum Beispiel kann man momentan das Mobiltelefon als das weitest verbreitete elektronische Gerät, mit dem es möglich ist, grafische Daten anzuzeigen, ansehen und seine Funktionalität nimmt immer weiter zu.

Doch trotz der gestiegenen Funktionalität auf den mobilen Geräten ist es nicht so einfach, interaktive Grafik- und Visualisierungsmethoden für diese Gerättypen zu entwickeln, wie es auf den ersten Blick scheint. Strategien, die auf einem Schreibtischgerät gut funktionieren, sind nicht ohne weiteres auf mobile Geräte übertragbar. Der Grund dafür sind spezifische Eigenschaften der mobilen Geräte. Das Ziel dieser Dissertation ist es genau dieses Problem anzugehen.

Die momentanen Beschränkungen von mobilen Geräten (eingeschränkte Rechenkapazität, niedriges Speichervolumen, niedrige Speicherbandbreite, geringe Netzwerkkapazitäten, kleine physikalische Darstellungsfläche), die den Einsatz von Visualisierungsapplikationen verhindern, werden zunächst identifiziert. Um diese Beschränkungen zu umgehen, werden verschiedene Strategien vorgestellt, die interaktive 3D Grafiklösungen auf mobilen Geräten ermöglichen. Diese Strategien nutzen dabei verschiedene Eigenschaften eines bestimmten Geräts, z.B. Netzwerkkapazitäten. Welche dieser Strategien sich für eine Grafikapplikation anbieten, hängt von diesen Eigenschaften ab.Weiterhin werden Algorithmen vorgestellt, die es ermöglichen Daten in einer ressourcenfreundlichen und vom Benutzer erkennbaren Form darzustellen, zur gleichen Zeit aber auch die eingeschränkten physikalischen Darstellungsmöglichkeiten des mobilen Geräts berücksichtigen. Dabei wird hauptsächlich auf Techniken aus dem künstlerischen und nicht-photorealistischen Bereich zurückgegriffen. Einen speziellen Fokus diese Arbeit liegt auf der Darstellung von Transparenz. Diese kann unter anderem verwendet werden, um die räumliche Darstellungsfläche zu vergrössern.

Zum Abschluss der Arbeit wird eine 3D grafische Benutzeroberfläche für mobile Geräte vorgestellt, die besonders geeignet ist, die räumliche Einschränkung, die durch die kleine Darstellungsfläche auf diesen Geräten besteht, zu erweitern.

Alle in dieser Dissertation vorgestellten neuen Algorithmen erweitern das Spektrum von mobilen Geräten, interaktive 3D Grafik darzustellen. Außerdem können sie ebenfalls eingesetzt werden, um die Reichhaltigkeit von Visualisierungsmethoden durch die vorgestellten nicht-photorealistischen Darstellungstechniken zu erweitern.