Multi-field visualization on graphics processing units

Abstract

The generation of multi-field data has become commonplace in many scientific disciplines and application areas today. While researchers have produced numerous techniques for analyzing a single scalar, vector, or tensor field over the last years, finding approaches for exploring multi-field datasets still forms one of the significant challenges in visualization and analytics. One crucial aspect for the growing demand of multi-field visualization techniques is the fact that scientists need to explore the interaction of these fields to gain deeper understanding of underlying processes and relationships. This work addresses the challenge of illustrating multi-field data and presents new approaches of visualization techniques for a variety of application areas, with the aim to map these algorithms to graphics hardware architectures to achieve interactive visualization.

In particular, the main contributions of this thesis contain multi-field flow visualization with one focus on integrating an additional flow uncertainty value, based on measurement simulation, into visualization. Therefore, texture based advection techniques are extended for the transport and display of the additional information.

The second focus lies on the illustration of multiple fields as one combined characteristic set to minimize memory usage and allow further feature extraction from the new unique representation. New techniques are developed for multi-field volume rendering in the area of medical applications, with the primary challenge to intermix volumetric data that was acquired by different medical imaging modalities. The proposed solutions give implementation details for raycasting and slice-based rendering of multiple overlapping volumes.

The third application area is video visualization. This domain is a typical representative for multi-field visualization, as it combines both, flow fields and multi-volume data for illustration. The goal of the introduced video visualization techniques is to extract dynamic or still objects in a scene, detect their individual actions and the relations among each other and to display this filtered information as a continuous stream of signatures for analysis. Another problematic issue in multi-field visualization is the size of the data, which is usually rather large. Yet, data transfer to and memory size on GPUs are two major bottlenecks. To address this issue, throughout the thesis techniques for data reduction by combination and data bricking for continuous streaming are discussed. Finally, multi-field data encoding and visualization techniques are presented that utilize the advantages of radial basis functions to minimize the data size.

Die Generierung von Multifeld-Daten ist heutzutage in vielen wissenschaftlichen Disziplinen und auch in praktischen Anwendungsgebieten weit verbreitet. Während Wissenschaftler im Verlauf der letzten Jahre zahlreiche Techniken für die Analyse von einzelnen Skalar-, Vektor-, und Tensorfeldern entwickelten, so bergen Lösungsansätze zur Erkundung von Multifeld-Datensätzen eine komplexere Problematik, die die Forschung im Bereich der Visualisierung und der Analytik vor enorme Herausforderungen stellt. Ein entscheidender Aspekt für die steigende Nachfrage an Multifeld-Visualisierungsmethoden ist die Tatsache, dass Wissenschaftler und Analysten die Interaktion zwischen mehreren in Relation zueinander stehenden Feldern erforschen wollen, um weitere Erkenntnisse über die beobachteten Phänomene zu gewinnen, um so ein tieferes Verständnis der zugrunde liegenden Prozesse zu ermöglichen. Diese Arbeit behandelt Problemstellungen, die bei der Visualisierung von Multifeld-Daten auftreten und präsentiert neue Visualisierungskonzepte und Algorithmen für eine Vielzahl von Anwendungsgebieten. Ziel ist weiterhin, diese Algorithmen auf moderne Grafikhardwarearchitekturen abzubilden, um so verstärkt eine interaktive Darstellung zu gewährleisten, die für einen kontinuierlichen Analyseprozess von großer Bedeutung ist.

Im Einzelnen enthalten die Beiträge in dieser Doktorarbeit Konzepte zur Visualisierung von Multifeld-Strömungsdaten, mit Fokus der Integration eines zusätzlichen Ungenauigkeitsparameters in die Darstellung, der bei Messung oder Simulation der Daten entstehen kann. Für die Umsetzung wird eine bildbasierte Strömungsvisualisierungstechnik, die auch als Texturadvektion bekannt ist, implementiert. Diese Technik wird erweitert, um zusätzliche Informationen zu transportieren und darzustellen.

Der zweite Schwerpunkt im Bereich der Strömungsvisualisierung basiert auf einer Technik zur Illustration von mehreren Skalarfeldern als ein logisch kombiniertes charakteristisches Skalarfeld. Der Vorteil dieser Technik liegt zum einen in der Minimierung des Speicherbedarfs, führt zu einer vereinfachten Suche und Extraktion von Strömungscharakteristiken auf dem reduzierten Feld und kann zum anderen als Kriterium verwendet werden, um Partikel in die Strömung zu injizieren. Ein weiterer Teil behandelt neue Techniken zur Multifeld-Volumenvisualisierung von mehreren zusammengehörigen skalaren Feldern aus dem medizinischen Kontext. Die primäre Herausforderung liegt hier im geeigneten Vermischen der einzelnen volumetrischen Daten, die durch verschiedene medizinische Bildgebungsverfahren erzeugt wurden. Insbesondere bei der Wahl eines spezifischen Algorithmus zur direkten Volumenvisualisierung sind hier unterschiedliche Aspekte zu beachten. Die präsentierten Lösungen beinhalten Implementierungsdetails für Raycasting sowie für das Schnittebenen-basierte Verfahren zur Visualisierung von Szenen, in denen sich mehrere Volumen überschneiden.

Der dritte Kernbereich dieser Dissertation behandelt die Videovisualisierung. Dieses Anwendungsgebiet ist ein klassischer Stellvertreter für Multifeld-Visualisierung. Hier werden beide bisher besprochenen Gebiete für die Darstellung der Multifeld-Daten kombiniert. Multifeld-Videodaten beinhalten sowohl Volumendaten von extrahierten Objekten als auch Bewegungsinformationen und somit Strömungsdaten dieser Objekte die zur Visualisierung herangezogen werden. Ziel der vorgestellten Videovisualisierungstechniken ist die Extraktion dynamischer und statischer Objekte aus einer Szene und weiterführend die Detektion von individuellen Aktionen und Relationen, die den einzelnen Objekten zugeordnet werden können. Anhand dieser gefilterten Informationen wird dann eine kontinuierliche Endlosdarstellung des Videos generiert, wobei die extrahierten Objekte in dieser Ansicht als raum-zeitliche Signaturen dargestellt werden, die für die Analyse der Daten von großem Wert sind. Eine weitere Problematik, die bei der Visualisierung von Multifeld-Daten auftitt, ist die Tatsache, dass die Existenz von mehreren, in der Regel recht großen Datenfeldern auch unweigerlich zu einem enormen Speicherbedarf führt. Der Transport großer Datenmengen vom Hauptspeicher zum Grafikspeicher ist jedoch ein wesentlicher Flaschenhals, der für die Realisierung von interaktiven Visualisierungstechniken berücksichtigt werden muss. Verschiedene Lösungsvorschläge für diese Problemstellung finden sich in dieser Dissertation in Form einer Unterteilung der Daten in einzelne Blöcke, die dann kontinuierlich zur GPU heruntergeladen werden können. Auch die Kombination und somit eine Fusion von mehreren Datenfeldern zu einem charakteristischen Datenfeld, das dann platzsparend im Grafikspeicher gelagert werden kann, wird hier vorgestellt. Da diese Form von Datenhandhabung nicht in allen Anwendungsgebieten einsetzbar ist, widmet sich das letzte Kapitel ausschließlich der Rekonstruktion von komprimierten Multifeld-Daten. Durch Approximation mittels radialer Basisfunktionen ist es möglich, komplette Multifeld-Datensätze durch eine neue Datenstruktur zu repräsentieren und so als Ganzes im GPU-Speicher zu lagern. Um diese komprimierten Multifeld-Daten darzustellen, präsentiert diese Arbeit GPU-basierte Dekodierungsalgorithmen, die eine interaktive Rekonstruktion und Visualisierung ermöglichen.