Bridging the gap between volume visualization and medical applications

Abstract

Direct volume visualization has been established as a common visualization technique for tomographic volume datasets in many medical application fields. In particular, the introduction of volume visualization techniques that exploit the computing power of modern graphics hardware has expanded the application capabilities enormously. However, the employment of programmable graphics processing units (GPUs) usually requires an individual adaption of the algorithms for each different medical visualization task. Thus, only few sophisticated volume visualization algorithms have yet found the way into daily medical practice. In this thesis several new techniques for medical volume visualization are presented that aid to bridge this gap between volume visualization and medical applications. Thereby, the problem of medical volume visualization is addressed on three different levels of abstraction, which build upon each other. On the lowest level a flexible framework for the simultaneous rendering of multiple volume datasets is introduced. This is needed when multiple volumes, which may be acquired with different imaging modalities or at different points in time, should be combined into a single image. Therefore, a render graph was developed that allows the definition of complex visualization rules for arbitrary multi-volume scenes. From this graph GPU programs for optimized rendering are generated automatically. The second level comprises interactive volume visualization applications for different medical tasks. Several tools and techniques are presented that demonstrate the flexibility of the multi-volume rendering framework. Specifically, a visualization tool was developed that permits the direct configuration of the render graph via a graphical user interface. Another application focuses on the simultaneous visualization of functional and anatomical brain images, as they are acquired in studies for cognitive neuroscience. Moreover, an algorithm for direct volume deformation is presented, which can be applied for surgical simulation. On the third level the automation of visualization processes is considered. This can be applied for standard visualization taks to support medical doctors in their daily work. First, 3D object movies are proposed for the representation of automatically generated visualizations. These allow intuitive navigation along precomputed views of an object. Then, a visualization service is presented that delegates the costly computation of video sequences and object movies of a volume dataset to a GPU-cluster. In conclusion, a processing model for the development of medical volume visualization solutions is proposed. Beginning from the initial request for the application of volume-visualization techniques for a certain medical task, this covers the whole life cycle of such a solution from a prototype to an automated service. Thereby, it is shown how the techniques that where developed for this thesis support the generation of the visualization solutions on the different stages.

Die direkte Volumenvisualisierung hat sich in vielen medizinischen Anwendungsgebieten als allgemeine Visualisierungstechnik für tomographische Volumendatensätze etabliert. Insbesondere die Einführung von Volumenvisualisierungstechniken, die die Rechenleistung moderner Graphikhardware ausnutzen, hat die Anwendungsmöglichkeiten stark erweitert. Allerdings erfordert der Einsatz von programmierbaren Graphikprozessoren (GPUs) normalerweise für jede unterschiedliche Visualisierungsaufgabe die individuelle Anpassung der angewendeten Algorithmen. Deshalb haben bisher nur wenige technisch anspruchsvolle Volumenvisualisierungsalgorithmen den Weg in die tägliche medizinische Praxis gefunden. In dieser Arbeit werden mehrere neue Visualisierungstechniken vorgestellt, die dabei helfen, diese Lücke zwischen Volumenvisualisierung auf der einen Seite und medizinischen Anwendungen auf der anderen Seite zu schließen. Dabei wird das Problem der medizinischen Volumenvisualisierung auf drei unterschiedlichen, aufeinander aufbauenden Ebenen behandelt. Auf der untersten Ebene wird ein flexibles Framework für die simultane Visualisierung mehrerer Volumendatensätze eingeführt. Dieses wird benötigt, wenn mehrere Volumendatensätze, die beispielsweise zu unterschiedlichen Zeitpunkten oder mit unterschiedlichen Aufnahmetechniken erfasst wurden, in einer einzigen Darstellung kombiniert werden sollen. Hierfür wurde der sogenannte Rendergraph entwickelt, der die Festlegung komplexer Visualisierungsvorschriften für beliebige, aus mehreren Volumina bestehenden Szenen ermöglicht. Aus diesem Graphen werden automatisch GPU-Programme für das optimierte Rendering generiert. Die zweite Hierarchieebene umfasst interaktive Volumenvisualisierungsanwendungen für unterschiedliche medizinische Zwecke. Hier werden mehrere Werkzeuge und Techniken präsentiert, die die Flexibilität des Multivolumenrenderingframeworks veranschaulichen. Im Speziellen wird ein Visualisierungswerkzeug vorgestellt, das es ermöglicht, den Rendergraphen direkt über die graphische Benutzerschnittstelle zu konfigurieren. Eine andere Anwendung fokussiert auf die gleichzeitige Darstellung von funktionellen und anatomischen Aufnahmen des Gehirns, die beispielsweise im Rahmen von kognitiven Studien erfasst werden. Darüber hinaus wurde ein Algorithmus für die direkte Deformation von Volumendatensätzen entwickelt, der in der Chirurgiesimulation eingesetzt werden kann. Auf der dritten Hierarchiebene wird die Automatisierung von medizinischen Visualisierungsprozessen betrachtet. Diese kann für Standardvisualsierungsaufgaben zur Unterstützung von Medizinern in ihrer täglichen Arbeit eingesetzt werden. Für die Darstellung der Visualisierungsergebnisse werden 3D-Objectmovies vorgeschlagen, die eine interaktive Navigation entlang vorberechneter Ansichten eines Objektes ermöglichen. Außerdem wird ein Visualsierungsservice vorgestellt, der die teure Berechnung von Videos und 3D-Objectmovies auf einen GPU-Cluster auslagert. Abschließend wird ein Vorgehensmodell für die Entwicklung von Volumenvisualisierungslösungen vorgeschlagen. Ausgehend von der initialen Anforderung, Volumensvisualisierungtechniken für eine bestimmte medizinische Aufgabe einzusetzen, umfasst dieses Vorgehensmodell den kompletten Lebenszyklus einer Visualisierungslösung, von einem Prototypen bis hin zu einem automatisierten Visualisierungsservice. Hierbei wird gezeigt, wie die im Rahmen der vorliegenden Arbeit entwickelten Techniken die Erstellung der Visualisierungslösungen auf den unterschiedlichen Stufen unterstützen.