Ein System zum visuell hochwertigen Echtzeitrendering für Virtuelle Umgebungen

Abstract

Digitale Prototypen bilden in vielen Anwendungsbereichen heute die Grundlage für den Produktentstehungsprozeß. Systeme und Verfahren der Virtuellen Realität (VR) ermöglichen es durch ihre räumliche Visualisierung und Interaktion, digitale Prototypen in einer Art und Weise darzustellen und erlebbar zu machen, daß ein physisches Modell oft entbehrlich wird. Neben dem klassischen Anwendungsbereich CAD werden digitale Prototypen zunehmend auch im Bereich der Visualisierung von Produktgestaltungs- und Architekturentwürfen eingesetzt, was in der Visualisierung eine wesentlich höhere Qualität als bei CAD-Anwendungen erfordert. Der VR-Einsatz führt zudem immer zur Anforderung der Echtzeitfähigkeit. Vor allem für den Anwendungsbereich der Computerspiele sind zahlreiche echtzeitfähige visuelle Verfahren und Effekte entwickelt worden, die sich teilweise auch unter den besonderen Randbedingungen der VR-Visualisierung einsetzen lassen. Die im Stand der Technik im VR-Bereich eingesetzten Echtzeitrendering-Systeme unterstützen jedoch diese Verfahren nur unzureichend und machen sie zudem den End\-anwendern nicht zugänglich. Daraus resultiert ein hoher Aufwand für die Aufbereitung visuell hochwertiger VR-Modelle. Deshalb wird VR im Anwendungsbereich der hochwertigen Visualisierung nur selten eingesetzt, oder die visuelle Qualität der Darstellung liegt unter den Anforderungen der Gestalter als der eigentlichen Anwender.

In der vorliegenden Arbeit wird ein zweistufiger Lösungsansatz für diese Problematik entwickelt. Dieser addressiert zunächst den funktionalen Aspekt der Bildsynthese. Mit dem System ARS wird ein paralleles, hybrides Echtzeitrenderingsystem konzipiert und prototypisch realisiert, das den flexiblen Einsatz unterschiedlicher Visualisierungsverfahren in einem VR-System ermöglicht. Die von ARS unterstützte Parallelisierung der Bildsynthese auf Cluster aus mehreren Einzelrechnern ermöglicht den Einsatz auch solcher Renderingverfahren, die auf einem einzelnen Rechner bei der Darstellung anwendungsrelevanter Szenenkomplexitäten noch nicht echtzeitfähig sind. Die Untersuchung paralleler Renderingansätze in einer Clusterumgebung zeigt auch die Grenzen dieser Verfahren auf; diese werden vor allem durch die netzwerkbasierte Bilddatenverteilung gesetzt. Mit dem Entwurf eines kaskadierbaren, kostengünstigen Hardwaresystems zum Zusammensetzen des Endbildes auf der Basis digitaler Videosignale wird ein Weg aufgezeigt, diese Beschränkung zu überwinden. Das System ARS bildet damit eine technische Grundlage für eine hochwertige, effizient nutzbare VR-Visualisierung. Das hybride, parallele Konzept des Systems ARS ist zudem offen gegenüber neuen Renderingverfahren wie Raytracing und damit zukunftssicher.

Der zweite Aspekt des entwickelten Lösungsansatzes ist die Integration der hochwertigen VR-Visualisierung in den digitalen Produktentstehungsprozeß, der eine wesentliche Voraussetzung für den ökonomischen Einsatz des Systems ist. Hierzu wird die im Stand der Technik übliche Vorgehensweise analysiert und daraus resultierend ein optimierter Prozeß konzipiert. Zur Implementierung dieses Prozesses wird das Softwarewerkzeug VRfx entwickelt, das es Endanwendern erstmals ermöglicht, den Prozeß der hochwertigen VR-Visualisierung vollständig zu beherrschen, ohne daß VR-Spezialisten involviert werden müssen. Zur einfachen Erweiterung der Visualisierung um räumliche Benutzungsschnittstellen wird eine Bibliothek aus wiederverwendbaren Schnittstellenelementen (Widgets) entwickelt.

Als Resultat der Arbeit stehen das Basissystem ARS und das darauf aufbauende Anwendungs-Softwarewerkzeug VRfx zur Verfügung, das gegenüber dem Stand der Technik eine wesentliche Steigerung der visuellen Qualität der VR-Visualisierung ermöglicht und diese zudem effizient nutzbar macht. Die erreichten Verbesserungen können in verschiedenen Visualisierungsprojekten nachgewiesen werden.

Many stages of today's product development process rely more or less entirely on digital prototypes. By providing scale-correct spatial visualization and spatial interaction, Virtual Reality (VR) systems and applications allow users to perceive digital prototypes at a level of fidelity which makes physical prototypes unnecessary in many cases. Besides the established application area of CAD-related review tasks, VR visualization is gaining increasing relevance in review and presentation of industrial and architectural designs. This application domain requires a considerably higher level of visual quality than what's needed for CAD-related use cases.

Mainly driven by the computer games market, a lot of visual effects and rendering techniques have been developed which target towards higher visual realism. VR systems and computer games have significant similarities considering image synthesis, most importantly real-time capability. Thus, many visualization techniques developed for computer games can be adopted for use in VR visualization. However, a major difference between computer games, where the digital model (i.e. the game content) itself is the product, and VR applications, where the digital model is only a medium in the design process, is that the acceptable amount of work to create or prepare the model is by orders of magnitude less.

In the state-of-the-art of VR image synthesis, support for advanced rendering techniques is missing or insufficient, and they are not exposed to the end user in a convenient way. Also, rendering methods other than the programmable graphics pipeline, particularly raytracing, are not used in state-of-the-art VR systems. As a result, the achievable visual quality in VR visualization is limited, and high preparation effort is required, the latter considerably reducing the economic benefit of using VR. Consequently, VR visualization is used only infrequently for industrial and architectural design review tasks, or the visual quality is below what's requested from the product designers and architects as the end users.

In this thesis, a two-level solution approach is pursued to tackle this problem. The first level addresses the functional aspect of real-time image synthesis. A parallel, hybrid real-time rendering system, named ARS (Advanced Rendering System), is conceived and prototypically realized. ARS allows the flexible use of different visualization techniques in a VR system. ARS supports the parallelization of the image synthesis on a cluster of multiple PCs which are interconnected through a standard network. This makes it possible to use rendering methods which are not yet real-time capable on a single PCs if used with application-relevant model data complexities. The investigation of parallel rendering approaches in a cluster environment also shows their limitations, which are mainly established by the network-based image data transmission, particularly when avoiding the use of special high-bandwidth network hardware. To overcome this bottleneck, a cascadable, hardware-based image compositor is conceived as an alternative to network image data transmission. This compositor can be realized at considerably lower cost than existing systems, allowing an economic use in productive environments. The hybrid, parallel concept of ARS is open towards new real-time rendering techniques, which makes it future-proof.

The second level of the solution approach of this thesis is the integration of the image synthesis capabilities provided by the system ARS into the visualization process of digital product development and architectural design. This is a major requirement for an economical use of the system. To achieve this, the state-of-the-art process integration is analyzed, and an optimized process is conceived. To implement this process, the software tool VRfx is developed, which allows, for the first time, end users to master the complete process of VR visualization without needing to consult VR specialists. To facilitate the implementation of spatial user interfaces for use in visualization projects, a library of reusable interface elements (3D widgets) is developed.

As the result of this thesis, the rendering system ARS and the application VRfx based on it are available, which together not only allow a considerable enhancement of the visual quality of VR visualization, but also makes this level of quality available in a productive environment. The improvements accomplished are demonstrated in a number of visualization projects which were conducted using the system developed in this thesis.