Simulation and rendering of light field data in the Mitsuba renderer

Abstract

Light fields offer the opportunity to change properties of pictures, even after they were shot. There is no possibility of recording all four necessary dimensions of a light field with a 4D camera, but many different techniques for generating light fields from normal 2D pictures exist. Comparing the quality and usability of these techniques is however difficult, because they often only rely on prototypes or are complex and costly to reproduce. Virtual simulations of theses techniques offer an easy and fast method for such comparisons. The rendering of light fields can be done with normal render software, but which render method is best suited for it, is unclear. This thesis wants to answer the question if the Mitsuba renderer is capable of simulating the acquisition of light fields and rendering light field data. In several simulations, Mitsuba will be used to create light fields from multiple test scenes. In addition, virtual light field data will be rendered with Mitsuba in different ways. Each time it will be evaluated, which of Mitsubas rendering methods are well suited for the task and which are not. In each case the required time and image quality of the results will be assessed. Because Mitsuba does not support light fields by default, a custom software framework was implemented for simulations and tests. The framework allows to use Mitsuba for light field acquisition and adds the functionality to render light field data to Mitsuba. The thesis will show that Mitsubas methods of rendering are absolutely capable of creating synthetic light fields or rendering them. Depending on the use case however, the choice for the right rendering technique differs. For example, some methods are not capable of creating light fields of specific scenes, while other methods can not be used for rendering.

Lichtfelder ermöglichen es Eigenschaften von Bildern auch nach der Aufnahme zu ändern. Es gibt zwar keine Möglichkeit die vier notwendigen Dimensionen eines Lichtfeldes direkt mit einer 4D Kamera aufzunehmen, aber es gibt zahlreiche und sehr unterschiedliche Techniken um Lichtfelder aus normalen 2D Bildern zu generieren. Diese Aufnahmetechniken miteinander auf Qualität oder Nutzbarkeit zu vergleichen, gestaltet sich allerdings schwierig, da sie größtenteils nur auf Prototypen basieren oder sehr aufwendig und teuer zu reproduzieren sind. Virtuelle Simulation solcher Techniken bietet eine einfache und schnelle Möglichkeit für solche Vergleiche. Das Rendern von Lichtfeldern kann durch normale Rendersoftware erfolgen, aber hier stellt sich die Frage, welche Rendermethoden am besten dafür geeignet sind. Diese Arbeit soll klären, ob der Mitsuba Renderer dazu genutzt werden kann, um Lichtfeldaufnahmen zu simulieren und Lichtfelddaten zu rendern. Dabei wird Mitsuba in mehreren Simulationen dazu benutzt werden, um Lichtfelder von verschiedenen Testszenen zu erzeugen. Außerdem werden anschließend virtuell erzeugte Lichtfelder mit Hilfe von Mitsuba auf mehrere Arten gerendert werden. Dabei wird jeweils evaluiert, welche Rendermethoden von Mitsuba sich gut oder gar nicht für die Aufnahme oder das Rendern eignen. Dabei wird sowohl die Laufzeit als auch die erzeugte Bildqualität bewertet werden. Da Mitsuba den Umgang mit Lichtfeldern nicht standardmäßig unterstützt, wurde speziell ein Software Framework erstellt, um die Simulationen und Tests durchzuführen. Das Framework ermöglicht die Lichtfeldaufnahme mit Mitsuba und erweitert Mitsuba um die Funktion Lichtfelddaten zu rendern. Es wird sich zeigen, dass sich die Rendermethoden von Mitsuba im allgemeinen durchaus dafür eignen Lichtfelder synthetisch aufzunehmen oder zu rendern. Welche Rendermethode dabei allerdings zu bevorzugen ist, unterscheidet sich von Anwendungsfall zu Anwendungsfall. Einige Methoden sind zum Beispiel nicht dazu geeignet Lichtfelder von bestimmten Szenen aufzunehmen, während andere nicht zum Rendern genutzt werden können.