13 Zentrale Universitätseinrichtungen
Permanent URI for this collectionhttps://elib.uni-stuttgart.de/handle/11682/14
Browse
Item Open Access Analyzing music instrument playing history via an interactive visual diary(2020) Dzamashvili, AnastasiaLive-logging gewinnt an mehr und mehr Zulauf, wodurch die Herausforderung entsteht, visuelle Analysewerkzeuge an neue Datenformate anzupassen. Das in dieser Arbeit vorgestellte Konzept erlaubt es Nutzern von Musikinstrumenten, von Amateur bis professionell, aufgenommene MIDI-Daten zu sammeln und visualisieren. Benutzer können die Entwicklung ihres Repertoires über mehrere Monate mit Hilfe zweier zusammenfassender Formate analysieren. In einer Übersicht werden Aufnahmen anhand ihres Datums und ihrer Länge platziert und mit einer Farbe in abhängig von ihrem Titel versehen. Aufnahmen mit gleichem Titel oder ähnlichen Noten können interaktiv durch Bögen verbunden angezeigt werden. Für die Bestimmung der Notenähnlichkeit werden die Algorithmen von Levenshtein und Gotoh verwendet. Die Wochenübersicht zeigt Aufnahmen mit einem stärkeren Fokus auf Wochentage. Der genaue Zeitpunkt und die Dauer der Aufnahmen werden nicht dargestellt, wodurch eine klarere Ansicht entsteht. Der Ansatz der Arbeit wird in einer Fallstudie evaluiert. Dabei werden sowohl nutzergenerierte Daten, als auch, auf Grund der beschränkten Zeit, zufällig generierte Daten verwendet, die verschiedene Nutzerverhalten simulieren. Die Implementierung skaliert für bis zu mehrere hundert Aufnahmen, für einen Zeitraum größer als ein Jahr werden die Visualisierungen allerdings schwer lesbar. Die Arbeit bietet einen neuen Ansatz für das Aufzeichnen und Untersuchen von Musikaufnahmen für Musiker, die Interesse an einer Analyse ihrer Aufnahmen haben, und könnte auch attraktiv für solche sein, die bisher kein Live-logging betrieben haben, aber gerne nach Mustern in ihrem Übungsverhalten suchen möchten.Item Open Access AR driving assistant for wheelchairs(2024) Halach, TimWheelchairs are an important mobility aid for many people, but our built environment presents them with many challenges. To help those people better navigate our cities, we explore the viability of an informational driving assistant for wheelchairs. Driving assistants have already become commonplace in cars to help drivers control their cars. In this thesis, we present a prototype of a driving assistant for wheelchairs and evaluate it in a user study. To find what information the driving assistant should show to its users, we performed a requirements analysis on what information wheelchair and other mobility aid users might need from such a system and based our prototype on those findings. The results of our user study are inconclusive, because we had too few participants, but the concept itself seems promising.Item Open Access Code execution reports: visually augmented summaries of executed source code fragments(2016) Siddiqui, Hafiz AmmarUnderstanding a fragment of code is important for developers as it enables them to optimize, debug and extend it. Developers adopt different procedures for understanding a piece of code, which involves going through the source code, documentation, and profilers results. Various code comprehension techniques have suggested code summarization approaches, which generates the intended behavior of code in natural language text. In this thesis, we present an approach to summarize the actual behavior of a method during its execution. For this purpose, we create a framework that facilitates the generation of interactive and web-based natural language reports with small embedded word-size visualizations. Then, we develop a tool that profiles a method for runtime behavior, and then it processes the information. The tool uses our framework to generate a visually augmented natural language summary report that explains the behavior of the code. In the end, we conduct a small user study to evaluate the quality of our code execution reports.Item Open Access Comparative visualization across physical and parameter space(2022) Zeyfang, AdrianWe designed and developed an interactive visualization approach for exploring and comparing image sequences in the context of porous media research. Our tool facilitates the visual analysis of two-dimensional image sequence datasets captured during fluid displacement experiments in a porous micromodel. The images are aggregated into a single graph-based representation, allowing for an experiment to be visualized across its entire temporal domain. This graph is generated from the viscous flow patterns of the invading fluid, reducing the need for manual image masking and clean-up steps. The Node-Link representation of the graph is superimposed onto the raw images, creating a composite spatio-temporal view of the dataset. We demonstrate the functionality of our implementation by evaluating its output and performance on a collection of related datasets. We found that separate experiments in the same porous medium yield topologically different, yet visually similar flow graphs with comparable node positions.Item Open Access Deep learning for scatterplot similarity(2021) Maalouly, JadThrough the technology of generative models, one can now learn a distribution of his input data and generate new and similar output where it mimics the behavior of his input. Variational Auto-Encoders (VAE) are generative models where the neural network tries to learn a distribution of the latent vector I. Disentanglement using VAE’s tries to decouple the latent vector and render each dimension independent from the other. Using disentanglement we wish to learn the three basic visual properties size, shape, and color. All the different disentangled models used in this paper aim to refine the reconstruction and disentangled representation. After training our models the user will have control over the three properties. Next, wish to create a tool where the user can control the structural properties of a scatterplot. By simply training a disentangled model, we would like to gain control over the different structures of a scatterplot to generate similar data. Furthermore, we will be discussing the limitations and shortcomings of using such models.Item Open Access Deep visualization for MR-based biological age estimation(2020) Salian, Shashank RameshDeep Learning (DL) architectures proposed over recent years have been successfully applied to human data (such as medical data or facial data) to estimate age with reasonably good accuracy. However, the reasoning underlying the models' age predictions are still obscure. To address this challenge, Explainable AI (XAI) methods such as Deep Visualization (DV) have been applied to the deep learning models. Existing literature in the DV domain mainly considers image classification and object detection tasks involving two-dimensional input images. In this work, we show how DV can be applied to models handling high-dimensional medical data, and thereby identify a medical condition in a subject. The objective of this thesis is to perform a comparative study of the state-of-the-art DV techniques and adapt them for age estimation models. We use an iterative training framework to estimate the Biological Age (BA) from human brain MRI trained over a sizeable dataset across various age groups and Clinical Dementia Ratings (CDRs). We identify salient regions that affect aging by visualizing the gray matter volumes of the subjects. Further, we combine fine-grained and coarse-grained visualization techniques namely, Saliency Map Order Equivalent (SMOE) Scale saliency maps and GradCAM++ respectively to generate improved visualization maps. The differences in salient regions are observed across subjects with varying CDRs. The regions in the brain significantly affected by Alzheimer's Disease (AD) are identified based on the relative intensities in the visualization maps between healthy subjects and potential AD patients. In this work, we analyze how the application of Deep Visualization techniques bolster the theory of accelerated aging of the brain in the subjects having ailments, thereby assisting in timely diagnosis.Item Open Access Designing the next smart chair based on a posture recognition and feedback literature review(2022) Krauter, ChristianSitting is considered unhealthy, and there is an ongoing trend towards more and longer time spent seated, with no foreseeable end to this development. Research indicates that we should take frequent breaks from sitting and not sit in the same posture for extended periods. Our smart gadgets can already suggest breaks, but for more nuanced feedback about how we sit, special hardware and software are needed, two topics on which much research has already been done. Our contribution to this research is two-fold: First, we conducted a literature review of hardware used to recognize sitting posture and of feedback to help the users be aware of how they sit and suggest ways to do so healthier. Second, we built a smart chair prototype that uses various sensors to measure how the user sits and then provides visual feedback about that. Our literature review shows that recognizing sitting behavior and giving feedback about it can be solved in different ways. Our aim was to give a broad overview of the research area while putting additional focus on pressure-sensing hardware and visual feedback. Based on this, we propose to consider the following factors when selecting techniques: the environment, cost, privacy concerns, portability, and accuracy. Furthermore, the user’s capabilities and preferences should be taken into account. We also found a need for additional and more comprehensive user studies that examine the effects of different types of visual feedback. Our smart chair prototype is equipped with four pressure sensors in the seat and three distance-measuring sensors in the backrest. We consider our prototype to be an initial starting point for further work that aims to extend our approach. One possible extension would be to add a sitting posture classification algorithm. Other feedback variants could also be added and evaluated through user studies to gain more knowledge about different methods and their effects on sitting behavior. Furthermore, we suggest future work to expand upon our literature review to get a broader understanding of sitting posture recognition and feedback.Item Open Access Development of a hybrid user interface for skill-based robot programming(2024) Kolberg, JanRobot programming is a well-known and time-consuming task.\enspace Various methods have been developed over the years to simplify this process. However, most of these methods focus on a singular device for programming. This thesis applies the concept of Hybrid User Interfaces (HUI) to skill-based robot programming and tests the potential advantage of combining multiple devices to form a user interface. The developed system consists of a Head Mounted Display (HMD), a desktop application, and a smartphone application. It allows the creation and parameterization of skills to form applications, the definition of 3D positions, the simulation with a virtual robot, and the execution on a real robot. An exploratory user study was conducted to show the benefits of such HUIs for online robot programming for assembly tasks. The results show that users mostly prefer the traditional desktop interface to create the main program flow. However, the HMD and smartphone applications were still used for specific sub-tasks, like creating new positions in the 3D space, visualization of a virtual robot, or finetuning parameter values. Based on the results gathered, research questions for future research were formulated.Item Open Access Evaluating different combinations of haptic feedback devices in Virtual Reality(2023) Gebhardt, PatrickVR-based systems have been using more and more haptic feedback devices for enhancing immersion and interaction, not only in the consumer market but also in industrial applications. However, different combinations of haptic feedback devices could result in different user experiences. To evaluate different types of multimodal haptic feedback, an exemplary use case was built in which combinations of STRIVE, STROE, and SenseGlove can be used. Since the use case was developed close to typical virtual buildability working patterns in the automotive industry, only VR experts from the respective departments were invited to participate in the subsequent user study, designed to evaluate the different combinations of haptic feedback devices. Participant feedback was recorded using a haptic questionnaire and an interview to obtain a broad spectrum of feedback that provides essential information for development in the future. Feedback from participants shows that currently, a combination of collision simulation and weight force simulation by the STRIVE and STROE devices leaves the best impression. Other important findings show that haptic feedback is generally very well accepted, but that full haptic feedback is not always required, since not all haptic impressions are necessary for every work step. Thus, while haptic grasping is beneficial in some of the tasks, it cannot keep up with the simplicity of the controller due to imperfect precision, among other things. A promising prospect for the future is therefore the implementation of finger tracking in combination with collision feedback and weight simulation as a middle ground between haptic grasping and the use of a controller since the haptic feedback of STRIVEs and STROE could thus be applied directly to the user’s hand.Item Open Access Evaluation of 2D combination of eye-tracking metrics for task distinction(2019) Metin, Caglar MehmetEye-tracking techniques enable researchers to observe human behaviors by using eye tracking metrics. Machine learning is one of the techniques used in task inference. However, in our research in order to decrease the effort to analyze the task inference, we consider two combinations of different metrics on a two-dimensional scatter plot. Also, we analyze the data with K-Means clustering and correlation analysis to determine the task inference. Two-dimensional scatter plot let the analyst interact with the data in a better manner. In this thesis, we reduced the metrics dimensions, for example, calculating the mean value of the fixation durations that gave us a single value. We examined a few metrics such as crossings of saccades, first fixation duration after the onset of a stimulus, fixation duration mean, and fixation duration median. Furthermore, we created some custom metrics specifically for this research to analyze the tasks for the participants better. Next, we developed a simple game. In the game, there were three game modes for building distinctive gaze behavior. Those game modes include changes in the color tint information, size changes of the stimulus, and as a control mode, a text-only representation which does not contain any color or size differences. Finally, we made a study with six participants. They played our game to give us a dataset which we can work in the analysis with K-means clustering. Nevertheless, the results were promising and helpful in distinguishing human behavior on different tasks. However, this research is not enough for task inference, and there are further improvements which could achieve a better result than the current state.Item Open Access Exploring the extension of AR-visualization and interaction for large physical spaces(2023) Schulz, BrittaWährend sich Augmented Reality (AR) heute oft auf die Interaktion und Überlagerung von klar erreichbaren Objekten konzentriert, stellt die Navigation in riesigen, informationsreichen Umgebungen eine besondere Herausforderung dar, vor allem wenn die virtuellen Objekte weit entfernt sind, sich überlappen oder sich in einer komplexen Umgebung befinden. Die Entwicklung einer Lösung, die die visuelle Unübersichtlichkeit minimiert und gleichzeitig die wichtigsten Informationen vermittelt, ist noch nicht vollständig realisiert. Diese Arbeit untersucht die Anwendung von AR für die Visualisierung von großen Bereichen mit hoher Informationsdichte, wie zum Beispiel Produktionshallen. Sie befasst sich mit den Einschränkungen bestehender AR-Lösungen und schlägt einen Ansatz vor, der einen vordefinierten Blickpunkt als Aussichtspunkt verwendet. Die Implementierung findet in einer Fabrikhalle statt, wobei AR Head-Mounted Displays (HMD) zur interaktiven Datenüberlagerung eingesetzt werden. Zu den Herausforderungen gehören geeignete Tracking-Techniken, die Visualisierung von Daten in großen physikalischen Dimensionen und die Interaktion des Benutzers mit teilweise verdeckten Informationen von verschiedenen entfernten Orten. Eine Nutzerstudie evaluiert die geeigneten Interaktionstechniken und den Gesamtnutzen. Insgesamt zielt diese Forschung darauf ab, die Visualisierung und Interaktion in industriellen und architektonischen Kontexten zu verbessern. Die Ergebnisse zeigen, dass das System für seine Zielanwendung als hilfreich wahrgenommen wird und dass ein 2D-Übersichtsmenü aufgrund seiner Zuverlässigkeit als allgegenwärtige Interaktionsmöglichkeit gewünscht wird. Für ein besseres Nutzererlebnis wird Head Gaze oder Eye-Tracking bevorzugt. Head Gaze ermöglicht eine präzisere Zielführung, während der Eye Gaze zu einem besseren Erlebnis, mehr Immersion und weniger körperlicher Anstrengung führt. Die weit verbreitete Hand Ray Interaktion schnitt am schlechtesten ab, weil die exakte Bewegung schwierig zu lernen war.Item Open Access Eyetracking für das Zusammenspiel von Text und Visualisierung(2024) Awad-Mohammed, MiriamInmitten einer digitalen Welt, überflutet von Informationen, stellt das Lesen eine herausfordernde kognitive Aktivität dar. Der Einzug digitaler Technologien hat die Art und Weise, wie wir Informationen aufnehmen, drastisch verändert. Dies wird besonders beim Lesen von Zeitungen und Online-Nachrichtenportalen deutlich, wo Texte von auffälligen Grafiken begleitet werden und Markierungen die Wichtigkeit von Worten oder Sätzen betonen. Das Zusammenspiel von Text und Visualisierung gewinnt an Bedeutung, nicht nur für ein tieferes Verständnis, sondern auch für die Bewältigung der Informationsflut. Diese Masterthesis widmet sich der zentralen Frage: Wie beeinflussen Visualisierungstechniken unser Leseverhalten? Mit dem Einsatz von Eyetracking werden Blickbewegungen analysiert, um den Einfluss von Visualisierungstechniken auf den Leseprozess zu erforschen. Zwei Experimente stehen im Fokus, die zum einen markierte Texte, Texte mit Icons und normale Texte miteinander vergleichen und zum anderen Datenvisualisierungen in Texten und normale Texte gegenüberstellen. Die Untersuchungen kombinieren qualitative (persönliche Einschätzung und Präferenz) und quantitative Ansätze (Metriken zu Augenbewegungen, Zeit und Performance). Zusammenfassend zeigt die Arbeit, dass Visualisierungstechniken, insbesondere im ersten Experiment, vielversprechende Trends für verbessertes Leseverhalten aufweisen. Die Erkenntnisse führen zu einem angepassten Studiendesign, das in zukünftigen Projekten vertieft werden kann. Auch zeigen sie die Notwendigkeit weiterer Forschung, um das Lesen in der digitalen Ära effektiver zu gestalten.Item Open Access Hybrid parallel computing beyond MPI & OpenMP - introducing PGAS & StarSs(2011) Sethi, Muhammad WahajHigh-performance architectures are becoming more and more complex with the passage of time. These large scale, heterogeneous architectures and multi-core system are difficult to program. New programming models are required to make expression of parallelism easier, while keeping productivity of the developer higher. Partition Global Address-space (PGAS) languages such as UPC appeared to augment developer’s productivity for distributed memory systems. UPC provides a simpler, shared memory-like model with a user control over data layout. But it is developer’s responsibility to take care of the data locality, by using appropriate data layouts. SMPSs/StarSs programming model tries to simplify the parallel programming on multicore architectures. It offers task level parallelism, where dependencies among the tasks are determined at the run time. In addition, runtime take cares of the data locality, while scheduling tasks. Hence, providing two-folds improvement in productivity; first, saving developer’s time by using automatic dependency detection, instead of hard coding them. Second, save cache optimization time, as runtime take cares of data locality. The purpose of this thesis is to use the PGAS programming model e.g. UPC for different nodes with the shared memory task based parallelization model i.e. StarSs to take the advantage of the multi core systems and contrast this approach to the legacy MPI and OpenMP combination. Performance as well as programmability is considered in the evaluation. The combination UPC + SMPSs, results in approximately the same execution time as MPI and OpenMP. The current lack of features such as multi-dimensional data distribution or virtual topologies in UPC, make the hybrid UPC + SMPSs/StarSs programming model less programmable than MPI + OpenMP for the application studied in this thesis.Item Open Access Immersive Kartendarstellungen für AR-Brillen(2020) Kaiser, ArminDigitale Karten, wie sie in Autos und Mobiltelefonen genutzt werden, sind aus dem heutigen Alltag nicht mehr weg zu denken. Allerdings sind die Visualisierungsmöglichkeiten dieser Systeme durch ihre Limitierung auf zwei Dimensionen stark eingeschränkt. Mithilfe von Augmented-Reality-Geräten, wie beispielsweise der Microsoft Hololens, ist man in der Lage, die reale Welt mit dreidimensionalen virtuellen Objekten zu ergänzen. Diese Arbeit präsentiert mehrere Ansätze für Minimaps, welche es dem Benutzer einer solchen Augmented-Reality-Brille ermöglichen sollen, sich durch eine virtuelle Karte zu bewegen. Weiterhin werden verschiedene Verzerrungsalgorithmen entwickelt, welche dem Anwender die Lesbarkeit der Minimap erleichtern, indem sie die Sichtbarkeit von Elementen in unmittelbarer Nähe des Nutzers verbessern. Anschließend wird der Entwurf einer Studie präsentiert, deren Ziel darin besteht, zu testen, inwiefern diese Minimaps den Anwender bei der Navigation innerhalb der realen Welt unterstützen können.Item Open Access Immersive Miniaturkarten auf der HoloLens 2(2021) Scheurenbrand, PatrickMit dem Aufkommen von Augmented-Reality-Headsets (AR-Headsets) für Normalverbraucher entstehen neue Möglichkeiten und es stellen sich neue Fragen. Ist es beispielsweise möglich, mit AR-Headsets Kartendarstellung im Vergleich zu aktuellen Methoden grundlegend zu verbessern? Ziel dieser Arbeit war es herauszufinden, wie traditionelle Karten mit der Hilfe von AR-Headsets wieder Hololens 2, verbessert werden können. Dabei wurden unterschiedliche Kartendarstellungsarten entwickelt und untersucht. Ein großer Teil der Arbeit beschäftigt sich mit einem Kartenmodus, in welchem der Nutzer selbst in der Karte steht. Um zu verhindern, dass der Nutzer Räume verdeckt,werden diese von ihm weggeschoben. Dafür wurde einerseits eine Fisheye-Verzerrung verwendet. Anderseits wurde noch versucht, mittels der Physik-Engine die Räume zu verschieben. Die dadurch entstandenen Probleme werden besprochen und unterschiedliche Lösungsansätze werden vorgestellt. Zum Schluss wurden die Kartendarstellungsarten mittels einer Benutzerstudie evaluiert.Item Open Access Increasing trust in human-robot interaction through data visualization in augmented reality(2023) Vogelsang, Jonas“Können wir einem Roboter vertrauen?” ist eine Frage, die durch das ständige Entwickeln neuer Roboter und Interaktionstechnologien immer relevanter wird. Es ist wichtig, dass wir in ein einfaches autonomes System vertrauen können, wie zum Beispiel in eine Wettervorhersage für die Flugkontrolle. Wenn hier eine Warnung ignoriert wird, kann das desaströse Folgen haben: in Flugzeug könnte abstürzen. Vertrauen in der Mensch-Roboter-Interaktion ist ein großes Forschungsgebiet. Wir möchten zu diesem Forschungsgebiet beitragen, indem wir untersuchen, ob wir mit Hilfe von Visualisierungen das Vertrauen in Mensch-Roboter-Interaktionen mit industriellen Roboterarmen erhöhen können. Wir besprechen aktuelle Veröffentlichungen und deren Ergebnisse für die Bereiche Mensch-Roboter-Interaktion und Visualisierungen für Augmented Reality genauso wie die Forschung in das Vertrauen in Mensch-Roboter-Interaktion und die Erforschung der Nutzung diverser Daten zur Visualisierung für Augmented Reality. Mit Hilfe einer Expertengruppe haben wir neuartige Visualisierungen entwickelt und können Designvorschläge für die Entwicklung von Visualisierungen für große industrielle Roboterarme geben. Zwei der Visualisierungen wurden implementiert und mit Hilfe einer Nutzerstudie getestet. Die Ergebnisse zeigen keinen signifikanten Effekt der Visualisierungen auf eine der beobachteten Variablen, aber das zusätzliche Feedback der Studienteilnehmer in Textform zeigt ein großes Interesse an der Weiterentwicklung der Visualisierungen. Es ist also Potential vorhanden um die Visualisierungen und damit die Interaktion und das Vertrauen, in den Roboter zu verbessern.Item Open Access Influence of distractors on visual attention techniques(2022) Dörr, Nina PascaleViele Aufgaben in unserer täglichen Routine erfordern, dass wir uns auf bestimmte Bereiche konzentrieren und andere ausblenden. Vor allem bei der Visualisierung und in der Grafik ist es entscheidend, dass Datendarstellungen richtig wahrgenommen werden und der Betrachter sich auf wichtige Muster und Strukturen konzentrieren kann. Um dies zu gewährleisten, gibt es verschiedene Methoden, um die Aufmerksamkeit effizient zu lenken und wichtige Elemente hervorzuheben, sogenannte visuelle Aufmerksamkeitstechniken. Grafische Systeme wie Tablets oder andere 2D-Displays haben einen begrenzten Darstellungsbereich und es ist üblich, effiziente und computergenerierte Methoden wie Farb- oder Formvariationen anzuwenden, um interessante Objekte hervorzuheben. Mit der Anwendung von AR oder VR vergrößert sich der Darstellungsraum auf 360° um den Betrachter herum und darüber hinaus. Daher benötigt es Techniken, die den Betrachter auf Bereiche außerhalb des Sichtfeldes lenken, ohne die Wahrnehmung einer realistischen Welt zu stören. Bisherige Forschungen haben diese Art von Techniken meist in weniger immersiven, statischen Szenen ohne zusätzliche, potenziell ablenkende Elemente (Ablenkungsfaktoren) untersucht. Das Ziel dieser Arbeit ist es daher, die bisherige Forschung zu erweitern und verschiedene visuelle Aufmerksamkeitstechniken in Bezug auf unterschiedliche Grade der visuellen Ablenkung zu vergleichen. Es wird untersucht, ob der Einfluss von statischen (sich nicht bewegenden) oder dynamischen (sich bewegenden) Objekten eine Auswirkung auf die Wahrnehmung und die Aufmerksamkeitslenkung hat. Die Ergebnisse dieser Arbeit zeigen, dass Ablenkungsfaktoren die Wahrnehmung von visuellen Aufmerksamkeitstechniken in gewissem Maße beeinflussen. Außerdem ist feststellbar, dass einige Techniken in bestimmten Kontexten besser geeignet sind als andere. Es ist jedoch immer noch unklar, welche ablenkenden Faktoren eine Rolle bei der Beeinflussung der Aufmerksamkeitslenkung der Techniken spielen.Item Open Access Investigation of volume rendering performance through active learning and visual analysis(2017) Roth, StephanVolume visualization has many real world applications such as medical imaging and scientific research. Rendering volumes can be done directly by shooting rays from the camera through the volume data, or indirectly by extracting features such as iso-surfaces. Knowing the runtime performance of visualization techniques enables for optimized infrastructure planning, trained models could also be reused for interactive quality adaption. Prediction models can make use of information about renderer and datasets to determine execution times before rendering. In this thesis, we present a model based on neural networks to predict rendering times, by using volume properties and rendering configuration. Moreover, our model actively intervenes the sampling process to improve learning while decreasing the amount of necessary measurements. For this, it estimates how likely a drawn sample will improve future predictions. Our model consists of multiple submodels, using their disagreement about certain samples as criteria for possible improvement. We evaluate our model, using different sampling strategies, loss functions and volume rendering techniques. This includes predictions based on measurement data of a volume raycaster, as well as a continuous setup with interleaved execution and prediction of an indirect volume renderer. Our indirect renderer utilizes marching cubes to extract iso-surfaces as triangle mesh from a density field and organizes them in an octree. This way, highly parallel sorting on the graphics card is enabled that is necessary for rendering transparent surfaces in correct order.Item Open Access Mapping molecular surfaces of arbitrary genus to a sphere(2015) Frieß, FlorianMolecular surfaces are one of the most widely used visual representations for the analysis of molecules. They allow different properties of the molecule to be shown and allow additional information to be added, such as chemical properties of the atoms, using colour. With the usual representation of molecular surfaces being three dimensional there are common problems, such as occlusion and view-dependency. To solve these problems a two dimensional representation of the molecular surface can be created. For molecules with a surface of genus zero there are different methods of creating the sphere that is used as an intermediate object to create the map. For molecules with a higher genus this process becomes more difficult. Tunnels can only be mapped to the sphere if they are closed at some point inside the tunnel. Introducing arbitrary cuts can lead to small areas on the map. The deeper inside the tunnel the cut is placed the smaller the area. To avoid these small areas the cuts have to be placed close to the entrance of the tunnel. Therefore a mesh segmentation is performed to identify the tunnel and to create a genus zero surface for the molecule. Based on this identification further information can be displayed, such as geodesic lines showing how the tunnels are connected.Item Open Access A novel NeRF-based approach for extracting single objects and generating synthetic training data for grasp prediction models(2023) Mobasher, AnasOne of the main challenges in robotic manipulation is to grasp previously unseen objects without prior knowledge. State-of-the-art methods rely on dedicated machine learning models which are trained on RGB-Depth (RGB-D) images and annotated labels to predict grasp poses in unstructured environments and for a wide range of previously unseen objects. Collecting a diverse and labeled dataset, however, can be time-consuming and costly. To overcome these challenges, we propose to use Neural Radiance Fields (NeRF) to generate RGB-D images and to combine these with a cutting-edge automatic-labeling approach to create data for training grasp prediction networks. The main contribution of this thesis is a novel method for obtaining individual NeRFs for objects of interest and backgrounds. The method requires two input scenes: a complete scene containing an object of interest and the same scene but without the object. The steps of the method include training a NeRF on the background scene, aligning it with the object scene, combining it with another NeRF to be trained on the object scene, and joint optimization of both NeRFs with depth regularization loss added to NeRF loss. By applying this approach to various datasets, it is possible to create a library of trained object and background NeRFs. Arbitrary combinations of these NeRFs can then be used to generate novel scenes and render synthetic images for training detection networks. In a comprehensive ablation study, we employ our approach to create four distinct datasets, apply an automatic labeling pipeline to them and use them to train corresponding grasp prediction networks. The results validate the viability of NeRF-generated data for training detection models, showcasing a performance nearly on par with real data. Furthermore, our approach unveils exciting potential for scalability by facilitating the generation of novel data. Overall, this research advances the field of robotic manipulation by proving the potential of using NeRF-generated synthetic data and novel scenes to train robust grasp prediction models for real-world applications.