Browsing by Author "Fritsch, Dieter (Prof. Dr.-Ing.)"

Now showing 1 - 9 of 9

Open Access
Ableitung von Bewegungsstrategien zur automatisierten, vollständigen Vermessung von Innenraumszenen auf autonomnavigierender Plattform
(2012) Fietz, Alexander; Fritsch, Dieter (Prof. Dr.-Ing.)
Die Selbstlokalisierung eines autonomen mobilen Roboters in der Umgebung ist eine seiner grundlegenden Aufgaben. Eine präzise Lokalisierung ist für viele Applikationen notwendig. Eine Vorrausetzung dafür ist das Vorliegen einer genauen und vollständigen Karte. Während die durch den Roboter erzeugte Karte bei typischen Robotikanwendungen ein notwendiges Nebenprodukt darstellt, rückt diese bei einer Betrachtung von vermessungstechnischer Seite in den Fokus. Es stellt sich die Frage, inwiefern sich die gesammelten Raumdaten bezüglich der Genauigkeit, der Vollständigkeit und des Detaillierungsgrades für eine Umgebungskartierung eignen, die den Anforderungen eines menschlichen Nutzers genügt. Im Alltag benötigt dieser exakte Modelle von Innenräumen, deren Beschaffung häufig mit großem Aufwand verbunden ist. Eine vollautomatische Generierung dieser Innenraummodelle wäre für ihn daher wünschenswert. Die Arbeit soll hierzu einen Beitrag leisten und versucht die Verfahren und Mittel zusammenzustellen, die notwendig sind, um das Modell einer Innenraumszene quasi ”per Knopfdruck“ zu erhalten. Konzipiert wurde ein mobiles Messsystem, durch das sich Innenraumumgebungen vollständig und mit möglichst hoher Genauigkeit in 2D als auch in 3D einmessen lassen. Der Aufbau des Messsystems erfolgte in zwei Stufen. In einer Basisstufe wurde eine mobile Plattform mit einem Low-Cost Laserscanner ausgestattet, um eine 2D-Exploration von Innenraumszenen zu ermöglichen. In einer Ausbaustufe erlaubt die Anbringung einer Digitalkamera eine zusätzliche 3D-Rekonstruktion, basierend auf der Anwendung photogrammetrischer Methoden. In der Arbeit werden Positionierungsstrategien für die 2D als auch die 3D Vermessung vorgestellt, deren primäres Ziel eine Genauigkeitsmaximierung der resultierenden Raumdaten ist. Im ersten Teil der Arbeit wird ein 2D-Messsystem vorgestellt, dass in der Lage ist, unbekannte Innenraumszenen zu erkunden und exakte Grundrisspläne von diesen zu erstellen. Dabei fährt das System iterativ Messposen an, die durch eine Positionierungsstrategie bestimmt werden. Die an den einzelnen Messpositionen aufgezeichneten 2D-Punktwolken werden über ein Scan-Matching Verfahren in einem gemeinsamen Koordinatensystem registriert. Die Positionierungsstrategie beruht auf einer globalen Betrachtung der Umwelt als Verkettung von Liniensegmenten. Da die Enden dieser Segmente auf Datenlücken hinweisen, wird über diese die Exploration einer Szene bis zu deren vollständiger Erfassung vorangetrieben. Der zweite Teil der Arbeit stellt eine Positionierungsstrategie vor, durch die sich ein Aufnahmeverband aufnehmen lässt, mit dem eine photogrammetrische Rekonstruktion möglich ist. Bereits vor der eigentlichen Aufnahme werden mögliche Posenkonfigurationen über eine Genauigkeitsabschätzung eruiert. Die Annahme, sich in ebenen Umgebungen zu bewegen, ermöglicht eine Einschränkung der Wahl möglicher Kameraposen auf ein 2D Suchproblem. Ausgangsinformation der Posebestimmung ist die 2D-Umgebungskarte, die sich durch das vorgestellte 2D Messsystem erstellen lässt. Aus dieser werden iterativ pseudozufällige Posenkonstellationen für definierte Umgebungsbereiche abgeleitet und anhand einer Kostenfunktion miteinander verglichen. Die Kostenfunktion versucht die im Bündelausgleich entstehenden Varianzen der Objektpunkte abzuschätzen. Dies ist möglich, indem auch das funktionale Modell des Bündelausgleichs auf eine 2D Betrachtung reduziert wird, wobei ein 2D-Richtungsnetz entsteht. Form und Größe der resultierenden Fehlerellipsen lassen Rückschlüsse auf die Güte möglicher Kameraposen zu und erlauben eine vergleichende Evaluierung. Ein wesentlicher Teil der Arbeit beschäftigt sich mit der empirischen Evaluierung der Systeme, um deren Leistungsvermögen und die Güte der resultierenden Raumdaten zu erörtern. Anhand von Versuchen in realen Umgebungen wird die praktische Anwendbarkeit der entwickelten Messverfahren belegt. Im Falle der scannenden Vermessung belegen die Experimente, dass das entwickelte Messsystem auch komplexe Innenraumszenarien einzumessen und zu explorieren vermag. Eine Betrachtung der erstellten Punktwolke zeigt, dass deren Genauigkeit vielen vermessungstechnischen Ansprüchen genügt und das Verfahren diesbezüglich herkömmlichen Messmitteln überlegen ist. Bei einer anschließenden Modellierung werden jedoch feinere Umgebungsstrukturen fälschlich abgebildet oder gehen ganz verloren. Auch die 3D-Messstrategie ist existierenden Strategien nachweislich überlegen. Das rein passive Verfahren führt jedoch zu Punktwolken, die nicht dicht genug sind, um mit entsprechender Software detaillierte Umgebungsmodelle erzeugen zu können.
Open Access
Automatic model reconstruction of indoor Manhattan-world scenes from dense laser range data
(2013) Budroni, Angela; Fritsch, Dieter (Prof. Dr.-Ing.)
Three-dimensional modeling has always received a great deal of attention from computer graphics designers and with emphasis on existing urban scenarios it became an important topic for the photogrammetric community and architects as well. The generation of three-dimensional models of real objects requires both efficient techniques to acquire visual information about the object characteristics and robust methods to compute the mathematical models in which this information can be stored. Photogrammetric techniques for measuring object features recover three-dimensional object profiles from conventional intensity images. Active sensors based on laser measurements are able to directly deliver three-dimensional point coordinates of an object providing a fast and reliable description of its geometric characteristics. In order to transform laser range data into consistent object models, existing CAD software products establish a valid support to manual based approaches. However, the growing use of three-dimensional models in different field of applications brings into focus the need for automated methods for the generation of models. The goal of this thesis is the development of a new concept for the automatic computation of three-dimensional building models from laser data. The automatic modeling method aims at a reconstruction targeted on building interiors with an orthogonal layout. For this purpose, two aspects are considered: the extraction of all surfaces that enclose the interior volume and the computation of the floor plan. As a final result, the three-dimensional model integrates geometry and topology of the interior in terms of its boundary representation. The main idea underlying the automatic modeling is based on plane sweeping, a technique referable to the concept of sweep representation used in computer graphics to generate solid models. A data segmentation driven by the sweep and controlled by a hypothesis-and-test approach allows to assign each laser point to a surface of the building interior. At the next step of the algorithm, the floor plan is recovered by cell decomposition based on split and merge. For a successful generation of the model every activity of the reconstruction workflow should be taken into consideration. This includes the acquisition of the laser data, the registration of the point clouds, the computation of the model and the visualization of the results. The dissertation provides a full implementation of all activities of the automatic modeling pipeline. Besides, due to the high degree of automation, it aims at contributing to the dissemination of three-dimensional models in different areas and in particular in BIM processes for architecture applications.
Open Access
Automatische Ableitung und Anwendung von Regeln für die Rekonstruktion von Fassaden aus heterogenen Sensordaten
(2011) Becker, Susanne; Fritsch, Dieter (Prof. Dr.-Ing.)
3D-Stadtmodelle finden seit einigen Jahren in immer stärkerem Maß und in den verschiedensten Bereichen Verwendung. Sie bilden unter anderem die Grundlage bei Stadtplanungen, für virtuelle Stadtrundgänge oder für die Berechnung von Simulationen. Internetdiensten wie Google Earth oder Microsoft Bing Maps ist es zu verdanken, dass 3D-Darstellungen von Gebäuden mittlerweile auch für eine breite Öffentlichkeit allgegenwärtig sind. Die erhöhte Nachfrage nach 3D-Gebäudemodellen verlangt nach effizienten Rekonstruktionsmethoden, die sich vor allem durch einen hohen Automationsgrad auszeichnen. Als Datengrundlage werden häufig luftgestützt erfasste LiDAR-Punktwolken oder Bilder eingesetzt. In der Natur dieser Daten liegt es begründet, dass die daraus rekonstruierten Gebäude üblicherweise zwar detaillierte Dachstrukturen, aber ebene, nicht ausmodellierte Fassadenflächen besitzen. Neue Trends in der Computergraphik, der Unterhaltungsindustrie oder im Bereich der Navigationssysteme treiben jedoch die Entwicklung wesentlich komplexerer und realistischerer Modelle voran. Der geforderte Detailreichtum ist dabei nicht auf die geometrische Ausgestaltung der Gebäudefassaden beschränkt, sondern bezieht ebenso den semantischen Informationsgehalt mit ein. Die für das Anreichern ebener Fassadenflächen notwendige Strukturinformation wird in der Regel aus terrestrisch erfassten LiDAR-Punktwolken oder Bilddaten abgeleitet. Rein datengetriebene Auswertungen führen nur bei qualitativ hochwertigen Messungen zu sicheren und realitätsnahen Ergebnissen. Je nach Aufnahmekonfiguration und Sensorgenauigkeit weisen Datensätze jedoch häufig eine heterogene Qualität bezüglich Genauigkeit, Abdeckung und Dichte auf. Dies gilt sowohl für Daten aus hoch spezialisierten Messsystemen, wenn beispielsweise Sichthindernisse zu partiellen Verdeckungen führen, als auch insbesondere für Daten aus kostengünstigen, einfach einsetzbaren Sensoren. Um auch im Fall unscharfer oder unvollständiger Sensordaten realistische 3D-Geometrien erzeugen zu können, muss die Rekonstruktion durch Objektwissen gestützt werden. Entsprechende Algorithmen integrieren Wissen beispielsweise in Form vordefinierter Regelsysteme, die eine prozedurale Modellierung von Gebäudestrukturen in einem bestimmten vorgegebenen architektonischen Stil erlauben. Ziel der Arbeit ist die Verfeinerung bestehender grober Gebäuderepräsentationen, indem Fassadenelemente wie Fenster oder Türen in Form expliziter 3D-Geometrien mit bekannter Semantik integriert werden. Die Fassadenrekonstruktion soll vollautomatisch ablaufen und robust gegenüber fehlerhaften und unvollständigen Sensordaten sein. Zudem soll sie möglichst wenig vordefinierten Regeln unterworfen sein. Realisiert wird dies über eine Kombination datengetriebener und wissensbasierter Methoden. Die datengetriebene Komponente beruht im Wesentlichen auf der Interpretation terrestrischer LiDAR-Daten und auf dem Prinzip der Zellenzerlegung. In Gebäudebereichen mit guter Sensordatenqualität werden 3D-Fassadengeometrien extrahiert. Sie repräsentieren für das jeweilige Gebäude charakteristische Strukturen und dienen somit als eine Art Wissensbasis, aus der eine formale Grammatik, eine sogenannte Fassadengrammatik, automatisch abgeleitet werden kann. Durch eine Segmentierung der Fassade in semantisch homogene Regionen werden in einem ersten Schritt die Grundbausteine der Grammatik, die Terminale, bestimmt. Ausgedrückt als eine Sequenz von Terminalen kann die Fassade anschließend über einen stringbasierten Algorithmus auf wiederkehrende und hierarchische Strukturen untersucht werden. Die erkannten Strukturen werden automatisch in Produktionsregeln überführt; die Fassadengrammatik ist damit vollständig bestimmt. Sie enthält die Information, die zur Rekonstruktion von Gebäuden im Stil der beobachteten Fassade notwendig ist. Durch Anwendung der Produktionsregeln kann sie genutzt werden, um selbst für solche Fassadenbereiche realistische Fassadenstrukturen zu generieren, die entweder gar nicht beobachtet wurden oder mit Sensordaten von nur ungenügender Qualität abgedeckt sind. Das Potenzial des vorgestellten Ansatzes wird anhand von Ergebnissen aufgezeigt. Für die Bewertung der erzeugten Fassadenmodelle werden Qualitätsmetriken bereitgestellt, über die sich eine Aussage treffen lässt, wie gut das architektonische Erscheinungsbild des jeweiligen Gebäudes wiedergegeben ist. Das Verfahren zur Fassadenrekonstruktion erweist sich als geeignet, um mit Beobachtungsdaten heterogener Qualität umzugehen, und ist darüber hinaus flexibel hinsichtlich der darstellbaren Fassadenstrukturen.
Open Access
Automatische Interpretation von Semantik aus digitalen Karten im World Wide Web
(2014) Luo, Fen; Fritsch, Dieter (Prof. Dr.-Ing.)
Im Internet befindet sich eine sehr große Menge an raumbezogenen Daten, die in Form von Raster- und Vektorkarten unterschiedliche Ausschnitte der Welt darstellen. Die in diesen Karten enthaltenen Informationen sind jedoch nicht automatisch auffindbar, da sie mittels bestimmter Kartenelemente kodiert sind. Ihre Semantik wird erst bei der Interpretation durch einen Betrachter explizit. Die Kar-teninformationen sollen jedoch nicht nur von Menschen, sondern auch von Maschinen interpretiert werden können. Dies erfordert schon die große Menge der zu interpretierenden Daten. Die automati-sche Ableitung der Semantik aus den Karten wird unter dem Begriff Automatische Karteninterpreta-tion zusammengefasst. Es handelt sich dabei also um einen Prozess, der implizites Wissen eines Kar-tenbestandes explizit macht. Hierzu soll die vorliegende Arbeit Lösungen in Form der Karteninterpre-tation anbieten. Die Karteninterpretation dieser Arbeit erfolgt an Vektorkarten, die im Internet zu finden sind. Für die gezielte Suche der Vektorkarten des Internets wird eigens ein Webcrawler entwickelt. Der Webcrawler ist eine Suchmaschine, die speziell nach Vektorkarten sucht. Dazu wird ausschließlich das Shapefile-Dateiformat gesucht, das sich zu einer Art Standardformat im GIS-Umfeld entwickelt hat und in dem die Vektorkarten zumeist abgespeichert sind. Um möglichst viele Shapefiles zu finden, wird die Suche auf Servern betrieben, auf denen die Wahrscheinlichkeit Shapefiles zu finden hoch ist. Diese Server werden zuvor durch Google-Suche nach dem Schlüsselwort „shapefile download“ gefunden. Die Karteninterpretation umfasst Verfahren zur Interpretation der Kartenobjekte, der Kartentypen so-wie des Maßstabs. Zunächst soll das Verfahren zur Interpretation der Objekte einer Karte vorgestellt werden. Hier geht es darum, die Objekte anhand ihrer spezifischen Charakteristika automatisch zu erkennen. Die Ob-jekterkennung basiert auf SOM (Self-Organizing Map), bekannt aus der künstlichen Intelligenz. Die Kartenobjekte werden in Klassen wie beispielsweise Gebäudegrundriss oder Straßennetz gegliedert. Für jede Klasse sollen die ihr jeweils eigenen Merkmale gefunden und in eine der SOM zugängliche Form, hier als Parametervektor, gebracht werden. Die Parametervektoren bilden die Eingabemuster, die in der Lernphase von SOM gelernt werden. Nachdem die Eingabemuster aller Objektklassen von SOM gelernt wurden, wird der Parametervektor für jedes auf der Karte vorliegende Objekt ausgewertet und in die SOM eingegeben. Durch das zunächst erfolgte Lernen der Eingabemuster können die Ob-jekte anhand ihrer jeweils berechneten Parametervektoren der entsprechenden Objektklasse zugeord-net werden. Als weiteres Verfahren soll die Interpretation des Kartentyps vorgestellt werden. Karten sind nach ihrem inhaltlichen Gehalt und Zweck in Kartentypen wie beispielsweise Flusskarten, Straßenkarten, Höhenlinienkarten etc. kategorisiert. Wie bei der Interpretation der Objekte wird auch hierzu die SOM verwandt. Es werden also auch Eingabemuster gelernt, die die geometrischen Merkmale der Karten-typen repräsentieren. Die Merkmale ergeben sich sowohl aus der Struktur der einzelnen Objekte als auch aus der Topologie zwischen den Objekten auf einer Karte. Wird nun eine Karte in die SOM eingegeben, so erkennt die SOM anhand des gelernten Eingabemusters den entsprechenden Kartentyp. Zusätzlich erhält man den Dateinamen der Karten sowie den Inhalt der Webseite, auf welcher die Karte gefunden wurde. So wird in der vorliegenden Arbeit ebenfalls untersucht, inwiefern diese Zusatzin-formationen bei der Interpretation des Kartentyps helfen können. Die automatische Interpretation des Maßstabs ist neben der Interpretation der Kartenobjekte und Kar-tentypen ein weiteres Verfahren, das in der vorliegenden Arbeit diskutiert werden soll. Die Interpreta-tion des Maßstabs wird auf zwei Wegen vorangetrieben: Die Mehrfachrepräsentation und die Detail-lierungsgrade. Im ersten Fall kann der Maßstab aus der entsprechenden Repräsentation hergeleitet werden, da ein identisches Objekt in unterschiedlichen realitätsgetreuen Repräsentationen auf der Karte dargestellt wird. Im zweiten Fall kann der Maßstab aus den Detaillierungsgraden abgeleitet wer-den. Dies basiert darauf, dass die Karten mit verschiedenen Maßstäben unterschiedlich detailliert dar-gestellt werden.
Open Access
Crowd-sourced reconstruction of building interiors
(München : Verlag der Bayerischen Akademie der Wissenschaften, 2016) Peter, Michael; Fritsch, Dieter (Prof. Dr.-Ing.)
Location-based services (LBS) have gained huge commercial and scientific interest in recent years, due to the ubiquitous and free availability of maps, global positioning systems, and smartphones. To date, maps and positioning solutions are mostly only available for outdoor use. However, humans spend most of their time indoors, rendering indoor LBS interesting for applications such as location-based advertisement, customer tracking and customer flow analysis. Neither of the two prerequisites for indoor LBS - a map of the user's environment and a positioning system - is currently generally available: Most positioning methods currently under scientific investigation are based either on fingerprint maps of electro-magnetic signals (e.g. WiFi) or inertial measurement units. To overcome the flaws of these methods, they are often supported by models for the human movement which in turn rely on indoor maps. Ready-made maps, on the other hand, are generally unavailable due to indoor mapping being mostly manual, expensive and tedious. The vast amount of unmapped indoor space therefore calls for the transfer of methods used by Volunteered Geographic Information (VGI) communities like OpenStreetMap to indoor mapping. These methods comprise the digitization of features of interest such as building outlines from aerial images released to the community and the use of position traces. In this thesis, approaches are illustrated which can serve to enable this transfer. On the one hand, the thesis shows how photographs of evacuation plans - which are a compulsory part of the safety equipment of publicly used buildings in many countries - can substitute for the aerial images in the indoor domain. Due to the standardised nature of such plans, the manual digitization employed by VGI mappers in the outdoor domain can be replaced by an automatic reverse-engineering pipeline. To this end, the image is pre-processed and symbols, which depict evacuation routes or emergency equipment, are detected. Subsequently, foreground objects (i.e. walls) are distinguished from the background using an adequate binarisation operation. Based on the binary image, the sought-after vector information can be extracted by skeletonisation and skeleton tracing. The model is finalised by a bridging operation of the previously detected symbols which occlude parts of walls or stairs. As the model resulting from these operations is only available in a coordinate system defined by the original image, the transformation to a world-coordinate system or, at least, the unknown scale has to be determined. To this end, the indoor model is matched to an available model of the building's external shell. By detection of stairs, an approximate floor height can be computed and the 2D model is extruded to a 3D model. On the other hand, geometric features and semantic annotations may be added to existing models using pedestrian traces recorded by an indoor positioning system. As suitable generally available and low-cost systems do not exist yet, their existence is simulated in this work by a dead-reckoning system basing on a foot-mounted inertial measurement system. Methods for the derivation of the initial position and orientation necessary for the application of such a system are shown, as well as methods enabling the correction of remaining errors. The latter comprise an alignment approach using the external building shell and a map-matching method which employs the existing coarse model derived from the evacuation plan. Building on the collected pedestrian traces, semi-automatic and automatic approaches for the existing models' semantic and geometric refinement are presented which range from semantic annotation using the analysis of photographed doorplates to automatic door reconstruction. Furthermore, a geometric update of single rooms by conjoint analysis of the coarse model, pedestrian traces and a hand-held low-cost range camera is described. Lastly, works of indoor mapping are presented which are based on pedestrian traces and higher-level knowledge about the interior structure of the building modelled in an indoor grammar. Due to the differing characteristics of the two central elements of building interiors, corridors and rooms, the grammar is composed of a Lindenmayer system modelling the floor's corridor system and a split grammar describing the room layout which is found in the non-corridor spaces. The grammar is put to the test by applying it to distributedly collected noisy trace data.
Open Access
Dense image matching for close range photogrammetry
(2016) Wenzel, Konrad; Fritsch, Dieter (Prof. Dr.-Ing.)
Dichte Bildzuordnung ermöglicht die Berechnung von 3D Oberflächen aus mindestens zwei Bildern durch die Lösung des Korrespondenzproblems für jedes Pixel. Anhand der Korrespondenzinformation und der bekannten Kamerageometrie kann die Tiefeninformation durch einen Schnitt der Sichtstrahlen im Raum rekonstruiert werden. Dichte Stereobildzuordnung wird beispielsweise für Stereo-Kamerasysteme im Robotik- und Automobilbereich eingesetzt, wo die Tiefeninformation mit hoher Frequenz berechnet und für Aufgaben wie Szenenverstehen und Maschinensteuerung verwendet wird. Die Erweiterung zu Multi-View Stereo ermöglicht die Rekonstruktion von Oberflächen aus mehr als zwei Bildern. In Kombination mit den aktuellen Entwicklungen im Bereich automatischer Orientierungsbestimmung können komplexe Szenen mit beliebiger Kamerakonfiguration ohne weitere Vorinformationen erfasst werden. Hierdurch wird die Erfassung von Oberflächen mit handelsüblichen Kameras für Anwendungen wie Denkmalpflege oder Vermessung ermöglicht. Die Herausforderungen der dichten Bildzuordnung sind insbesondere schwache Texturen und sich wiederholende Muster, welche zu Mehrdeutigkeiten bei der Zuordnung führen. Die verwendete Bildzordnungsmethode sollte diese zuverlässig auflösen können und zudem robust gegenüber radiometrischen und projektiven Unterschieden sein. Szenen mit starken Tiefenvariationen, beispielsweise durch Vordergrundobjekte und entfernten Hintergrund, sollten prozessiert werden können ohne scharfe Kanten oder Details zu verlieren. Fehlzuordnungen und falsche Korrespondenzen durch bewegte Objekte sollten automatisch erkannt werden. In dieser Arbeit wird eine Multi-View Stereo Methode vorgestellt, welche dichte Punkt- wolken für einen gegebenen Satz von Bildern und deren Orientierungen rekonstruiert ohne Vorinformationen über die Szene zu benötigen. Sie skaliert auf große Datensätze komplexer Szenen mit starken Tiefen- und Maßstabsvariationen. Die Methode basiert auf einem multi-baseline Ansatz, bei welchem für jedes Bild Disparitätskarten für mehrere Stereomodelle mithilfe einer hierarchischen Semi Global Matching Methode berechnet werden. Anschließend werden die resultierenden Disparitätskarten in einem Multi-Stereo Triangulationsschritt für die Berechnung einer dichten Punktwolke verwendet. In einer darauf folgenden Punktwolkenfusion und -filterung werden die Punktwolken der Einzelbilder zusammengefasst und validiert, um Ausreißer und redundante Punkte zu eliminieren. Das erste Kapitel umfasst eine Einleitung in das Thema und die Ziele dieser Arbeit. Im zweiten Kapitel wird der Stand der Forschung im Vergleich zu der in dieser Arbeit vorgestellten Methode diskutiert. Die Methode selbst wird den darauffolgenden drei Kapiteln im Detail behandelt. Das dritte Kapitel umfasst dabei den multi-baseline Ansatz für die bildweise Extraktion von Punktwolken, während das vierte Kapitel das Problem der Auswahl von günstigen Stereomodellen in Bezug auf geometrische Konfigurationen diskutiert. Im fünften Kapitel folgt ein Nachverarbeitungsschritt zur Punktwolkenfusion und -filterung. Das siebte Kapitel umfasst eine Zusammenfassung mit Hinblick auf Grenzen des Verfahrens sowie mögliche Erweiterungen.
Open Access
Development of a SGM-based multi-view reconstruction framework for aerial imagery
(2017) Rothermel, Mathias; Fritsch, Dieter (Prof. Dr.-Ing.)
Advances in the technology of digital airborne camera systems allow for the observation of surfaces with sampling rates in the range of a few centimeters. In combination with novel matching approaches, which estimate depth information for virtually every pixel, surface reconstructions of impressive density and precision can be generated. Therefore, image based surface generation meanwhile is a serious alternative to LiDAR based data collection for many applications. Surface models serve as primary base for geographic products as for example map creation, production of true-ortho photos or visualization purposes within the framework of virtual globes. The goal of the presented theses is the development of a framework for the fully automatic generation of 3D surface models based on aerial images - both standard nadir as well as oblique views. This comprises several challenges. On the one hand dimensions of aerial imagery is considerable and the extend of the areas to be reconstructed can encompass whole countries. Beside scalability of methods this also requires decent processing times and efficient handling of the given hardware resources. Moreover, beside high precision requirements, a high degree of automation has to be guaranteed to limit manual interaction as much as possible. Due to the advantages of scalability, a stereo method is utilized in the presented thesis. The approach for dense stereo is based on an adapted version of the semi global matching (SGM) algorithm. Following a hierarchical approach corresponding image regions and meaningful disparity search ranges are identified. It will be verified that, dependent on undulations of the scene, time and memory demands can be reduced significantly, by up to 90% within some of the conducted tests. This enables the processing of aerial datasets on standard desktop machines in reasonable times even for large fields of depth. Stereo approaches generate disparity or depth maps, in which redundant depth information is available. To exploit this redundancy, a method for the refinement of stereo correspondences is proposed. Thereby redundant observations across stereo models are identified, checked for geometric consistency and their reprojection error is minimized. This way outliers are removed and precision of depth estimates is improved. In order to generate consistent surfaces, two algorithms for depth map fusion were developed. The first fusion strategy aims for the generation of 2.5D height models, also known as digital surface models (DSM). The proposed method improves existing methods regarding quality in areas of depth discontinuities, for example at roof edges. Utilizing benchmarks designed for the evaluation of image based DSM generation we show that the developed approaches favorably compare to state-of-the-art algorithms and that height precisions of few GSDs can be achieved. Furthermore, methods for the derivation of meshes based on DSM data are discussed. The fusion of depth maps for 3D scenes, as e.g. frequently required during evaluation of high resolution oblique aerial images in complex urban environments, demands for a different approach since scenes can in general not be represented as height fields. Moreover, depths across depth maps possess varying precision and sampling rates due to variances in image scale, errors in orientation and other effects. Within this thesis a median-based fusion methodology is proposed. By using geometry-adaptive triangulation of depth maps depth-wise normals are extracted and, along the point coordinates are filtered and fused using tree structures. The output of this method are oriented points which then can be used to generate meshes. Precision and density of the method will be evaluated using established multi-view benchmarks. Beside the capability to process close range datasets, results for large oblique airborne data sets will be presented. The report closes with a summary, discussion of limitations and perspectives regarding improvements and enhancements. The implemented algorithms are core elements of the commercial software package SURE, which is freely available for scientific purposes.
Open Access
Parameterfreies hierarchisches Graph-Clustering-Verfahren zur Interpretation raumbezogener Daten
(2004) Anders, Karl-Heinrich; Fritsch, Dieter (Prof. Dr.-Ing.)
Die Notwendigkeit der automatischen Interpretation und Analyse von räumlichen Daten wird heutzutage immer wichtiger, da eine stetige Zunahme der digitalen räumlichen Daten zu verzeichnen ist. Dies betrifft auf der einen Seite Rasterdaten wie auch auf der anderen Seite Vektordaten, welche überwiegend auf unterschiedlichen Landschaftsmodellen basieren. Differenzen zwischen diesen Landschaftsmodellen bestehen u.a. in den Objektarten, dem Grad der Generalisierung oder der geometrischen Genauigkeit der gespeicherten Landschaftsobjekte. Die interaktive Prozessierung und Analyse von großen Datenbeständen ist sehr zeitaufwendig und teuer. Speziell die manuelle Analyse räumlicher Daten zum Zwecke der Datenrevision wird in Zukunft das Limit der technischen Umsetzbarkeit erreichen, da moderne Anforderungen an die Laufendhaltung der Daten zu immer kürzeren Aktualisierungszyklen führen. Die automatische Interpretation digitaler Landschaftsmodelle setzt die Integration von Methoden des räumlichen Data Mining bzw. Knowledge Discovery in raumbezogenen Daten innerhalb von Geographischen Informationssystemen (GIS) voraus. Zunächst beschreiben wir einen Ansatz zur Generierung von 3D-Gebäuden, welche als Hypothese aus Katasterkarten abgleitet werden. Diese Vorgehensweise stellt ein Beispiel für die DLM-Interpretation auf der Grundlage eines spezifischen Modells dar und kann zur schnellen Generierung von groben 3D-Stadtmodellen oder als Vorabinformation zur bildgestützten 3D-Gebäuderekonstruktion verwendet werden. Des weiteren stellen wir detailliert einen Ansatz zur Ableitung von ATKIS-Daten aus ALK-Daten vor, welcher ein Beispiel für die DLM-Interpretation basierend auf einem generischen Modell der DLM-Basiselemente darstellt und zur automatischen Laufendhaltung der Daten dient. Beide Ansätze führen direkt zum grundsätzlichen Problem der Gruppierung von räumlichen Objekten, welches generell unter dem Begriff des Clusterns zusammengefasst wird. Man unterscheidet zwei Arten von Clusterverfahren: überwachte und unüberwachte Methoden. Unüberwachte Cluster- oder Lernverfahren können für den dritten genannten Fall der DLM-Interpretation verwendet werden und sind gut geeignet für die Modellgeneralisierung und die kartographische Generalisierung von DLM-Daten, falls die Methoden in der Lage sind, Cluster mit beliebiger Form zu erkennen. Die bisher existierenden Verfahren benötigen jedoch zumeist verschiedenste Kenntnisse als Voraussetzung, wie z.B. die Verteilungsfunktion der Daten oder Schrankenwerte für Ähnlichkeitsmessungen bzw. Abbruchkriterien. Zudem finden viele Clusterverfahren nur Gruppierungen mit konvexer Form und erkennen keine Löcher (z.B. Maximum-Likelihood-Methoden). Der Hauptteil dieser Arbeit widmet sich einem neu entwickelten, unüberwachten Clusterverfahren zur automatischen Interpretation von raumbezogenen Daten. Das Verfahren heißt Hierarchisches Parameterfreies Graph-CLustering (HPGCL) und dient zur Erkennung von Clustern beliebiger Form. Es benötigt weder Parameter wie z.B. Schrankenwerte noch Annahmen über die Verteilung der Daten oder die Anzahl der Cluster. Die Neuartigkeit des HPGCL-Algorithmus besteht auf der einen Seite in der Anwendung der Hierarchie von Nachbarschaftsgraphen zur Definition der Nachbarschaft eines Einzelobjekts oder eines Objektclusters in allgemeiner Art und Weise, sowie auf der anderen Seite in der Definition eines Entscheidungskriteriums zur Ähnlichkeitsbestimmung von Clustern, welches medianbasiert ist und ohne Angabe von Schwellwerten auskommt. Der Nächste-Nachbar-Graph, der Minimal Spannende Baum, der Relative Nachbarschaftsgraph, der Gabriel-Graph und die Delaunay-Triangulation kommen im HPGCL-Algorithmus zum Einsatz. Es wird aufgezeigt, dass die hierarchische Beziehung dieser Nachbarschaftsgraphen in einem natürlichen Generalisierungsprozess im Sinne einer grob-zu-fein-Segmentierung eines Datensatzes genutzt werden kann. Als weiterer Aspekt des HPGCL-Algorithmus kann die Tatsache genannt werden, dass im allgemeinen eine begrenzte Anzahl von Clustern größer eins gefunden wird. Im Gegensatz dazu benötigen andere hierarchische Clusterverfahren generell die Minimalanzahl der zu findenden Cluster als Parameter, da ohne Abbruchkriterium sonst alle Objekte des Datensatzes in einem einzigen großen Cluster vereinigt werden. Die Arbeit untersucht detailliert den Einfluss eines einzelnen Nachbarschaftsgraphen in der Hierarchie auf das Ergebnis des Clusterings, und es wird die Verwendbarkeit des HPGCL-Algorithmus auf der Grundlage von verschiedenen Datensatztypen evaluiert. Anhand zweier Datensätze werden die Ergebnisse des HPGCL-Verfahrens mit den Resultaten eines durch Testpersonen durchgeführten manuellen Clusterings verglichen.
Open Access
Semi-dense filter-based visual odometry for automotive augmented reality applications
(2019) Schmid, Stephan; Fritsch, Dieter (Prof. Dr.-Ing.)
In order to integrate virtual objects convincingly into a real scene, Augmented Reality (AR) systems typically need to solve two problems: Firstly, the movement and position of the AR system within the environment needs to be known to be able to compensate the motion of the AR system in order to make placement of the virtual objects stable relative to the real world and to provide overall correct placement of virtual objects. Secondly, an AR system needs to have a notion of the geometry of the real environment to be able to properly integrate virtual objects into the real scene via techniques such as the determination of the occlusion relation between real and virtual objects or context-aware positioning of virtual content. To solve the second problem, the following two approaches have emerged: A simple solution is to create a map of the real scene a priori by whatever means and to then use this map in real-time operation of the AR system. A more challenging, but also more flexible solution is to create a map of the environment dynamically from real time data of sensors of the AR-system. Our target applications are Augmented Reality in-car infotainment systems in which a video of a forward facing camera is augmented. Using map data to determine the geometry of the environment of the vehicle is limited by the fact that currently available digital maps only provide a rather coarse and abstract picture of the world. Furthermore, map coverage and amount of detail vary greatly regionally and between different maps. Hence, the objective of the presented thesis is to obtain the geometry of the environment in real time from vehicle sensors. More specifically, the aim is to obtain the scene geometry by triangulating it from the camera images at different camera positions (i.e. stereo computation) while the vehicle moves. The problem of estimating geometry from camera images where the camera positions are not (exactly) known is investigated in the (overlapping) fields of visual odometry (VO) and structure from motion (SfM). Since Augmented Reality applications have tight latency requirements, it is necessary to obtain an estimate of the current scene geometry for each frame of the video stream without delay. Furthermore, Augmented Reality applications need detailed information about the scene geometry, which means dense (or semi-dense) depth estimation, that is one depth estimate per pixel. The capability of low-latency geometry estimation is currently only found in filter based VO methods, which model the depth estimates of the pixels as the state vector of a probabilistic filter (e.g. Kalman filter). However, such filters maintain a covariance matrix for the uncertainty of the pixel depth estimates whose complexity is quadratic in the number of estimated pixel depths, which causes infeasible complexity for dense depth estimation. To resolve this conflict, the (full) covariance matrix will be replaced by a matrix requiring only linear complexity in processing and storage. This way, filter-based VO methods can be combined with dense estimation techniques and efficiently scaled up to arbitrarily large image sizes while allowing easy parallelization. For treating the covariance matrix of the filter state, two methods are introduced and discussed. These methods are implemented as modifications to the (existing) VO method LSD-SLAM, yielding the "continuous" variant C-LSD-SLAM. In the first method, a diagonal matrix is used as the covariance matrix. In particular, the correlation between different scene point estimates is neglected. For stabilizing the resulting VO method in forward motion, a reweighting scheme is introduced based on how far scene point estimates are moved when reprojecting them from one frame to the next frame. This way, erroneous scene point estimates are prevented from causing the VO method to diverge. The second method for treating the covariance matrix models the correlation of the scene point estimates caused by camera pose uncertainty by approximating the combined influence of all camera pose estimates in a small subspace of the scene point estimates. This subspace has fixed dimension 15, which forces the complexity of the replacement of the covariance matrix to be linear in the number of scene point estimates.