Integration of digital photogrammetry and terrestrial laser scanning for cultural heritage data recording

Abstract

Within this research the potential of combining digital images and TLS data for close-range applications in particular, 3D data recording and preservation of cultural heritage sites is discussed. Furthermore, besides improving both the geometry and the visual quality of the model, this combination promotes new solutions for issues that need to be investigated deeply. This covers issues such as filling gaps in laser scanning data to avoid modeling errors, retrieving more details in higher resolution, target-free registration of multiple laser scans. The integration method is based on reducing the feature extraction from a 3D to a 2D problem by using synthetic/virtual images derived from the 3D laser data. It comprises three methods for data fusion. The first method utilizes a scene database stored in a point-based environment model (PEM), which stores the 3D laser scanner point clouds associated with intensity and RGB values. The PEM allows the extraction of accurate control information, camera positions related to the TLS data and 2D-to-3D correspondences between each image and the 3D data, for the direct computation of absolute camera orientations by means of accurate space resection methods. Precedent to that, in the second method, the local relative orientations of the camera images are calculated through a Structure-from-Motion (SfM) reconstruction method. These orientations are then used for dense surface reconstruction by means of dense image matching algorithms. Subsequently, the 3D-to-3D correspondences between the dense image point clouds and those extracted from the PEM can be determined. This is performed by reprojecting the dense point clouds onto at least one camera image, and then finding the 3D-3D correspondences between the reprojected points and those extracted from the PEM. Alternatively, the 3D-3D camera positions can be used for this purpose. Thereby, the seven-parameters transformation is obtained and then employed in order to compute the absolute orientation of each image in relation to the laser data.The results are improved further by introducing a general solution, as a third method, that combines both the synthetic images and the camera images in one SfM process. It provides accurate image orientations and the sparse point clouds, initially in an arbitrary model space. This enables an implicit determination of 3D-to-3D correspondences between the sparse point clouds and the laser data via 2D-to-3D correspondences stored in the generated images. Alternatively, the sparse point clouds can be projected onto the virtual images using the collinearity equations in order to increase measurement redundancy. Then, a seven-parameter transformation is introduced and its parameters are calculated. This enables automatic registration of multiple laser scans. This holds particularly in case of laser scans that are captured at considerably changed viewpoints or non-overlapping laser scans. Furthermore, surface information can also be derived from the imagery using dense image matching algorithms. Due to the common bundle block adjustment, the results possess the same scale and coordinate system as the laser data and can directly be used to fill gaps or occlusions in the laser scanner point clouds and resolve small object details.

Diskutiert diese Arbeit das Potential der Kombination von digitalen Bildern und TLS-Daten für Anwendungen im Nahbereich, wobei im Speziellen auf die 3D-Datenerfassung für die Konservierung von Kulturdenkmälern eingegangen wird. In dieser Arbeit wird ein automatisches Verfahren für die Kombination von Bildern und Laserscanner-Daten präsentiert, welche das Ziel verfolgt, eine vollständige digitale Repräsentation einer Szene zu erstellen. Über diese Verbesserung der geometrischen und visuellen Qualität des Modells hinaus hat diese Kombination des Weiteren zum Ziel, Probleme aufzuzeigen, die weiterer Untersuchungen bedürfen. Dazu gehören das Füllen von Datenlücken in den TLS-Daten, um Modellierungsfehler zu vermeiden, und die Erfassung von mehr Details in höherer Auflösung sowie die Zielmarken freie Registrierung mehrerer Scans. Das Integrationsverfahren basiert auf der Reduktion der Merkmalsextraktion von einem 3D- auf ein 2D-Problem durch die Verwendung synthetischer bzw. virtueller Bilder, welche aus den 3D-Laser-Daten berechnet werden. Das Verfahren besteht aus drei Methoden zur Datenfusion. Die erste Methode verwendet eine Szenendatenbank, welche in einem punktbasierten Umgebungsmodell (Point-based Environment Model – PEM) gespeichert ist und die 3D TLS-Punktwolken zusammen mit ihren Intensitäts- und RGB-Werten enthält. Das PEM erlaubt die Extraktion präziser Kontrollinformation sowie Kamerapositionen relativ zu den TLS-Daten und 2D-3D-Korrespondenzen zwischen jedem Bild und den 3D-Daten, was die direkte Berechnung von absoluten Kameraorientierungen mit Hilfe von präzisen räumlichen Rückwärtsschnitten ermöglicht. Die zweite Methode verwendet einen Structure-from-Motion-(SfM)-Ansatz für die vorangehende Berechnung der lokalen relativen Orientierungen der Bilder. Diese Orientierungen werden eingesetzt, um eine Oberflächenrekonstruktion mittels Verfahren zur dichten Bildzuordnung zu berechnen. Daraufhin können die 3D-3D-Korrespondenzen zwischen dem Ergebnis der dichten Bildzuordnung und Punkten des PEM bestimmt werden. Hierfür wird die dichte Punktwolke in mindestens ein Kamerabild projiziert und die 3D-3D-Korrespondenzen zwischen den projizierten Punkten und jenen aus dem PEM extrahierten gesucht. Alternativ können auch die 3D-3D-Kamerapositionen für diesen Zweck eingesetzt werden. Dadurch werden die Parameter einer Helmert-Transformation berechnet und eingesetzt, um die absolute Orientierung jedes Bildes in Bezug zu den TLS-Daten zu bestimmen. Die Ergebnisse werden durch die Einführung einer allgemeingültigen Lösung, der dritten Methode, weiter verbessert, welche die synthetischen Bilder und die Kamerabilder in einem gemeinsamen SfM-Prozess vereint. Dieser Prozess hat genaue Bildorientierungen und dünn besetzte Punktwolken zum Ergebnis, welche zunächst in einem beliebigen Koordinatensystem vorliegen. Dies ermöglicht eine implizite Bestimmung von 3D-3D-Korrespondenzen zwischen der dünn besetzten Punktwolke und den TLS-Daten unter Verwendung der 2D-3D-Korrespondenzen, die in den generierten Bildern enthalten sind. Alternativ können die dünn besetzten Punktwolken mittels der Kollinearitätsgleichung auf die virtuellen Bilder projiziert werden, um die Messredundanz zu erhöhen. Daraufhin werden die Parameter einer Helmert-Transformation berechnet. Deren Verfügbarkeit ermöglicht eine automatische Registrierung mehrerer Laserscans, insbesondere solcher, die mit stark unterschiedlichen Sichtfeldern oder ohne Überlappung erfasst wurden. Darüber hinaus können über die dichte Bildzuordnung weitere Oberflächeninformationen aus den Bildern extrahiert werden. Aufgrund der gemeinsamen Bündelblockausgleichung liegen die Ergebnisse dieses Schrittes im gleichen Koordinatensystem und mit dem gleichen Maßstab vor wie die TLS-Daten und können daher direkt verwendet werden, um Datenlücken oder verdeckte Bereiche in den TLS-Punktwolken zu füllen oder kleine Objektdetails aufzulösen.