Integration of laser scanning and photogrammetry for heritage documentation

Abstract

The use of 3D laser scanner in documenting heritage sites has increased significantly over the past few years. This is mainly due to advances of such systems, which allow for the fast and reliable generation of millions of 3D points. Despite the considerable progress of these approaches, the highest possible degree in efficiency and flexibility of data collection will be possible, if other techniques are combined during data processing. Within the research the potential of combining terrestrial laser scanning and close range photogrammetry for the documentation of heritage sites is discussed. Besides improving the geometry of the model, the integration aims on supporting the visual quality of the linear features like edges and cracks in the historical scenes. Although the laser scanner gives very rich surface details, it does not provide sufficient data to construct outlines for all surface features of the scanned object, even though they are clearly defined in the reality. In our approach, information on edges and linear surface features is based on the analysis of the images. For this purpose an integrated segmentation process based on image data will support the ex-traction of object geometry information from the laser data. The approach applies image based semi-automated tech-niques in order to bridge gaps in the laser scanner data and add new details, which are required to build more realistic perception of the scene volume.

Cultural heritage applications frequently require data collection by terrestrial laser scanning in very complex structural environments. Thus, compared to similar applications in industrial environments, this requires more complex process-ing to generate geometric models of sufficient realism. In addition to geometric data collection, texture mapping is particular important in the area of cultural heritage to have more complete documentation. Photo-realistic texturing can for example add information about the structure condition, which is not present in the 3D model such as decay of the material. Additionally, color image information is also indispensable for features like frescos and mosaics. In addi-tion to that, texture mapping considered as a requirement application for visualization and animation purposes. For this reason, some commercial 3D systems already provide model-registered color texture by capturing the RGB values of each LIDAR point using a camera already integrated in the system. However, these images frequently are not suffi-cient for high quality texturing, which is desired for documentation, since the ideal conditions for taking the images may not coincide with those for laser scanning In addition, laser scanning from many viewpoints, as it is required to capture complex structures, is still relatively time consuming. For outdoor applications these large time differences will result in varying light conditions and changing shadows, thus the recorded images will have different radiometric properties. Such problems may disturb the appearance of the resulting textured model. So it is therefore more useful to acquire geometry and texture by two independent processes and allow for an image collection at optimal position and time for texturing. This is especially true for the high requirements of realistic documentation of heritage sites. Thus, the thesis presents an approach for projective texture mapping from photographs onto triangulated surfaces from 3D laser scanning. By these means, the effort to generate photo-realistic models of complex shaped objects can be re-duced considerably. The images are collected from multiple viewpoints, which do not necessarily correspond to the viewpoints of LIDAR data collection. In order to handle the resulting problem of occlusions, the visibility of the model areas in the respective images has to be established. For this purpose, a new visible surface algorithm has been developed, the algorithm works in both image and object space and efficiently detects ambient, back-face and view frustum occlusions. Occluding polygons are labelled and separated with their connectivity to texture them recursively using the optimal of the available images until the final textured model is produced. After this visibility processing, colour values will be correctly assigned from the photograph to the visible polygons. In order to gain a high quality texture, lens distortion and colour corrections are applied during processing.

The quality of the registration process, which aligns the laser scanner data with the imagery, is a crucial factor for the aspired combined processing. This registration can realized if correspondence coordinates are available in both sys-tems. Since the accurate detection and measurement of point correspondences can be difficult especially for the point clouds from laser scanning, straight lines are measured between the image and the laser data as corresponding ele-ments. The accuracy of the transformation depends on the accuracy with which the features have been extracted from the scans. For providing stable features of interest efficient segmentation algorithms have to be used to extract the features automatically for the co registration of data sets. In this thesis we have presented and discussed efficient edge detection algorithm that can detect the line features in both range and intensity images. In the proposed algorithm the distinguished points, which will comprise the edges, depend on the spatial analysis of the numerical description of the mean curvature values. The work was motivated by the fact that the optimality of edge detectors for range images has not been considered in the literature, some algorithms are limited to synthetic range images and will totally fail in the presence of noise, others which have been tested in real range images are complicated with large numbers of parame-ters. Compared to known methods in literature, the proposed algorithm exhibits the following features: computational efficiency, high accuracy in the localization of the edge points, easy to implement, and Image noise does not degener-ate its performance. Although the central task of the proposed edge detection algorithm is to reliable detect and locate edge points, a rich description of edge points give the ability to reliably detecting and characterizing the edge types as a crease and step edges, and then go further to classify the crease edges as concave or convex types. The algorithm was initially proposed for range image segmentation and has been extended to segment the intensity images with some improvements. The generality and robustness of the algorithm is illustrated on scene images with different available range sensors.

Die Nutzung von 3D Laser-Scannern zur Dokumentation von Kulturdenkmälern hat in den vergangenen Jahren erhe-blich zugenommen. Dieses ist auf die Weiterentwicklung derartiger Systeme zurückzuführen, die eine schnelle und zuverlässige Generierung von Millionen 3D-Punkten ermöglichen. Trotz des beträchtlichen Fortschritts bei dieser Vorgehensweise werden höchste Leistungsfähigkeit und Flexibilität bei der Datenerfassung erst dann möglich, wenn sie bei der Datenauswertung mit anderen Techniken kombiniert werden. Die Arbeit beschäftigt sich mit dem Potenzial des kombinierten terrestrischen Laser-Scannings und der Nahbereichsphotogrammetrie für die Dokumentation von Kulturdenkmälern. Neben der Verbesserung des geometrischen Modells zielt die Integration auf die Verbesserung der visuellen Qualität linearer Merkmale wie Ecken und Kanten. Obwohl der Laser-Scanner sehr reichhaltige Ober-flächendetails liefert, werden keine ausreichenden Daten zur Konstruktion der Konturen aller Oberflächenmerkmale des gescannten Objektes bereitgestellt, auch wenn sie in Wirklichkeit eindeutig definiert sind.

Bei dem entwickelten Ansatz werden Informationen über Kanten und linearen Oberflächenmerkmalen aus der Ana-lyse von Distanz- und Intensitätsbildern bereitgestellt. Zu diesem Zweck wird ein integrierter Segmentierungsprozess für die Extraktion von objekt-geometrischen Informationen aus Laserdaten genutzt. Der Ansatz verwendet bildbe-zogene halbautomatische Techniken, um Lücken in den Laser-Scanner-Daten zu schließen und neue Details hinzu zufügen, die für den Aufbau realistischer Szenen benötigt werden.

Anwendungen im Rahmen der Dokumentation von Kulturdenkmälern erfordern die Datenerfassung mittels ter-restrischem Laser-Scanning in sehr komplex strukturierten Umgebungen. Verglichen mit ähnlichen Anwendungen in Industrieumgebungen macht dies eine aufwendigere Verarbeitung nötig, um geometrische Modelle von ausreichend wirklichkeitsgetreuer Darstellung zu generieren. Neben der geometrischen Datenerfassung ist die Texturierung von Oberflächen für die lückenlose Dokumentation besonders wichtig. Photorealistische Texturen können zum Beispiel Informationen über die Strukturbeschaffenheiten, wie z. B. Materialverfall, hinzufügen, die in rein geometrischen 3D-Modellen nicht vorhanden sind. Zusätzlich sind Farbbildinformationen für Merkmale wie Fresken und Mosaiken unabdingbar. Ferner wird die Abbildung von Oberflächen für Visualisierungs- und Animationszwecke benötigt. Aus diesem Grund verfügen einige kommerzielle 3D-Systeme bereits über eine modellregistrierte Farbtextur, indem die RGB-Werte eines jeden LIDAR-Punktes durch eine im System integrierte Kamera erfasst werden. Diese Bilder sind jedoch häufig für eine qualitativ hochwertige Texturierung nicht ausreichend, da die idealen Vorraussetzungen für die Aufnahmen der Bilder nicht mit denen des Laser-Scannings übereinstimmen. Ferner ist das Laser-Scanning von mehreren Standpunkten aus wie es für die Erfassung komplexer Strukturen benötigt wird sehr zeitaufwendig. Bei Außenanwendungen resultiert dieses in verändernden Lichtbedingungen und wechselnden Schatten. Daher werden die aufgenommenen Bilder verschiedene radiometrische Eigenschaften aufweisen. Diese Probleme können das Erschein-ungsbild des Texturmodells stören. Daher ist es sinnvoller, Geometrie und Textur durch zwei unabhängige Prozesse zu gewinnen und eine Datenerfassung in optimaler Position und Zeit für die Texturierung zu ermöglichen. Dies trifft besonders auf die hohen Anforderungen bei der Dokumentation von Kulturdenkmälern zu. Die vorliegende Arbeit stellt einen Ansatz für die projektive Texturabbildung von Photographien auf triangulierte Oberflächen aus 3D Laser-Scanning-Aufnahmen vor. Dadurch wird der Aufwand zur Generierung von photorealistischen Modellen komplexer Objekte beträchtlich reduziert. Die Bilderfassung erfolgt von mehreren Standpunkten aus, die nicht notwendigerweise mit den Standpunkten der LIDAR Datenerfassung übereinstimmen. Um das Problem der Verdeckung zu lösen, muss die Sichtbarkeit der Modellgebiete in den jeweiligen Aufnahmen gewährleistet sein. Zu diesem Zweck wurde ein neuer Algorithmus zur Bestimmung der sichtbaren Oberflächen entwickelt. Die im Bild verdeckten Polygone werden markiert, um sie in einem rekursiven Prozess durch die alternativen zur Verfügung stehenden Bilder zu texturieren.

Die Qualität des Registrierungsprozesses, der die Transformation zwischen Laser-Scanner-Daten und Bilddaten er-möglicht, ist ein äußerst wichtiger Faktor für die angestrebte kombinierte Prozessierung. Die Registrierung erfordert die Bestimmung korrespondierender Element in beiden Koordinatensystemen. Da die fehlerfreie Detektion und Mes-sung identischer Punkte in Punktwolken schwierig ist, werden gerade Linien zwischen Bild und den Laserdaten als korrespondierende Element gemessen. Die Genauigkeit der Transformation hängt ab von der Genauigkeit, mit der diese Merkmale von den Scans extrahiert wurden. Um stabile Elemente bereitzustellen, müssen effiziente Segmen-tierungsalgorithmen für die automatische Extraktion von Merkmalen aus den Datensätzen verwendet werden. In dieser Dissertation wird ein Algorithmus zur Kantendetektion vorgestellt und diskutiert, der Linienmerkmale sowohl in In-tensitäts- als auch Distanzbildern aufdeckt. In dem vorgestellten Algorithmus werden die gesuchten Kantenpunkte durch eine räumliche Analyse der mittleren Krümmung bestimmt. Die Arbeit wurde durch den Umstand motiviert, dass optimale Kantendetektoren für Distanzbilder noch nicht vorhanden sind. Einige der existierenden Algorithmen beschränken sich auf synthetische Distanzbilder während andere Verfahren, die auf reale Distanzbildern angewendet werden, eine große Anzahl von Parametern besitzen und sehr komplex sind. Verglichen mit bekannten Methoden ist der vorgestellte Algorithmus effizient, genau, einfach zu implementieren und robust gegen Rauschen. Der Algorithmus wurde ursprünglich für die Segmentierung von Distanzbildern entwickelt und anschließend mit einigen Verbesserungen zur Segmentierung von Intensitätsbildern erweitert. Die Allgemeingültigkeit und Robustheit des Algorithmus wird durch die Bearbeitung von Szenen nachgewiesen, die von unterschiedlichen Sensoren erfasst wurden.