Crowd-sourced reconstruction of building interiors

Abstract

Location-based services (LBS) have gained huge commercial and scientific interest in recent years, due to the ubiquitous and free availability of maps, global positioning systems, and smartphones. To date, maps and positioning solutions are mostly only available for outdoor use. However, humans spend most of their time indoors, rendering indoor LBS interesting for applications such as location-based advertisement, customer tracking and customer flow analysis. Neither of the two prerequisites for indoor LBS - a map of the user's environment and a positioning system - is currently generally available: Most positioning methods currently under scientific investigation are based either on fingerprint maps of electro-magnetic signals (e.g. WiFi) or inertial measurement units. To overcome the flaws of these methods, they are often supported by models for the human movement which in turn rely on indoor maps. Ready-made maps, on the other hand, are generally unavailable due to indoor mapping being mostly manual, expensive and tedious. The vast amount of unmapped indoor space therefore calls for the transfer of methods used by Volunteered Geographic Information (VGI) communities like OpenStreetMap to indoor mapping. These methods comprise the digitization of features of interest such as building outlines from aerial images released to the community and the use of position traces. In this thesis, approaches are illustrated which can serve to enable this transfer. On the one hand, the thesis shows how photographs of evacuation plans - which are a compulsory part of the safety equipment of publicly used buildings in many countries - can substitute for the aerial images in the indoor domain. Due to the standardised nature of such plans, the manual digitization employed by VGI mappers in the outdoor domain can be replaced by an automatic reverse-engineering pipeline. To this end, the image is pre-processed and symbols, which depict evacuation routes or emergency equipment, are detected. Subsequently, foreground objects (i.e. walls) are distinguished from the background using an adequate binarisation operation. Based on the binary image, the sought-after vector information can be extracted by skeletonisation and skeleton tracing. The model is finalised by a bridging operation of the previously detected symbols which occlude parts of walls or stairs. As the model resulting from these operations is only available in a coordinate system defined by the original image, the transformation to a world-coordinate system or, at least, the unknown scale has to be determined. To this end, the indoor model is matched to an available model of the building's external shell. By detection of stairs, an approximate floor height can be computed and the 2D model is extruded to a 3D model. On the other hand, geometric features and semantic annotations may be added to existing models using pedestrian traces recorded by an indoor positioning system. As suitable generally available and low-cost systems do not exist yet, their existence is simulated in this work by a dead-reckoning system basing on a foot-mounted inertial measurement system. Methods for the derivation of the initial position and orientation necessary for the application of such a system are shown, as well as methods enabling the correction of remaining errors. The latter comprise an alignment approach using the external building shell and a map-matching method which employs the existing coarse model derived from the evacuation plan. Building on the collected pedestrian traces, semi-automatic and automatic approaches for the existing models' semantic and geometric refinement are presented which range from semantic annotation using the analysis of photographed doorplates to automatic door reconstruction. Furthermore, a geometric update of single rooms by conjoint analysis of the coarse model, pedestrian traces and a hand-held low-cost range camera is described. Lastly, works of indoor mapping are presented which are based on pedestrian traces and higher-level knowledge about the interior structure of the building modelled in an indoor grammar. Due to the differing characteristics of the two central elements of building interiors, corridors and rooms, the grammar is composed of a Lindenmayer system modelling the floor's corridor system and a split grammar describing the room layout which is found in the non-corridor spaces. The grammar is put to the test by applying it to distributedly collected noisy trace data.

Das kommerzielle und wissenschaftliche Interesse an ortsbezogenen Diensten (location-based services, LBS) hat in den vergangenen Jahren stark zugenommen, verursacht durch die allgegenwärtige und kostenlose Verfügbarkeit von Karten, globalen Positionierungssystemen und die weite Verbreitung von Smartphones. Gegenwärtig sind Karten und Positionierungslösungen hauptsächlich für die Verwendung im Außenraum nutzbar. Menschen verbringen jedoch den Großteil ihrer Zeit in Gebäudeinnenräumen, was LBS für Anwendungen wie ortsbezogene Werbung oder Verfolgung und Analyse von Kundenbewegungen interessant macht. Jedoch ist keine der beiden Voraussetzungen für LBS - eine Karte der Umgebung des Benutzers und ein System für die Bestimmung seiner Position - derzeit in der Breite verfügbar: Die meisten Positionierungslösungen, die gegenwärtig wissenschaftlich untersucht werden, basieren entweder auf Karten, in welchen die Fingerabdrücke elektromagnetischer Signale (wie WLAN) gespeichert sind, oder auf inertialen Messeinheiten. Um die Schwachstellen solcher Systeme auszugleichen, werden diese häufig durch Modelle der menschlichen Bewegung unterstützt, welche ihrerseits Karten des Innenraums benötigen. Zum gegenwärtigen Zeitpunkt fehlen jedoch direkt verwendbare Karten im Allgemeinen, da die Kartierung von Innenräumen meist einen großen manuellen und finanziellen Aufwand erfordert. Die große Menge nicht kartierten Raumes motiviert daher eine Übertragung der Methoden, die von Internetcommunities wie OpenStreetMap eingesetzt werden, welche sich mit der Erfassung von Geodaten durch Freiwillige (Volunteered Geographic Information, VGI) beschäftigen. Diese Methoden bestehen zum Einen aus der Digitalisierung von Karteninhalten wie Gebäudegrundrissen aus Luftbildern, die der Community zur Verfügung gestellt wurden, zum Anderen aus der Verwendung von Benutzerfußspuren. In dieser Arbeit werden Ansätze beschrieben, die die Realisierung der Übertragung dieser Methoden unterstützen können. Zunächst wird vorgestellt, wie Fotografien von Fluchtplänen, welche laut Vorschrift in vielen Ländern Teil der Sicherheitsausstattung von öffentlich genutzten Gebäuden sind, die im Außenraum genutzten Luftbilder ersetzen können. Aufgrund des standardisierten Aussehens solcher Pläne kann die manuelle Digitalisierung, welche von VGI-Kartographen im Außenraum eingesetzt wird, durch einen automatisierten Reverse-Engineering-Prozess ersetzt werden. Hierfür wird das Bild einer Vorprozessierung unterworfen und Symbole, welche Fluchtwege oder Sicherheitsausrüstung darstellen, werden detektiert. In der Folge können mittels einer geeigneten Binarisierungs-Operation Objekte im Vordergrund (Wände) vom Hintergrund unterschieden werden. Auf Basis des Binärbildes wird die gesuchte Vektorinformation mit Hilfe von Skelettierung und Skelettverfolgung extrahiert. Anschließend wird das Modell durch die Überbrückung der vorher detektierten Symbole, welche Teile von Wänden oder Treppen überdecken, finalisiert. Da das resultierende Modell in einem Koordinatensystem definiert ist, welches durch das Originalbild vorgegeben wird, muss die Transformation in ein Weltkoordinatensystem, bzw. als Mindestanforderung der Maßstabsunterschied, bestimmt werden. Die Transformation wird durch einen Abgleich des Innenraummodells mit einem verfügbaren Modell der Gebäudeaußenhülle erhalten. Indem eine genäherte Stockwerkshöhe aus der Anzahl detektierter Treppenstufen berechnet wird, kann das 2D-Modell zu einem 3D-Modell erweitert werden. Darüber hinaus kann eine Erweiterung existierender Innernaummodelle durch geometrische und semantische Informationen anhand von Benutzerfußspuren, welche mittels eines Innernaumpositionierungssystems aufgezeichnet wurden, erfolgen. Da jedoch zum jetzigen Zeitpunkt keine allgemein verfügbaren, preiswerten Systeme verfügbar sind, wird ihre Existenz in dieser Arbeit durch ein System simuliert, welches die Koppelnavigation auf Basis einer am Fuß angebrachten Inertialen Messeinheit realisiert. Zunächst werden Ansätze vorgestellt, welche dazu dienen können, die benötigten Startwerte in Bezug auf Orientierung und Position zu bestimmen, sowie Methoden, welche die Korrektur verbleibender Fehler erlauben. Letztere umfassen einen Ansatz zur Korrektur der Ausrichtung des Benutzerpfads auf Basis der Gebäudeaußenhülle und eine Methode zum Kartenabgleich unter Verwendung des Grobmodells, welches beispielsweise aus dem Fluchtplan abgeleitet wurde. Basierend auf den aufgezeichneten Benutzerfußspuren werden halbautomatische und automatische Methoden beschrieben, die eine semantische und geometrische Verfeinerung der vorliegenden Modelle erlauben. Diese reichen von der semantischen Anreicherung anhand der Analyse fotografierter Türschilder bis zur automatischen Türrekonstruktion. Des weiteren wird die Aktualisierung einzelner Raumgeometrien auf Basis einer gemeinsamen Analyse des Grobmodells, der Benutzerfußspuren und einer handgeführten low-cost Tiefenkamera wird darüber hinaus beschrieben. Abschließend werden Arbeiten vorgestellt, welche die Innenraumkartierung unter Verwendung von Benutzerfußspuren und in einer Innenraumgrammatik gespeichertem höherwertigem Wissen über die Struktur des Gebäudeinnenraums erlauben. Aufgrund der unterschiedlichen Eigenschaften der beiden zentralen Elemente von Gebäudeinnenräumen setzt sich diese Grammatik aus einem Lindenmayer-System, welches das Korridorsystem des Stockwerks modelliert, und einer Split-Grammatik, die die Anordnung der Räume in den anderen Bereichen beschreibt, zusammen. Die Tests dieser Grammatik, welche mittels fehlerbehafteter, verteilt erfasster Benutzerfußspuren durchgeführt wurden, werden darüber hinaus dargestellt.