Ego perspective video indexing for life logging videos

Abstract

This thesis deals with life logging videos that are recorded by head worn devices. The goal is to develop a method to filter out parts of life logging videos which are important. This means it is to determine which parts are important. To do this we take a look at how the autobiographical memory works and try to adapt an indexing mechanism which works on similar aspects. To index life logging videos with the expressive metadata successfully we first need to extract information out of the video itself. Since faces are an important part of autobiographical memory recall, image processing which consists of face detection, tracking and recognition is used. This helps to get the people in a scene. Another part is the location data which is accessed by using GPS data. After all the information is gathered we can index those information in so called events. For each event we have to define the people that are present during this event, which place and at what time the event takes place. To do this an indexing algorithm was developed which segments the video into smaller parts by using the faces, location and time. The result is a prototype algorithm which can be further developed to improve the actual segmentation of life logging videos. This project serves as an information collecting and creation application for future life logging video navigation tools.

Diese Arbeit befasst sich mit Lifelogging Videos, die mit auf dem Kopf getragenen Geräten aufgenommen wurden. Das Ziel ist es eine Methode zu entwickeln, um wichtige Teile aus einem Lifelogging Video heraus zu filtern. Das bedeutet, dass wir herausfinden müssen welche Teile eines Videos überhaupt als wichtig erachtet werden. Um die Wichtigkeit einzelner Videoabschnitte festzulegen, müssen wir herausfinden wie das autobiographische Gedächtnis1 funktioniert, um einen indexing Mechanismus zu erstellen, der auf ähnliche Weise funktioniert. Um die Videos mit verschiedenen Informationen zu indexen müssen zunächst diese Informationen aus dem Video selber gewonnen werden. Da Gesichter ein wichtiger Teil des autobiographischen Gedächtnisses sind, wird image processing benutzt, um Gesichter aus den Videos zu erkennen. Zusätzlich können wir die GPS Daten benutzen um den Ort zu bestimmen. Nachdem die ganzen Informationen gesammelt wurden, werden sie in sogenannten Events gespeichert. Für jedes Event muss definiert werden, welche Personen an welchem Ort zu welcher Zeit auftauchen. Um eine gute Zusammensetzung von Events zu gewährleisten wurde ein Prototyp entwickelt um Lifelogging Videos in kleinere Segmente aufzuteilen, die momentan nur auf Gesichtern, Orten und Zeit beruhen. Dieser Prototyp kann in Zukunft beliebig erweitert und verbessert werden. Dieses Projekt dient als Grundlage für die spätere Entwicklung eines geeigneten Lifelogging Navigationstools.