Video visual analytics

Abstract

The amount of video data recorded world-wide is tremendously growing and has already reached hardly manageable dimensions. It originates from a wide range of application areas, such as surveillance, sports analysis, scientific video analysis, surgery documentation, and entertainment, and its analysis represents one of the challenges in computer science. The vast amount of video data renders manual analysis by watching the video data impractical. However, automatic evaluation of video material is not reliable enough, especially when it comes to semantic abstraction from the video signal.

In this thesis, the visual analytics methodology is applied to the video domain to combine the complementary strengths of human cognition and machine processing. After depicting the challenges of scalable video analysis, a video visual analytics pipeline is proposed that relies on stream processing for scalability.

The proposed video visual analytics pipeline consists of six stages that are processed successively--data stream selection, manipulation, feature extraction, filtering, relevance measure, and visualization--before the results are presented to the human analysts. The human analysts can interact and modify each of these stages iteratively. To support sense-making, the human analysts can directly integrate and organize reasoning artifacts into a reasoning sandbox.

For the video visual analytics pipeline, various methods for the different stages are introduced that address data scalability, task scalability, and situational awareness. This work focuses mainly on the filtering and visualization stages, but provides reviews and discussions of techniques for the other stages as well.

In the filtering stage, four interaction guidelines--easy-to-use filter definition, confidence-incorporated filter definition, decision-guided filter definition, and filter feedback--are defined and applied to formulate filters by properties, by sketch, or by example. Due to the suitability of trajectories for filtering, a configurable similarity metric for trajectories is introduced that allows combining different facets (features) with different similarity measures.

Besides a survey on video visualization methods, the thesis contributes to the visualization stage by methods for fast-forward video visualization and hierarchical video exploration (the interactive schematic summaries). The VideoPerpetuoGram is extended and applied to different domains (video surveillance and snooker skill training), and an example of video visualization that solely depends on extracted features from video (the layered TimeRadarTrees) is discussed. Moreover, two sonification approaches with the purpose to improve situational awareness are introduced.

Der Umfang der weltweit aufgenommenen Videodaten wächst stark und hat bereits Dimensionen erreicht, die schwer handhabbar sind. Die Videodaten stammen dabei aus verschiedensten Anwendungsgebieten, wie beispielsweise der Videoüberwachung, Sportanalyse, wissenschaftlichen Videoanalyse, Operationsdokumentation und der Unterhaltung, und deren Analyse ist eine der Herausforderungen der Informatik. Die gewaltige Menge der Videodaten macht eine manuelle Analyse durch Anschauen des Materials unmöglich. Die automatische Auswertung der Videos ist jedoch nicht ausreichend zuverlässig, vor allem wenn aus dem Video semantisch abstrahiert werden soll.

In dieser Arbeit wird die Visual Analytics Methodik auf das Gebiet der Videoanalyse angewandt, um die Stärken der menschlichen Wahrnehmung mit den Vorteilen der maschinellen Verarbeitung zu kombinieren. Nachdem die Herausforderungen der skalierbaren Videoanalyse betrachtet wurden, wird ein Verarbeitungsschema für die visuelle Analyse von Videodaten vorgestellt, das aufgrund der Skalierbarkeit auf Paradigmen der Datenstromverarbeitung setzt.

Das vorgeschlagene Modell der Videoanalyse durchläuft sechs aufeinanderfolgende Phasen, bevor die Ergebnisse den Analysten präsentiert werden: Die Auswahl der Datenströme, Manipulation, Merkmalsextraktion, Filterung, Relevanzberechnung und Visualisierung. Die Analysten können hierbei iterativ mit jeder einzelnen Phase interagieren und diese modifizieren. Um die Analysten bei Schlussfolgerungen zu unterstützten, ist es möglich, die gewonnenen Erkenntnisse in einen Argumentationsgraph zu integrieren und zu organisieren.

Es werden verschiedene Methoden für die einzelnen Phasen des Verarbeitungsschemas unter Berücksichtigung der Datenskalierbarkeit, der Aufgabenskalierbarkeit und des Situationsbewusstseins vorgestellt. Die Schwerpunkte der Arbeit liegen auf der Filterung und Visualisierung, für die weiteren Phasen werden jedoch vorhandene Verfahren begutachtet und eigene Ansätze zusammengefasst dargestellt.

Für die Phase der Filterung werden vier Interaktionsrichtlinien (Einfachheit, Integration von Konfidenz, Unterstützung von Entscheidungen und Rückmeldung der Filterauswirkung) definiert und auf die Formulierung von Filtern angewandt. Filter können hierbei anhand von Eigenschaften, eines Beispiels oder aber auch einer Skizze erstellt werden. Aufgrund des Potentiales von Trajektorien für die Filterformulierung wird zudem eine konfigurierbare Ähnlichkeitsmetrik für Trajektorien eingeführt, die eine beliebige Kombination unterschiedlicher Merkmale mit verschiedenen Ähnlichkeitsmaßen ermöglicht.

Die Arbeit steuert, neben einem Überblick von in der Literatur vorgeschlagenen Videovisualisierungsmethoden, einige neue Methoden für die Phase der Visualisierung bei. Dies umfasst Visualisierungen für den Videoschnellvorlauf und eine Methode zur hierarchischen Videoexploration (die Interactive Schematic Summaries). Das VideoPerpetuoGram wird erweitert und auf die Anwendungsgebiete Überwachung und Schulungen für Snookerspieler angepasst. Die Layered TimeRadarTrees, eine ausschließlich auf aus dem Video extrahierten Merkmalen basierende Visualisierungstechnik, werden diskutiert. Überdies werden zwei Sonifizierungsansätze vorgestellt, die entwickelt wurden, um das Situationsbewusstsein zu verbessern.