Towards a neuro-symbolic approach for occupant activity recognition : combining temporal HTN planning with hidden Markov models

Abstract

The problem of occupant activity recognition has gained in relevance due to demographic shifts and growing environmental concerns where context-sensitive applications promise to help. The prevalent approach to this problem is based around the use of supervised machine learning, which faces challenges due to its requirement for large amounts of annotated training data and its tendency to overfit. Using preexisting common sense or expert knowledge, usually in the form of ontologies, presents another option, but carries its own set of shortcomings. Recently, the usage of hierarchical task network planning as an alternative to this ontological approach has been proposed. Hybrid systems that utilize both machine learning and preexisting knowledge promise to preserve the strength of both approaches while alleviating their drawbacks. We propose a new hybrid occupant activity system using hierarchical task network planning to support the training of a Hidden Markov Model, which, to the best of our knowledge, has not been done before. In addition, we evaluate the system on real sensor data in order to find out how much merits this new design has. Hereby we attempt and compare multiple approaches to the problem. Although not all methods improve the performance, the results show that the basic idea is sound and can generate measurable improvements. Die Problemstellung der Insassenaktivitätserkennung hat aufgrund des demografischen Wandels und wachsender Besorgnis über die Umwelt an Relevanz gewonnen, da kontextsensitive Anwendungen versprechen, in diesen Anwendungsfeldern Abhilfe zu leisten. Der vorherrschende Ansatz an die Problemstellung basiert auf überwachtem Maschinenlernen, welcher allerdings durch den großen Bedarf an kommentierten Trainingsdaten und seine Tendenz zur Überanpassung herausgefordert wird. Eine andere Option ist die Nutzung von gesundem Menschenverstand oder Expertenwissen, gewöhnlich in der Form von Ontologien, welche allerdings eigene Schwachstellen aufweist. Vor kurzer Zeit wurde die Benutzung von hierarchischem Aufgabennetzwerkplanen als Alternative zu diesem ontologischen Ansatz vorgeschlagen. Hybride Systeme, welche sowohl Maschinenlernen als auch präexistentes Wissen benutzen, versprechen die Stärken beider Ansätze zu bewahren, während ihre Schwächen verringert werden. Wir schlagen ein neues hybrides System zur Insassenaktivitätserkennung vor, welches das Training eines verdeckten Markowmodells durch hierarchisches Aufgabennetzwerkplanen unterstützt. Dies wurde, nach unserem besten Wissen, bisher noch nicht umgesetzt. Zusätzlich evaluieren wir das System auf echten Sensordaten, um die Leistung dieses neuen Designs zu überprüfen. Dabei testen und vergleichen wir mehrere Ansätze an das Problem. Auch wenn nicht alle Methoden die Leistung erhöhen, zeigen die Ergebnisse, dass die Grundidee sinnvoll ist und messbare Verbesserungen hervorrufen kann.