Driver alertness monitoring using steering, lane keeping and eye tracking data under real driving conditions

Abstract

Since humans operate trains, vehicles, aircrafts and industrial machinery, fatigue has always been one of the major causes of accidents. Experts assert that sleepiness is among the major causes of severe road accidents. In-vehicle fatigue detection has been a research topic since the early 80’s. Most approaches are based on driving simulator studies, but do not properly work under real driving conditions. The Mercedes-Benz ATTENTION ASSIST is the first highly sophisticated series equipment driver assistance system on the market that detects early signs of fatigue. Seven years of research and development with an unparalleled demand of resources were necessary for its series introduction in 2009 for passenger cars and 2012 for busses. The system analyzes the driving behavior and issues a warning to sleepy drivers. Essentially, this system extracts a single measure (so-called feature), the steering event rate by detecting a characteristic pattern in the steering wheel angle signal. This pattern is principally described by a steering pause followed by a sudden correction. Various challenges had to be tackled for the series-production readiness, such as handling individual driving styles and external influences from the road, traffic and weather. Fuzzy logic, driving style detection, road condition detection, change of driver detection, fixed-point parameter optimization and sensor surveillance were some of the side results from this thesis that were essential for the system’s maturity. Simply issuing warnings to sleepy drivers is faintly "experiencable" nor transparent. Thus, the next version 2.0 of the system was the introduction of the more vivid ATTENTION LEVEL, which is a permanently available bargraph monitoring the current driving performance. The algorithm is another result of this thesis and was introduced 2013 in the new S-Class. Fatigue is very difficult to grasp since a ground truth reference does not exist. Thus, the presented findings about camera-based driver monitoring are included as fatigue reference for algorithm training. Concurrently, the presented results build the basis for eye-monitoring cameras of the future generation of such systems. The driver monitoring camera will also play a key role in "automated driving" since it is necessary to know if the driver looks to the road while the vehicle is driving and if he is alert enough to take back control over the vehicle in complex situations. All these improvements represent major steps towards the paradigm of crash free driving. In order to develop and improve the ATTENTION ASSIST, the central goal of the present work was the development of pattern detection and classification algorithms to detect fatigue from driving sensors. One major approach to achieve a sufficiently high detection rate while maintaining the false alarm rate at a minimum was the incorporation of further patterns with sleepiness-associative ability. Features reported in literature were assessed as well as improved extraction techniques. Various new features were proposed for their applicability under real-road conditions. The mentioned steering pattern detection is the most important feature and was further optimized. Essential series sensor signals, available in most today’s vehicles were considered, such as steering wheel angle, lateral and longitudinal acceleration, yaw rate, wheel rotation rate, acceleration pedal, wheel suspension level, and vehicle operation. Another focus was on the lateral control using camera-based lane data. Under real driving conditions, the effects of sleepiness on the driving performance are very small and severely obscured by external influences such as road condition, curvature, cross-wind, vehicle speed, traffic, steering parameters etc. Furthermore, drivers also have very different individual driving styles. Short-term distraction from vehicle operation also has a big impact on the driving behavior. Proposals are given on how to incorporate such factors. Since lane features require an optional tracking camera, a proposal is made on how to estimate some lane deviation features from only inertial sensory by means of an extended Kalman filter. Every feature is related to a number of parameters and implementation details. A highly accelerated method for parameter optimization of the large amount of data is presented and applied to the most promising features. The alpha-spindle rate from the Electroencephalogram (EEG) and Electrooculogram (EOG) were assessed for their performance under real driving conditions. In contrast to the majority of results in literature, EEG was not observed to contribute any useful information to the fatigue reference (except for two drives with microsleeps). Generally, the subjective self-assessments according to the Karolinska Sleepiness Scale and a three level warning acceptance question were consequently used. Various correlation measures and statistical test were used to assess the correlation of features with the reference. This thesis is based on a database with over 27,000 drives that accumulate to over 1.5 mio km of real-road drives. In addition, various supervised real-road driving studies were conducted that involve advanced fatigue levels. The fusion of features is performed by different classifiers like Artificial Neural Networks (ANN) and Support Vector Machines (SVM). Fair classification results are achieved with ANN and SVM using cross-validation. A selection of the most potential and independent features is given based on automatic SFFS feature selection. Classical machine learning methods are used in order to yield maximal system transparency and since the algorithms are targeted to run in present control units. The potential of using end-to-end deep learning algorithms is discussed. Whereas its application to CAN-signals is problematic, there is a high potential for driver-camera based approaches. Finally, features were implemented in a real-time demonstrator using an own CAN-interface framework. While various findings are already rolled out in ATTENTION ASSIST 1.0, 2.0 and ATTENTION LEVEL, it was shown that further improvements are possible by incorporating a selection of steering- and lane-based features and sophisticated classifiers. The problem can only be solved on a system level considering all topics discussed in this thesis. After decades of research, it must be recognized that the limitations of indirect methods have been reached. Especially in view of emerging automated driving, direct methods like eye-tracking must be considered and have shown the greatest potential.

Seit der Bedienung von Fahrzeugen, Zügen, Flugzeugen und industriellen Maschinen durch Menschen stellt Müdigkeit eine der Hauptursachen für Unfälle dar. Experten versichern, dass Müdigkeit eine der Hauptursachen für schwere Verkehrsunfälle ist. Seit den 80er Jahren ist Müdigkeit am Steuer ein Forschungsthema. Die meisten Ansätze basieren auf Fahrsimulatorstudien, die unter realen Fahrbedingungen jedoch nicht funktionieren. Der Mercedes-Benz ATTENTION ASSIST ist das erste und fortschrittlichste Seriensystem auf dem Markt, das frühe Anzeichen von Müdigkeit zuverlässig erkennt. Sieben Jahre Forschung und Entwicklung sowie ein beispielloser Bedarf an Ressourcen waren für die Serieneinführung 2009 im PKW und 2012 im Reisebus notwendig. Das System analysiert das Fahrverhalten und warnt müde Fahrer. Im Wesentlichen extrahiert das System ein Maß (sog. Merkmal) für die Häufigkeit von Lenkereignissen indem charakteristische Muster im Lenkwinkelsignal detektiert werden. Die Muster können vereinfacht durch eine Lenkpause gefolgt von einer plötzlichen Lenkkorrektur beschrieben werden. Für die Serienreife mussten vielerlei Hürden überwunden werden, wie beispielsweise der Umgang mit fahrerindividuellen Fahrstilen, Umwelteinflüssen von der Straße, Verkehr und Wetter. Fuzzy-Logik, Fahrstilerkennung, Straßenzustandserkennung, Fahrerwechsel, Festkomma - Parameteroptimierung und Sensorüberwachung waren einige der Ergebnisse aus dieser Dissertation, die für den Reifegrad des Systems essenziell waren. Die schlichte Ausgabe eine Warnung ist weder sehr erlebbar noch transparent. Daher wurde in der Folgeversion 2.0 des Systems das dynamischere ATTENTION LEVEL eingeführt, das eine permanent verfügbare Balkenanzeige anzeigt, die der aktuell ermittelten Fahrtüchtigkeit entspricht. Der Algorithmus ist ein weiteres Ergebnis dieser Arbeit und wurde 2013 in der neuen W222 S-Klasse eingeführt. Müdigkeit ist sehr schwer zu greifen, da als Referenz keine "absolute Wahrheit" existiert. Aus diesem Grund wurden die hier vorgestellten Ergebnisse der auf Fahrerkameradaten basierenden Fahrerzustandsbeobachtung als Müdigkeitsreferenz zum Training der Algorithmen mitverwendet. Gleichzeitig bilden die Ergebnisse die Basis für die Fahrerkamera in der zukünftigen Generation des Systems. Die Fahrerkamera wird auch eine wichtige Rolle beim "hochautomatisierten Fahren" spielen, da es notwendig ist zu wissen ob der Fahrer während der Fahrt auf die Straße schaut und ob er in komplexen Situationen aufmerksam genug ist, um die Kontrolle zu übernehmen. Alle diese Verbesserungen repräsentieren einen wesentlichen Schritt in Richtung der Vision vom unfallfreien Fahren. Um den ATTENTION ASSIST zu entwickeln und zu verbessern bestand das zentrale Ziel der hier vorgestellten Arbeit in der Entwicklung von Mustererkennungs- und Klassifikationsalgorithmen die Müdigkeit anhand von Fahrzeugsensoren erkennen. Ein wesentlicher Ansatz um eine genügend hohe Erkennungsrate zu erreichen und dabei die Falschalarmraten minimal zu halten war der Einbezug von weiteren Mustern mit müdigkeitsbezogenen Eigenschaften. Merkmale aus der Literatur wurden untersucht ebenso wie verbesserte Extraktionsmethoden. Zahlreiche neue Merkmale wurden für den Einsatz unter realen Fahrbedingungen vorgeschlagen. Das oben genannte Lenkmuster ist das wichtigste Merkmal und wurde weiter optimiert. Die wichtigsten Signale der Seriensensorik, die heute in den meisten Fahrzeugen verfügbar sind wurden verwendet, wie zum Beispiel Lenkwinkelsensor, Quer- und Längsbeschleunigung, Gierrate, Raddrehzahl, Gaspedalweg, Fahrwerkfederwege und Fahrzeugbedienung. Ein weiterer Fokus bestand in der Querregelung unter Verwendung von kamerabasierten Spurdaten. Unter realen Fahrbedingungen sind die Einflüsse von Müdigkeit auf das Fahrvermögen sehr klein und stark durch externe Einflüsse überlagert, wie beispielsweise Straßenzustand, Kurvigkeit, Seitenwind, Geschwindigkeit, Verkehr, Lenkungsparameter usw. Weiterhin unterscheiden sich Fahrer durch sehr individuelle Fahrstile. Kurzzeitige Ablenkung durch Fahrzeugbedienhandlungen haben ebenso einen starken Einfluss auf das Fahrverhalten. Es werden Vorschläge gemacht um diese Faktoren mit zu berücksichtigen. Da Spurmerkmale eine Kamera benötigen die nur als Sonderausstattung erhältlich ist, wird ein Vorschlag gemacht wie einige der Spurmerkmale mittels Inertialsensorik und einem erweiterten Kalman Filter geschätzt werden können. Jedes Merkmal ist mit einer Vielzahl von Parametern und Implementierungsdetails verknüpft. Eine beschleunigte Methode zur Parameteroptimierung zur Bewältigung der riesigen Datenmenge wird vorgestellt und für die vielversprechendsten Merkmale angewendet. Die Alpha-Spindelrate aus dem Elektroenzephalogramm (EEG) und Elektrookulogramm (EOG) wurden hinsichtlich ihrer Eignung als Referenz unter realen Fahrbedingungen bewertet. Ausgenommen von wenigen Ausnahmen, konnte im Gegensatz zu den Ergebnissen in der Literatur nicht beobachtet werden, dass EEG einen wertvollen Beitrag als Müdigkeitsreferenz liefert. Die subjektive Selbsteinschätzung nach der Karolinska Müdigkeitsskala und einer dreistufigen Warnungsakzeptanzfrage wurde daher durchgängig als Referenz verwendet. Verschiedene Korrelationsmaße und statistische Test wurden herangezogen um die Korrelation von Merkmalen mit der Referenz zu bewerten. Diese Dissertation basiert auf einer Datenbank mit über 27.000 Fahrten deren Fahrleistung über 1.5 mio km reale Fahrdaten umfasst. Zusätzlich wurden überwachte Fahrversuche mit fortgeschrittenen Müdigkeitsstadien durchgeführt. Brauchbare Klassifikationsergebnisse werden mit künstlichen neuronalen Netzwerken (ANN) und Support Vektor Machines (SVM) und Kreuzvalidierung erreicht. Eine Auswahl der unabhängigsten Merkmale mit dem höchsten Potential wird vorgestellt, basierend auf automatischer Merkmalselektion mittels SFFS. Es werden Mathoden aus dem klassischen maschinellen Lernen verwendet, um maximale Transparenz über das System zu erhalten und weil die Algorithmen in aktuellen Steuergeräten eingesetzt werden. Abschließend wurden diese Merkmale in einem Echtzeitsystem mit einem eigenen CAN-Interface implementiert. Der Einsatz von end-to-end deep learning wird dirkutiert. Während die Anwendung auf CAN-Signale problematisch ist, gibt es ein hohes Potential bei Fahrerkamera-basierten Ansätzen. Während viele der Erkenntnisse bereits in ATTENTION ASSIST 1.0, 2.0 und ATTENTION LEVEL eingeflossen sind, wurde gezeigt, dass weitere Verbesserung durch Einbezug einer Auswahl von Lenkwinkel- und Spurbasierten Merkmalen und Klassifikatoren erzielt werden kann. Das Problem kann nur auf der Systemebene gelöst werden indem alle in dieser Dissertation angesprochenen Themen berücksichtigt werden. Nach Jahrzehnten der Forschung muss akzeptiert werden, dass die Grenzen der indirekten Methoden erreicht sind. Insbesondere in Betracht auf automatisiertes Fahren sind direkte Methoden wie Lidschlagerkennung notwendig und zeigen das höchste Potential.