Classifying physical exercises and counting repetitions using three-dimensional pose estimation

Abstract

Resistance training is known to increase physical and mental health but requires a lot of knowledge and experience to be done effectively and safely. Personal trainers and physiotherapists provide their knowledge to athletes but their profession requires a lot of learning and experience, thus making their services often not affordable to the general public. Automating certain aspects of their work will make their services more available to the general population and therefore lead to more safe and more effective athletes. The first steps of automating personal training lie in observing a subject train and understanding their performed workout. This provides the basics for future work of automating providing feedback on exercise execution and improving their training regimes. In order to do so, we developed a proof-of-concept program, that uses a two-dimensional camera video as an input to classify what exercise a user performs and automatically counts the number of performed repetitions, in real-time. It should work without imposing requirements in the camera perspective or needing to know what exercise will be performed in advance. This is achieved by using a three-dimensional pose estimation model and defining a rule-based algorithm, that considers the position and angle of joints that characterize the performed exercises We evaluate our proof-of-concept program using videos of subjects performing squats and push-ups in order to understand the accuracy in a real-world scenario. Our program achieved an overall accuracy of 95.57% for the squats and 93.69% for the push-up evaluation.

Es ist bekannt, dass Krafttraining gut für die physische und mentale Gesundheit ist, jedoch bedarf es einiges an Wissen und Erfahrung, um es effektiv und sicher auszuführen. Personal Trainer und Physiotherapeuten geben deren Erfahrung an Kunden und Patienten weiter, jedoch ist deren Angebot oft nicht erschwinglich für die weitere Bevölkerung. Das Automatisieren einiger Aufgaben dieser Berufe könnte das Angebot effizienter und somit billiger machen. Der erste Schritt um Personal Training zu automatisieren ist das maschinelle Verstehen von ausgeführten Übungen. Diese Aufgabe legt die Grundlage, um später Fehler in der Ausführung zu erkennen und Verbesserungsvorschläge zu geben. Wir haben einen Prototypen entwickelt, der als Eingabe das Bild einer zweidimensionalen Kamera benutzt, um zu klassifizieren welche Übung eine Person ausführt und in Echtzeit automatisch die Anzahl der ausgeführtenWiederholungen mitzählt. Dieser Prototyp funktioniert ohne Einschränkungen wie ein bestimmter Kamerawinkel und ohne vorher zu wissen, welche Übung ausgeführt wird. Der Prototyp benutzt ein Pose-Estimation Modell und einen regelbasierten Algorithmus, der die Position und den Winkel von verschiedenen Gelenken berücksichtigt. Wir haben eine Evaluation des Prototypen mit Videos zu Liegestützen und Kniebeugen durchgeführt, um die Genauigkeit des Programms in der Praxis zu untersuchen. In dieser Evaluation hat das Programm eine Genauigkeit von 95.57% für Kniebeugen und 93.69% für Liegestützen erreicht.