Federated reinforcement learning for the edge

Abstract

With the growing demand to perform increasingly complex computations such as image, audio or video processing or machine learning on mobile devices, energy consumption becomes a crucial factor for the lifetime and usability of these devices. A common way to reduce the amount of consumed energy is to offload the computation to a cloud server with a stable power supply. However, the decision of whether to offload a computation or to perform it locally is not always unambiguous. Using cellular or wireless network to send data to, and receive data from an offloading site can require a non-negligible amount of energy surpassing the energy required for local computation. In this thesis linear contextual bandits are employed to make informed offloading decisions based on contextual information of the task to be executed. To reduce the load on the central server federated, individually acting contextual bandits, able to share collected and aggregated data via synchronization, are considered as well. An increasing privacy consciousness among users further motivates the use of a differentially private mechanism to protect the shared data. While more work on privacy mechanisms that do not compromise prediction performance is needed, result on three real-world datasets show that the linear contextual bandit can improve energy saving when compared supervised solutions.

Durch die steigende Nachfrage nach immer komplexeren Berechnungen wie Bild-, Audio- oder Videoverarbeitung oder maschinellem Lernen auf mobilen Geräten, wird der Energieverbrauch zu einem entscheidenden Faktor für die Lebensdauer und Nutzbarkeit von mobilen Geräten. Eine gängige Methode zur Verringerung des Energieverbrauchs ist die Auslagerung der Berechnungen auf einen Cloud-Server mit stabiler Stromversorgung. Da die Verwendung von mobilen Netzen zur Kommunikation mit dem Server eine nicht vernachlässigbare Menge Energie benötigen kann, ist die Entscheidung, ob ausgelagert werden soll, allerdings nicht immer eindeutig. In dieser Arbeit werden lineare kontextuelle Banditen eingesetzt, um anhand von Kontextinformationen zur auszuführenden Aufgabe, Auslagerungsentscheidungen zu treffen. Um die Last auf dem Server zu reduzieren, werden des Weiteren föderierte, individuell agierende kontextuelle Banditen in Betracht gezogen, die in der Lage sind, gesammelte und aggregierte Daten über Synchronisation auszutauschen. Das zunehmende Bewusstsein der Nutzer für Privatsphäre motiviert zudem die Verwendung von Differential Privacy zum Schutz der geteilten Daten. Während weitere Arbeiten zu Datenschutzmechanismen, die keine Beeinträchtigung der Entscheidungsfindung mit sich bringen, erforderlich sind, zeigen die Ergebnisse aus drei realen Datensätzen, dass lineare kontextuelle Banditen im Vergleich zu überwachtem Lernen Energie sparen können.