Analysis of different preconditioners for kernel matrices based on the PLSSVM library using SYCL

Abstract

PLSSVM is a library that enables the efficient training and execution of Support Vector Machines, which can be used to classify data. It does so by utilizing various high performance computing frameworks to construct and solve a system of linear equations. The conjugate gradient algorithm is used to iteratively solve this linear system. Large datasets with many features, resulting in ill-conditioned kernel matrices have a negative impact on the convergence of the CG method. To remedy this problem, the goal of this thesis is to analyze different preconditioners in the context of the preconditioned conjugate gradient algorithm, in order to reduce the condition number of the linear system, leading to better convergence and higher stability in regards to different hyperparameter sets. To achieve this goal three different preconditioners were implemented with SYCL and tested, showing that the usage of a preconditioners can indeed help to improve the mentioned aspects, resulting in fewer iterations (up to 78%) to converge and enabling the usage of hyperparameter combinations that were not possible before. PLSSVM ist eine Bibliothek, die das effiziente Training und die Ausführung von Support Vector Machinen ermöglicht, welche zur Klassifizierung von Daten eingesetzt werden können. Für das Training wird ein Gleichungssystem aufgestellt, welches mit Hilfe von verschiedenen hochperformanten Frameworks effizient gelöst werden kann. Die Lösung dieses Gleichungssystems erfolgt iterativ durch das Verfahren der konjugierten Gradienten. Aufgrund von großen Datensätzen mit vielen Features, kommt es dabei aktuell immer wieder zu Instabilitäten, gerade in Hinblick auf die Kernelmatrizen, welche eine hohe Konditionszahl aufweisen. Um dieses Problem zu lösen, beschäftigt sich die Masterarbeit mit der Analyse verschiedener Vorkonditionierer für das Verfahren der konjugierten Gradienten. Diese haben das Ziel die Konditionszahl der Gleichungssystems zu verbessern und so die Konvergenz und Stabilität des Verfahrens zu gewährleisten, gerade auch im Bezug auf unterschiedliche Kombinationen von Hyperparametern. Im Rahmen der Masterarbeit wurden drei verschiedene Vorkonditionierer mit Hilfe von SYCL implementiert und getestet. Die Ergbenisse zeigen hierbei, dass der Einsatz eines Vorkonditionieres die angesprochenen Ziele erreichen kann, indem die Anzahl der Iterationen zur Konvergenz bis zu 78% verringert wird und der Einsatz von vorher nicht möglichen Hyperparameterkombinationen nun möglich ist.