Analysis and Transfer of AutoML Concepts for Clustering Algorithms

Abstract

Data analysts are confronted with the choice of selecting an appropriate algorithm with suitable hyperparameters for datasets that they want to analyze. For this, they typically execute and evaluate many configurations in a trial-and-error manner. However, for novice data analysts this is a time-consuming task. Recent advances in the research area of AutoML address this problem by automatically find a suitable algorithm with appropriate hyperparameters. Yet, these systems are only applicable for supervised learning tasks and not for unsupervised learning. In the scope of this work, existing AutoML systems are analyzed in detail. Subsequently, a concept is developed that uses components from existing AutoML systems but modifies them in such a way that they are applicable for unsupervised learning. Although, various kinds of unsupervised learning methods exist, this work focuses on the popular unsupervised method clustering. This concept is also prototypical implemented as proof-of-concept and is used for the evaluation. The comprehensive evaluation discusses the results for different optimization methods for selecting a suitable clustering algorithm with appropriate hyperparameters. The evaluation unveils that the predicted number of clusters of the implemented prototype deviates only slightly from the actual number of clusters. Hence, this work showed that it is possible to successfully transfer the concepts of existing AutoML systems to the unsupervised learning method of clustering and at the same time achieve precise results in an acceptable amount of time.

Datenanalysten stehen häufig vor der Wahl, einen geeigneten Algorithmus mit geeigneten Hyperparametern für Datensätze auszuwählen, die sie analysieren wollen. Dazu probieren sie typischerweise viele Konfigurationen nach der Versuch-und-Irrtum Methode aus und werten diese anschließend aus. Insbesondere für unerfahrene Datenanalysten ist dies jedoch eine zeitaufwändige Aufgabe. Die jüngsten Fortschritte auf dem Forschungsgebiet von AutoML stellen sich diesem Problem, indem sie automatisch einen geeigneten Algorithmus mit geeigneten Hyperparametern finden. Diese Systeme sind jedoch nur für betreute Lernaufgaben anwendbar und nicht für unbeaufsichtigtes Lernen. Im Rahmen dieser Arbeit werden bestehende AutoML-Systeme detailliert analysiert. Anschließend wird ein Konzept entwickelt, das Komponenten aus bestehenden AutoML-Systemen verwendet, diese aber so modifiziert, dass sie für das unübewachte Lernen geeignet sind. Obwohl es verschiedene Arten von unüberwachten Lernmethoden gibt, fokussiert sich diese Arbeit auf die häufig verwendete Methode des Clustering. Dieses Konzept ist zudem auch prototypisch als Proof-of-Concept implementiert und wird für die Evaluation verwendet. Die umfassende Evaluation diskutiert die Ergebnisse für verschiedene Optimierungsmethoden zur Auswahl eines geeigneten Clustering-Algorithmus mit geeigneten Hyperparametern. Die Auswertung zeigt, dass die vorhergesagte Anzahl der Cluster des implementierten Prototypen nur geringfügig von der tatsächlichen Anzahl der Cluster abweicht. Damit wurde gezeigt, dass es möglich ist die Konzepte bestehender AutoML-Systeme erfolgreich auf die unüberwachte Lernmethode des Clustering zu übertragen und gleichzeitig präzise Ergebnisse in akzeptabler Zeit zu erzielen.