Analysis and integration of data preprocessing steps in AutoML for clustering

Abstract

This work explores the field of Automated Machine Learning (AutoML) and its application in unsupervised learning, specifically clustering. While AutoML for clustering systems exist, none of these fully integrate and analyze preprocessing steps. Therefore the contributions of this work include the following: Analysis and selection of promising preprocessing methods. The selection is based on supervised AutoML systems with preprocessing and clustering use-cases. Extension of the existing package AutoML4Clust with the selected preprocessing methods and their respective hyperparameters. Addition of categorical clustering algorithms to the search space in an attempt to improve results on data with categorical features. Implementation of multiobjective optimization strategies which aim to reach a trade-off between accuracy and runtime. Reduction in runtime with sampling, which optimizes on only a subset of the data. Rigorous evaluation of the new implementations. The work concludes that AutoML can significantly benefit from the addition of preprocessing and that the proposed methods show promising results for future development.

Diese Arbeit erforscht das Gebiet des automatisierten maschinellen Lernens (AutoML) und seine Anwendung in unüberwachtem Lernen, insbesondere Clustering. Es gibt zwar AutoML für Clustering Systeme, aber keines von ihnen integriert und analysiert Vorverarbeitungsschritte systematisch. Daher umfasst der Beitrag dieser Arbeit Folgendes: Analyse und Auswahl von vielversprechenden Vorverarbeitungsmethoden. Die Auswahl basiert auf überwachten AutoML-Systemen mit Preprocessing und auf Clustering Anwendungsfällen. Erweiterung des bestehenden Pakets AutoML4Clust um die ausgewählten Preprocessing-Methoden und ihre jeweiligen Hyperparameter. Hinzufügen von kategorischen Clustering-Algorithmen zum Suchraum, um die Ergebnisse bei Daten mit kategorischen Merkmalen zu verbessern. Implementierung von Multiobjective Optimierungsstrategien, die einen Kompromiss zwischen Genauigkeit und Laufzeit anstreben. Reduzierung der Laufzeit durch Sampling, bei dem nur auf einer Teilmenge der Daten optimiert wird. Rigorose Evaluierung der neuen Implementierungen. Die Arbeit kommt zu dem Schluss, dass AutoML von der Hinzufügung von Vorverarbeitungsmethoden stark profitieren kann und dass die vorgeschlagenen Methoden vielversprechende Ergebnisse für die zukünftige Entwicklung zeigen.