Surrogate models for black-box optimization problems

Abstract

Finding the optimum of a black-box function is a challenging task. Optimizing these functions is often time consuming and computationally expensive. In such situations, surrogate models are often used. Surrogate models are mathematical models that approximate the behavior of a black-box function using sample data. There are several works that present methods to optimize these surrogate models. However, the influence of the different surrogate models and their properties on the solution of the underlying optimization task remains unclear. In our work, we focus on a learn-to-optimize approach, where an optimization algorithm is trained using reinforcement learning. We study different surrogate models and analyze their properties. As surrogate models, we use well-known machine learning algorithms such as k-nearest neighbors, decision trees, and deep neural networks. We optimize these models to fit our dataset and compare them using different metrics. We evaluate the models’ ability to predict the maximum of our function using Monte Carlo sampling. We then analyze the influence of their different properties in the learn-to-optimize process. Finally, we identify the best model for our task and propose ideas for further improvement based on our observations. All this is done using real data from performance tuning of semiconductor circuits in post-silicon validation. Performance tuning is a complex optimization task to determine the optimal configuration of various circuit parameters to achieve maximum performance. Semiconductor circuits are used in a wide range of applications, including computing and power electronics. Therefore, their optimization is of general interest, which underlines the importance of the topic.

Die Suche nach dem Optimum einer Black-Box-Funktion ist eine anspruchsvolle Aufgabe. Die Optimierung dieser Funktionen ist oft zeitaufwendig und rechenintensiv. In solchen Situationen werden häufig Surrogatmodelle verwendet. Surrogatmodelle sind mathematische Modelle, die das Verhalten einer Black-Box-Funktion anhand von Beispieldaten approximieren. Es gibt mehrere Arbeiten, die Methoden zur Optimierung dieser Ersatzmodelle vorstellen. Der Einfluss der verschiedenen Surrogatmodelle und ihrer Eigenschaften auf die Lösung der zugrunde liegenden Optimierungsaufgabe bleibt jedoch unklar. In unserer Arbeit konzentrieren wir uns auf einen Learn-to-Optimize-Ansatz, bei dem ein Optimierungsalgorithmus mithilfe von Reinforcement Learning trainiert wird. Wir untersuchen verschiedene Surrogatmodelle und analysieren ihre Eigenschaften. Als Ersatzmodelle verwenden wir bekannte Algorithmen des maschinellen Lernens wie K-Nearest-Neighbors, Entscheidungsbäume und tiefe neuronale Netze. Wir optimieren diese Modelle, um sie an unseren Datensatz anzupassen, und vergleichen sie anhand verschiedener Metriken. Wir bewerten die Fähigkeit der Modelle, das Maximum unserer Funktion mithilfe von Monte-Carlo-Sampling vorherzusagen. Anschließend analysieren wir den Einfluss der verschiedenen Eigenschaften der Modelle auf den Learn-to-Optimize-Prozess. Schließlich ermitteln wir das beste Modell für unsere Aufgabe und schlagen auf der Grundlage unserer Beobachtungen Ideen für weitere Verbesserungen vor. All dies geschieht anhand von realen Daten aus der Leistungsoptimierung von Halbleiterschaltungen in der Post-Silicon-Validierung. Leistungsabstimmung ist eine komplexe Optimierungsaufgabe, bei der die optimale Konfiguration verschiedener Schaltungsparameter ermittelt wird, um eine maximale Leistung zu erzielen. Halbleiterschaltungen werden in einer Vielzahl von Anwendungen eingesetzt, unter anderem in der Computertechnik und der Leistungselektronik. Ihre Optimierung ist daher von allgemeinem Interesse, was die Bedeutung des Themas unterstreicht.