Analyzing the effect of entanglement of training samples on the loss landscape of quantum neural networks

Abstract

Quantum Neural Networks (QNNs) are a promising new intersection between classical machine learning and quantum computing. Recent advancements have shown that using entangled training data reduces the amount of data necessary to train a QNN with minimal risk. However, it is not yet fully understood how an increase in degree of entanglement influences the trainability of these QNNs. For this reason, our research aims to analyze the effect of increasing degrees of entanglement and sizes of training sets, as well as different linear structures, such as orthogonal or linearly dependent training samples, on the shape and trainability of QNN loss landscapes. In our experiments, we sample loss landscapes obtained from QNN loss functions for various compositions of training samples. We then analyze the shape of the loss landscapes using multiple roughness metrics. Our findings include correlations between the entanglement, size, and linear structure of the training data and the shape of the corresponding loss landscapes. Most notably, for an increase in degree of entanglement, the loss landscapes show a noticeable decrease in roughness. An increase in training data size has similar results for almost all data structures except for linearly dependent samples, which were significantly less affected. While a smoother landscape can hint at a reduction of local minima and saddle points, this roughness decrease likely implies other training obstacles, such as barren plateaus or narrow gorges. The insights gathered by our experiments can help develop new effective and efficient training strategies for QNNs. Quanten-Neuronale Netze (QNNs) sind eine vielversprechende neue Überschneidung zwischen klassischem maschinellem Lernen und Quantencomputing. Neue Fortschritte haben gezeigt, dass die Verwendung verschränkter Trainingsdaten die Menge an Daten reduziert, die für das Training eines QNNs mit minimalem Risiko erforderlich ist. Jedoch ist noch nicht vollständig untersucht, welchen Einfluss die Erhöhung des Verschränkungsgrades auf die Trainierbarkeit dieser QNNs hat. Aus diesem Grund ist das Ziel unserer Arbeit, die Auswirkung steigender Verschränkung und Größe von Trainingsdatensätzen sowie verschiedener linearer Strukturen, wie orthogonale oder linear abhängige Trainingsdaten, auf die Form und Trainierbarkeit von QNN Optimierungslandschaften zu analysieren. In den Experimenten werden Optimierungslandschaften basierend auf Trainingsdatensätzen von unterschiedlichem Verschränkungsgrad, Größe und linearer Struktur berechnet. Anschließend werten wir die Optimierungslandschaften mithilfe von mehreren Metriken aus. Unsere Ergebnisse zeigen deutliche Korrelationen zwischen dem Verschränkungsgrad, der Größe und der linearen Struktur der Trainingsdaten und der Form der entsprechenden Optimierungslandschaften. Bei Erhöhung des Verschränkungsgrades ist am auffälligsten, dass die Optimierungslandschaften signifikant ruhiger und ebener werden. Eine Erhöhung der Trainingsmenge hat einen ähnlichen Effekt für nahezu alle Datensätze, ausgenommen linear abhängiger Trainingsdaten, welche deutlich weniger davon betroffen waren. Obwohl eine ruhigere Landschaft auf weniger lokale Minima und Sattelpunkte hindeuten kann, ist es wahrscheinlich, dass diese Verringerung der Unebenheiten die Existenz anderer Hindernisse, wie zum Beispiel Barren Plateaus oder Narrow Gorges, impliziert. Die durch unsere Experimente gewonnenen Erkenntnisse, können dazu beitragen, neue effektive und effiziente Trainingsstrategien für QNNs zu entwickeln.