How to combine augmentations for graph contrastive learning

Abstract

Graph neural networks (GNNs) are a topic of increasing interest in recent years. They have the potential to handle irregularly structured data, which is of great interest for graph-structured data. Like other areas, graph-structured data suffers from a lack of data. The available data consists of only a small portion of labeled data, while the majority is unlabeled. Semi-supervised learning with contrastive learning has been successfully applied in image representation learning to solve this problem. Contrastive learning relies on good augmentations, which is more complicated for graph-structured data and still needs further exploration. In this thesis, we attempt to solve the problem by creating multiple new augmentations and comparing them to existing ones. We evaluate the performance of these single augmentations and test the combination of augmentations with different augmentation ratios. Additionally, we further improve the results by testing different loss functions. Eventually, we test transfer learning and warm-starting the neural network with the same and different datasets. Ultimately, we give an outlook into improved ideas to individually select augmentations for each graph and connect them to recent research that uses generators to create augmentations. Graph Neural Networks (GNNs) sind in den letzten Jahren ein immer wichtigeres Thema geworden. Sie haben das Potenzial, unregelmäßig strukturierte Daten zu verarbeiten, was bei Graphen-basierten Daten von großem Interesse ist. Wie auch in anderen Bereichen leiden Graphen-basierte Daten unter einem Mangel an Daten. Die verfügbaren Daten bestehen nur zu einem kleinen Teil aus Daten mit Labeln, während der größte Teil ohne Label ist. Semi-supervised Learning nutzt Contrastive Learning, um dieses Problem zu lösen und wird beim Lernen von Bild-Repräsentationen erfolgreich eingesetzt. Die Qualität von Contrastive Learning hängt davon ab, gute Augmentations zu finden, ein Thema, das bei Graphen-basierten Daten komplizierter ist und weiter erforscht werden muss. In dieser Thesis versuchen wir, das Problem zu lösen, indem wir mehrere neue Augmentations erstellen und sie mit bestehenden vergleichen. Wir evaluieren die Leistung dieser einzelnen Augmentations und testen die Kombination von unterschiedlichen Augmentations-Ratios. Darüber hinaus verbessern wir die Ergebnisse weiter, indem wir verschiedene Loss-Functions testen. Schließlich testen wir das Transfer-Learning und das Warmstarting des neuronalen Netzes mit denselben und verschiedenen Datensätzen. Abschließend geben wir einen Ausblick auf verbesserte Ideen zur individuellen Auswahl von Augmentations für jeden Graphen und stellen eine Verbindung zu neueren Forschungsergebnissen her, die Generatoren zur Erstellung von Augmentations verwenden.