Clusterability of abstract and concrete concepts using image and textual features

Abstract

This thesis investigates the clusterability of abstract and concrete concepts using textual and image features. Clusterability refers to the ability to which data can be grouped into distinct clusters, i.e., groups with high internal similarity and low external similarity. By leveraging statistical multimodality tests such as the Dip test and Silverman test, the study evaluates the ability of diverse feature representations, including GIST, HSV, HOG, YOLO, Texture, SURF, SimCLR, ViT, and Word2Vec, to distinguish between these concept types. Abstract and concrete concepts pose unique challenges due to their contrasting sensory and cognitive representations, influencing their clustering patterns. Experiments were conducted on datasets with varying numbers of images per concept and feature combinations, revealing significant insights into the strengths and limitations of different features. While some features demonstrated potential in capturing multimodality, others highlighted the complexity of distinguishing between abstract and concrete concepts computationally. The findings contribute to the understanding of feature selection for clustering high-dimensional datasets, laying a foundation for future work in analyzing abstract and concrete concepts across multimodal representations. Diese Bachelorarbeit untersucht die Clusterfähigkeit abstrakter und konkreter Konzepte anhand textueller und bildbasierter Merkmale. Clusterfähigkeit bezeichnet die Fähigkeit, Daten in eindeutig unterscheidbare Cluster zu gruppieren, d.h. Gruppen mit hoher interner Ähnlichkeit und geringer externer Ähnlichkeit. Mithilfe statistischer Multimodalitätstests, wie dem Dip-Test und dem Silverman-Test, wird die Fähigkeit verschiedener Merkmalsrepräsentationen, darunter GIST, HSV, HOG, YOLO, Texture, SURF, SimCLR, ViT und Word2Vec, bewertet, diese Konzepttypen zu unterscheiden. Abstrakte und konkrete Konzepte stellen aufgrund ihrer kontrastierenden sensorischen und kognitiven Repräsentationen einzigartige Herausforderungen dar, die ihre Clusterbildung beeinflussen. Die Experimente wurden auf Datensätzen mit unterschiedlicher Bildanzahl pro Konzept und verschiedenen Merkmalskombinationen durchgeführt und lieferten bedeutende Erkenntnisse über die Stärken und Schwächen der verschiedenen Merkmale. Während einige Merkmale ein Potenzial bei der Erfassung von Multimodalität zeigten, verdeutlichten andere die Komplexität, abstrakte und konkrete Konzepte rechnerisch zu unterscheiden. Die Ergebnisse tragen zum Verständnis der Merkmalsauswahl für die Clusterbildung hochdimensionaler Datensätze bei und schaffen eine Grundlage für zukünftige Arbeiten zur Analyse abstrakter und konkreter Konzepte über multimodale Repräsentationen hinweg.