Exploring retrieval-augmented language modeling for material prediction of vehicle components

Abstract

Jüngste Fortschritte im Bereich natural language processing (NLP), insbesondere bei großen Sprachmodellen (large language models, LLMs) wie ChatGPT, zeigen das Potenzial für ihre Anwendung bei einer Vielzahl von Aufgaben in speziellen Domänen. In der Automobilbranche könnten sie beispielsweise zur Unterstützung bei der Reparatur eines Fahrzeugs eingesetzt werden. Diese Arbeit befasst sich mit dem Problem der Vorhersage geeigneter Materialien für Fahrzeugkomponenten, wie z. B. Bremsscheiben. Es soll ermittelt werden, ob LLMs sowohl auf Allgemein- als auch auf domänenspezifisches Wissen zurückgreifen können, um genaue Vorhersagen über Komponentenmaterialien zu treffen, ohne dass eine umfangreiche Feinabstimmung (fine-tuning) erforderlich ist. Erreicht wird dies durch retrieval-augmented generation (RAG), wobei relevante Informationen aus externen Quellen abgerufen und zur Verbesserung der Modelleingabe des LLMs verwendet werden. In dieser Arbeit werden drei Ansätze verglichen: ein Standard-LLM-Modell, ein einfacher RAG-Ansatz und eine iterative RAG-Methode namens Chain-of-Verification (CoVe). In dieser Arbeit wird auch ein eigenes Annotationstool entwickelt, um eine menschliche Evaluierungsstudie zu erleichtern, da es keinen Goldstandard-Datensatz gibt. Die Ergebnisse zeigen, dass LLMs bei der Materialvorhersage gut abschneiden, und obwohl beide RAG-Ansätze die Vorhersagequalität nicht signifikant verbessern, verschlechtern sie sie auch nicht. Diese Forschungsarbeit kommt zu dem Schluss, dass LLMs mit oder ohne Retrieval-Ergänzung eine vielversprechende Lösung für die Materialvorhersage bei Fahrzeugkomponenten bieten, auch wenn es noch Herausforderungen bei der Bewertung, der Hyperparameter-Optimierung und dem Daten-Retrieval gibt. Recent advances in natural language processing (NLP), particularly in large language models (LLMs) like ChatGPT, demonstrate the potential for their application in a variety of tasks within specialized domains. For instance, in the automotive domain, they could be utilized to provide guidance through a vehicle repair process. This thesis is concerned with the problem of predicting suitable materials for vehicle components, such as brake discs. It seeks to determine whether LLMs can draw on both world and domain-specific knowledge to make accurate predictions about component materials without requiring extensive fine-tuning. This is achieved through retrieval-augmented generation (RAG), which involves retrieving relevant information from external sources and using it to enhance the prompt. Specifically, this work compares three approaches: a standard LLM model, a simple RAG approach, and an iterative RAG method called Chain-of-Verification (CoVe). The thesis also develops a custom annotation tool to facilitate a human evaluation study due to the absence of a gold standard dataset. Results demonstrate that LLMs perform well in material prediction tasks, and while both RAG approaches do not significantly enhance prediction quality, they do not detract from it either. This research concludes that LLMs, with or without retrieval augmentation, offer a promising solution for material prediction in vehicle components, though challenges in evaluation, hyperparameter optimization, and data retrieval persist.