Srijan Shakya, Researcher in der Area Analytics, hat seine Masterarbeit mit dem Titel „Enhancing LLMs Reasoning Capabilities by Including Retrieval“ erfolgreich abgeschlossen. Betreut wurde die Arbeit von Univ.-Prof. Dr. Sepp Hochreiter und Dr. Korbinian Pöppel, MSc.
In seiner Arbeit untersucht er, wie sich die Zuverlässigkeit von Large Language Models (LLMs) bei komplexen Schlussfolgerungsaufgaben verbessern lässt. Dabei wird Retrieval als eine Form von dynamischem In-Context Learning betrachtet.
Im Rahmen der Arbeit wurde eine adaptive Retrieval-Augmented Architektur analysiert, bei der ein LLM-Agent selbst entscheidet, wann eine externe Wissensbasis abgefragt werden soll. Diese Entscheidung basiert auf der wahrgenommenen Schwierigkeit der jeweiligen Aufgabe.
Experimente auf den Benchmarks GSM8K und MATH-500 zeigen, dass dieser adaptive Ansatz klassische statische Retrieval-Methoden deutlich übertrifft. Besonders bei spezialisierten mathematischen Aufgaben konnte eine Verbesserung von +6,4 Prozentpunkten erzielt werden.
Die Ergebnisse zeigen, dass die Fähigkeit eines Systems, das eigene Wissen einzuschätzen und gezielt externe Informationen einzubeziehen – also eine Art metakognitives Signal – ein wichtiger Baustein für die Entwicklung robusterer und zuverlässiger generativer Modelle ist.
