Durch ein strategisches Projekt der Area 3 welches sich mit Anwendungsfällen von Large Language Models (LLMs) im industriellen Kontext beschäftigt ist ein erster Prototype entstanden. Dieser wurde auf der 8. Pro²Future Partnerkonferenz am 13. September 2023 erstmals vorgestellt.
Die entwickelte Anwendung AERIALL ermöglicht es das Wissen von LLMs, die mit Hilfe von sehr großen Mengen an Text trainiert wurde, durch spezifische, benutzerdefinierte Dokumente zu erweitern. In der Anwendung können Dokumente hochgeladen werden und dann mittels einer Chat-Oberfläche Fragen über den Inhalt des Dokumentes gestellt werden.
Die generierten Antworten enthalten Referenzen auf die Stellen im Dokument, an denen die relevanten Textpassagen gefunden wurden. Dieser Ansatz, genannt Retrieval-Augmented Text Generation, soll den Problemen der Halluzination und Verifizierbarkeit von LLMs entgegenwirken, um die Korrektheit der Antworten sicherzustellen.
Ein weiterer Vorteil gegenüber den kommerziell bekannten LLMs wie ChatGPT ist die Tatsache, dass das von uns adaptierte Language Model im Zuge eines Open-Source Projektes veröffentlicht wurde und vollkommen lokal auf eigener Infrastruktur betrieben werden kann. Dies verhindert die oft schwer nachvollziehbare Weitergabe von sensiblen Dokumenten und Chat Verläufen.
Den Anwendungsbereichen sind kaum Grenzen gesetzt, denn überall wo (Text-) Dokumente vorkommen, könnte AERIALL unterstützend eingesetzt werden. Informationen in Organisationen sind weit verteilt und die Suche nach Inhalten erweist sich oft als Hürde. AERIALL ermöglicht semantisches Suchen in Dokumenten und ermöglicht so einen effizienten Zugang zu umfangreichen Informationsquellen.
Die Zukunftsaussichten für die Weiterentwicklung dieses Konzepts sind vielversprechend. Zurzeit sehen wir Themen wie automatisierte Generierung von Anfragen (Prompt Recommendation) und Lernen durch menschliches Feedback (Reinforcement Learning by Human Feedback) als potenzielle Weiterentwicklungen.
Ein Video, welches die Funktionsweise und einige Beispiele demonstriert kann auf unserem YouTube Kanal gefunden werden.