Generative Sprachmodelle und Informationszugangssysteme

Jonas Stettner | CorrelAid @ CDL

2025-04-29

Gliederung

  1. Was ist KI?
  2. Einordnung
  3. Neuronale Sprachmodelle
  4. Informationszugangssysteme
  5. Informationszugangssysteme mit LLMs

KI Begriff: Definition 🤖

Systeme der Künstlichen Intelligenz sind in der Lage, Daten und Informationen auf eine Weise zu verarbeiten, die menschlichen Denkprozessen ähnelt oder diese nachzuahmen scheint. Dies beinhaltet Aspekte des Denkens und Lernens, der Wahrnehmung, Vorhersage, Planung oder Steuerung (Deutsche UNESCO-Kommission et al., 2023, S. 8)

  • Ähnlichkeit bei Zielen, Herstellung und Funktionsweise von Intelligenz als auf ein Ziel gerichtete Fähigkeit

Einordnung

Neuronale Sprachmodelle

Glosser.ca, CC BY-SA 3.0 https://creativecommons.org/licenses/by-sa/3.0, via Wikimedia Commons

  • Sprachmodell: Ein Modell, dass die Wahrscheinlichkeiten der möglichen nächsten Wörter ausgibt (Jurafsky & Martin, 2025)

“Große” neuronale Sprachmodelle (LLMs)

  • BERT -> Bidirectional encoder representations from transformers (340 Millionen Parameter)
  • GPT-4 -> Generative Pre-trained Transformer (geschätzt, nicht offiziell bestätigt 1.8 Billionen Parameter)
    • In-Context Learning (ICL)

Informationszugangssysteme: Enge Definition

[Information Access] refers to a focused interaction between a person and information where relevant information is sought, found, and used—with or without a system. (Shah & Bender, 2024)

  • Umfasst Informationsbeschaffung und Informationsfilterung
  • Beispiele: Bibliothek, Google, ChatGPT

IZS: Erweiterte Definition

  • Wofür werden LLMs eingesetzt? Was ist der primäre Zweck des Systems?
  • A: Aktives Informationsverhalten (Informieren/Bilden) -> Wille zur Information
    • A2: Indiviualisierte Informationsvermittlung (Beratung)
  • C: Proaktive Informationsverbreitung (Advocacy) -> Informationen an die Person bringen

Retrieval Augmented Generation (RAG)

Turtlecrown, CC BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0, via Wikimedia Commons

“Agentic” Systeme

  • Websuche als Tool für LLM-basierte Chatbots wie ChatGPT
  • Chatbots als modulare Systeme (Beispiel Migrationsberatung mit Lupai)
    • Spezialisierte Modelle als Module
    • Festgelegte Logik vs. Steuerung durch LLM
    • Language Detection als fester erster Schritt vs. Entscheidung ob Rückfrage gestellt wird

Fragen?

Literaturverzeichnis

Deutsche UNESCO-Kommission, Niederländische UNESCO-Nationalkommission, & Slowenische UNESCO-Nationalkommission. (2023). Zusammenfassung der UNESCO-Empfehlung zur Ethik der Künstlichen Intelligenz: Wegweiser für die Gestaltung unserer Zukunft (M. M. Anne Diessner Jeannine Hausmann, Ed.; A. Diessner, Trans.). Deutsche UNESCO-Kommission e. V. https://www.unesco.de/dokumente-und-hintergruende/publikationen/detail/die-unesco-empfehlung-zur-ethik-der-kuenstlichen-intelligenz/
Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models (3rd ed.). https://web.stanford.edu/~jurafsky/slp3/
Shah, C., & Bender, E. M. (2024). Envisioning Information Access Systems: What Makes for Good Tools and a Healthy Web? ACM Trans. Web, 18(3), 1–24. https://doi.org/10.1145/3649468