Gliederung

1. Grundlagen KI und LLMs
2. Einsatz in Informationszugangssystemen

Grundlagen KI und LLMs: Gliederung

1. Was ist KI?
2. Neuronale Netzwerke
3. Neuronale Sprachmodelle
4. “Große” Sprachmodelle
5. LLM Sprachverständnis

KI Begriff: Intelligenz Ⅰ 🤖

“[I]ntelligent” according to what definition? The three-stratum definition? Howard Gardner’s theory of multiple intelligences? […] [A]n alternative name for AI proposed by a former member of the Italian Parliament: “Systematic Approaches to Learning Algorithms and Machine Inferences.” Then people would be out here asking, “Is this SALAMI intelligent? Can this SALAMI write a novel? Does this SALAMI deserve human rights? (Weil, 2023)

• “Intelligent” als Wertung

KI Begriff: Intelligenz Ⅱ

Intelligence is the computational part of the ability to achieve goals in the world. […] Intelligence involves mechanisms, and AI research has discovered how to make computers carry out some of them and not others. Such programs should be considered “somewhat intelligent”. (McCarthy, 2012)

• Intelligenz als auf ein Ziel gerichtete Fähigkeit, die unterschiedliche Komponenten umfasst (z.B. Logik, Kreativität, Erkennen von Objekten)

KI Begriff: Definiton

Systeme der Künstlichen Intelligenz sind in der Lage, Daten und Informationen auf eine Weise zu verarbeiten, die menschlichen Denkprozessen ähnelt oder diese nachzuahmen scheint. Dies beinhaltet Aspekte des Denkens und Lernens, der Wahrnehmung, Vorhersage, Planung oder Steuerung (Deutsche UNESCO-Kommission et al., 2023, S. 8)

• Ähnlichkeit bei Zielen und Herstellung und Funktionsweise von Intelligenz

KI Tasks

• KI-Methoden werden für Tasks entwickelt und mit für diese gemachten Daten und Metriken evaluiert und verglichen
• Beispiele Tasks: Klassifikation, Textzusammenfassung, Nutzung von Tools

Einordnung

Neuronale Netzwerke Ⅰ

• Modell biologischer Neuronen (basierend auf dem, was damals über Neuronen bekannt war)(McCulloch & Pitts, 1943)

Illustration eines neuronalen Netzwerks aus Hilary Masons Keynote, https://www.youtube.com/watch?v=SxxqaC5hf04&t=2394s

Neuronale Netzwerke Ⅱ

• Neuronen sind Recheneinheiten, die in Schichten auf verschiedene Arten miteinander verbunden sind

Glosser.ca, CC BY-SA 3.0 https://creativecommons.org/licenses/by-sa/3.0, via Wikimedia Commons

• Deep Learning: Mehr als ein Hidden Layer
• Rechnungen innerhalb des Netzwerks lassen sich effizient auf Grafikkarten ausführen

Neuronale Netzwerke Ⅲ

• Lernen beim Training durch Backpropagation:
  • “Forward Pass” resultiert in Output, der mit “Ground Truth” verglichen wird
  • “Backward Pass” mit Korrektur der Parameter (Weights und Biases) basierend auf dem Fehlerwert
• Neuronale Netzwerke erzielen beste Performance bei vielen Tasks, bzw. erst Ermöglichung mancher Tasks

Sprachmodelle: Definition

• Sprachmodell: Ein Modell, dass die Wahrscheinlichkeiten der möglichen nächsten Wörter ausgibt (Jurafsky & Martin, 2025)
• ELIZA (1967) als Beispiel für einen Chatbot mit symbolischer KI (kein Sprachmodell)

Neuronale Sprachmodelle: Training

Quelle: Holistic AI, https://www.holisticai.com/blog/from-transformer-architecture-to-prompt-engineering

• Vorhersage der Wahrscheinlichkeit eines Tokens in Abhängigkeit von seinem vorangehenden oder umgebenden Kontext
• Transformer Netzwerkarchitektur: Tokens innerhalb des Inputs kontextualisieren (Multi-Head Attention)

“Große” Sprachmodelle (LLMs) Ⅰ

• BERT -> Bidirectional encoder representations from transformers (340 Millionen Parameter)
  • Finetuning: Anpassung des Modells und Parameter auf Task
• GPT-4 -> Generative Pre-trained Transformer (geschätzt, nicht offiziell bestätigt 1.8 Billionen Parameter)
  • In-Context Learning (ICL) und (Few Shot) Prompting -> Keine Veränderung der Parameter

“Große” Sprachmodelle (LLMs) Ⅱ

• Offene (nicht Open Source) vs Proprietäre Modelle
• Hugging Face 🤗 als zentraler Ort für offene Modelle

“Große” Sprachmodelle (LLMs) Ⅲ

• LLama 4 “Behemoth” (2 Billionen Parameter) zeigt nicht erwartete Performance (Edwards, 2025)
• AI-Scaling-Gesetze: Bessere Modelle profitieren von mehr Daten und Rechenleistung (GPU), jedoch mit abnehmendem Grenznutzen. (Owen, 2024)
• Entstehender Konsens, dass Performance durch andere Methoden erhöht werden muss (z.B. “Reasoning”) (Zeff, 2024)

LLM Sprachverständnis Ⅰ

• LLMs bestehen Turing Test (Assaad, 2025)
• Chinese Room: Befolgung syntaktischer Regeln ohne semantisches Verständnis (Form vs. Bedeutung)

Quelle: Keno Leon, https://k3no.medium.com/the-chinese-room-experiment-2c0d63848f05

LLM Sprachverständnis Ⅱ

• Bedeutung entsteht durch Syntax und einer Referenz zu etwas außerhalb der Sprache (Bender & Koller, 2020)
  • LLMs “verstehen” Bedeutung nicht, Output an sich hat keine Bedeutung (Stochastic Parrots 🦜)
  • Wir interpretieren Output von LLMs nur so, als ob sie Bedeutung vermitteln (Bender et al., 2021)

Models make words, but people make meaning. (Klein et al., 2025)

LLM Sprachverständnis Ⅲ

• Wiedersprechende Theorie: Bedeutung ergibt sich aus der Art und Weise, wie sich Sprache aufeinander bezieht -> LLMs verstehen Bedeutung (Manning, 2022; Mitchell & Krakauer, 2023)
• Wie passen multimodale Modelle in diese Debatte?
• Alignment-Phase als soziales Lernen?