WOCHE 03

LLM und Prompting: verstehen, ausprobieren, bauen

KI & DATA SCIENCE · WOCHE 03

Verstehen.
Gezielt bauen.

LLM und Prompting · Prof. Dr. Mathias Engel

Sprache wird über einen Bauplan zur nutzbaren Anwendung
Prof. Dr. Mathias Engel · KI & Data Science01

WOCHE 03

Erst experimentieren, dann eine eigene Anwendung bauen

01

Verstehen

Textbausteine, Kontext, Attention und Sampling selbst verändern.

02

Steuern

Vom vagen Wunsch zum Auftrag mit überprüfbarem Ergebnis.

03

Bauen

Einen Eventplaner erstellen, testen und gezielt verbessern.

Materialien und Übungen sind lokal beigelegt. Live-Modellberater und ChatGPT benötigen Internet.

Prof. Dr. Mathias Engel · KI & Data Science02

WOCHE 03

Wie wird aus einer ungenauen Anfrage eine zuverlässige Anwendung?

Wie wird aus einer ungenauen Anfrage eine zuverlässige Anwendung?

Prof. Dr. Mathias Engel · KI & Data Science03

WOCHE 03

Text wird in modellabhängige Bausteine zerlegt

Ein Modell verarbeitet Textbausteine, nicht einfach ganze Wörter.

Ein Token kann ein Wortteil, ein Zeichen oder ein ganzes Wort sein.

Eine Token-ID ist eine Kennung. Die Repräsentation ist ein Zahlenvektor.

Baustein für Baustein

Spielzeug-Vokabular, kein echter Tokenizer. Tokenisierung hängt vom Modell ab.

WOCHE 03

Ähnliche Verwendungen können ähnliche Repräsentationen erzeugen

Nähe kann ähnliche Verwendung sichtbar machen.

Hier sehen wir Wörter und drei didaktisch gesetzte Dimensionen.

Echte Modelle arbeiten mit vielen Dimensionen: z. B. Qwen3-8B intern 4.096; Text-Embeddings standardmäßig 1.536 / 3.072.

Unser 3D-Anschauungsraum

Koordinaten didaktisch gesetzt. Keine echten Modell-Embeddings.

Prof. Dr. Mathias Engel · KI & Data Science05

WOCHE 03

Ein einfacher Prompt, zwei Zielgruppen

Bereit

BUILD & CHECK

Ein einfacher Prompt, zwei Zielgruppen

Begriffe gruppieren lassen.

Die Erklärung für zwei Zielgruppen vergleichen.

Gegenprobe: Keine gemessenen Vektordistanzen erfinden.

Symbolische Produktvorschau: Ein einfacher Prompt, zwei Zielgruppen
Prof. Dr. Mathias Engel · KI & Data Science06

WOCHE 03

Was erklärt die Wortkarte — und was nicht?

Bereit

WRAP-UP · GEMEINSAM BEGRÜNDEN

Welche Nähe ist plausibel — welche fragwürdig?

Nennt eine sinnvolle Gruppierung und einen Gegenfall.

Zielerkenntnis aufklappen

Wortlabels und 3D-Koordinaten helfen beim Anschauen. Sie ersetzen weder echte Tokenisierung noch eine gemessene hochdimensionale Einbettung.

Metapher zur Reflexion: Welche Nähe ist plausibel — welche fragwürdig?

WOCHE 03

Kontext ist die aktuelle Arbeitsfläche, nicht das ganze Archiv

Gemini Apps

32k ohne AI-Abo · 128k AI Plus · 1M AI Pro/Ultra.

ChatGPT / Codex

Produkt, Modell und Tarif begrenzen. Aktuelle Laufzeitanzeige prüfen, keine pauschale Chat-Grenze.

Modell ≠ Produkt

GPT-6.1 Sol API: 1,05M. Nicht automatisch so viel in ChatGPT oder Codex.

A4: Annahme 500 Wörter × 1,5 Tokens = 750 Tokens/Seite. Tesla: 139 PDF-Seiten, extrahierter Text gemessen mit o200k_base. Keine Bilder/OCR. 4.000 Tokens bleiben für Auftrag/Antwort reserviert.

ⓘ Buchvergleich und genaue Grenzen

Harry Potter 1 hat in der Carlsen-Ausgabe 336 Seiten. Bei ausdrücklich angenommenen 250 Wörtern/Seite und 1,5 Tokens/Wort ergeben sich grob 126.000 Tokens – keine Messung des Buchtextes. Seitenformat, Sprache und Tokenizer verändern die Rechnung.

Für ChatGPT Chat nennt die aktuell geprüfte allgemeine Modellhilfe keine einheitliche numerische Kontextgrenze. Deshalb nicht aus dem API-Modellmaximum auf das eigene Abo schließen. In Codex aktive Kontextanzeige und Kompaktierung beachten. Mehr Kontext garantiert keine vollständige Beachtung jedes Details.

WOCHE 03

Attention gewichtet Beziehungen zwischen Positionen

Beziehungen verändern die Bedeutung im Satz.

„Kredit“ oder „Park“ liefert unterschiedliche Hinweise.

Attention gewichtet Informationen; sie ist kein Bewusstsein und keine menschliche Aufmerksamkeit.

Was hängt hier mit „Bank“ zusammen?

Wort anklicken. Gewichte sind schematische Beispiele, keine Modellmessung.

Mehrere Heads und Schichten verarbeiten Beziehungen. Diese einzelne Ansicht erklärt nicht das ganze Modell.

Prof. Dr. Mathias Engel · KI & Data Science09

WOCHE 03

Der Auftrag kennt Deinen Termin noch nicht

Bereit

BUILD & CHECK

Was weiß das Modell noch nicht?

Vagen Eventauftrag ausprobieren.

Danach Termin, Budget und Teilnehmer nennen.

Gegenprobe: Welche Annahme kam von Euch — welche von der KI?

Symbolische Produktvorschau: Was weiß das Modell noch nicht?
Prof. Dr. Mathias Engel · KI & Data Science10

WOCHE 03

Welche Information hat den Unterschied gemacht?

Bereit

WRAP-UP · GEMEINSAM BEGRÜNDEN

Welche Angabe hat die Antwort verändert?

Nennt eine Information, eine Berechnung und eine offene Frage.

Zielerkenntnis aufklappen

Gute Steuerung liefert die benötigten Informationen und benennt Unbekanntes. Ein sprachlich sicherer Entwurf beweist nicht, dass die KI die fehlenden Fakten kennt.

Metapher zur Reflexion: Welche Angabe hat die Antwort verändert?
Prof. Dr. Mathias Engel · KI & Data Science11

WOCHE 03

Temperature verändert Verteilung, nicht Wahrheit

Temperature verändert die Konzentration der Auswahl.

Niedriger: wahrscheinliche Kandidaten dominieren stärker.

Höher: die Verteilung wird flacher. Kein Wahrheitsregler.

Dieselbe Ausgangsverteilung

WOCHE 03

Top-k begrenzt Anzahl, Top-p kumulierte Wahrscheinlichkeit

Top-k: behalte die besten k.

Top-p: nimm die wahrscheinlichsten Kandidaten, bis z. B. 70 % der ursprünglichen Wahrscheinlichkeit gesammelt sind.

Die übrigen fallen weg. Die behaltenen Anteile werden anschließend zusammen wieder zu 100 %.

Dieselbe Ausgangsverteilung

Prof. Dr. Mathias Engel · KI & Data Science13

WOCHE 03

Vermuten, verändern, wiederholt ziehen

Bereit

BUILD & CHECK

Vorhersagen, verändern, 50-mal ziehen

Im Folienlabor jeweils nur einen Parameter ändern.

Beobachtete Häufigkeiten mit den Balken vergleichen.

Gegenprobe: Ist weniger Vielfalt automatisch besser?

Symbolische Produktvorschau: Vorhersagen, verändern, 50-mal ziehen
Prof. Dr. Mathias Engel · KI & Data Science14

WOCHE 03

Vielfalt, Wahrscheinlichkeit und Korrektheit unterscheiden

Bereit

WRAP-UP · GEMEINSAM BEGRÜNDEN

Was verändert Vielfalt — und was prüft Qualität?

Erklärt einen Parameter in einem Satz und nennt seine Grenze.

Zielerkenntnis aufklappen

Temperature formt die Verteilung. Top-k/Top-p begrenzen Kandidaten. Fachliche Korrektheit muss separat geprüft werden; einzelne Zufallsziehungen sind noch kein stabiler Befund.

Metapher zur Reflexion: Was verändert Vielfalt — und was prüft Qualität?

WOCHE 03

Ein Prompt beschreibt Aufgabe, Kontext, Ergebnis und Abnahme

Vorhandene Raketenmetapher: Aufgabe, Kontext, Beispiel, Persona, Format und Ton

Ein Prompt ist ein kleiner Bauplan.

Aufgabe und Kontext geben Richtung und Material vor.

Zielgruppe, Ton und Format bestimmen die Form. Beispiele und Abnahmekriterien machen das Ergebnis überprüfbar.

WOCHE 03

Ein Beispiel verdeutlicht das gewünschte Muster

01

Vage

„Mach eine Event-App.“

02

Konkret

Für Erstsemester ohne Programmierkenntnisse. Freundlich, klar, Du-Ansprache. Creme/Petrol/Salbei; Kostenübersicht statt Fachjargon.

03

Prüfbar

30×12+160=520 €, Rest 80 €. 0 Personen abweisen. Labels verständlich, per Tastatur bedienbar; Fehler erklären statt Werte still zu ändern.

Zero-shot: ohne Beispiel · One-shot: ein Beispiel · Few-/Multi-shot: mehrere passende Beispiele.

ⓘ Zero-shot, One-shot, Few-/Multi-shot

Zero-shot: nur Auftrag, kein gelöstes Beispiel.

One-shot: ein passendes Ein-/Ausgabebeispiel: „30 Personen, 12 €, 160 €, 600 € → 520 € Kosten, 80 € Rest“.

Few-shot / Multi-shot: mehrere passende Beispiele, auch Grenzfälle: „0 Personen → verständlicher Fehler“. Multi-shot ist hier eine Bezeichnung für mehrere Beispiele, keine weitere magische Stufe.

Beispiele zeigen das Muster, ersetzen aber keine korrekte Implementierung oder neue Tests.

WOCHE 03

Baue einen kleinen Budgetrechner

Bereit

BUILD & CHECK

Baue einen kleinen Budgetrechner

Prompt in ChatGPT nutzen und Datei erzeugen lassen.

Die HTML-Datei außerhalb des Chats öffnen.

Gegenprobe: 30×12+160=520; Rest 80. Was passiert bei 0 Personen?

Symbolische Produktvorschau: Baue einen kleinen Budgetrechner
Prof. Dr. Mathias Engel · KI & Data Science18

WOCHE 03

Funktioniert die Rechnung im Gegenbeispiel?

Bereit

WRAP-UP · GEMEINSAM BEGRÜNDEN

Ist die Rechnung richtig und die Bedienung verständlich?

Zeigt den Basisfall und genau einen ungültigen Eingabefall.

Zielerkenntnis aufklappen

Ein gutes Ergebnis erfüllt Auftrag und Gegenprobe. KI erzeugter Code ist ein prüfpflichtiger Entwurf, kein fertiger Qualitätsnachweis.

Metapher zur Reflexion: Ist die Rechnung richtig und die Bedienung verständlich?
Prof. Dr. Mathias Engel · KI & Data Science19

WOCHE 03

Unser Eventplaner muss fünf Dinge können

Fünf konkrete Fähigkeiten:

1 Rechnen: Gesamtkosten und Restbudget.

2 Regeln: Kapazität, Mindestmenge, Zugänglichkeit.

3 Termine: Öffnungszeiten und Kollisionen.

4 Vergleichen: Varianten A/B.

5 Mitnehmen: JSON speichern/laden; offline weiterarbeiten.

Didaktische Metapher: event
Prof. Dr. Mathias Engel · KI & Data Science20

WOCHE 03

Vom Mini-Rechner zum Campus-Eventplaner

Bereit

BUILD & CHECK

Jetzt bauen — danach gemeinsam prüfen

Vollständigen Auftrag starten; Eingabedaten sind enthalten.

Während die KI arbeitet: Newsflash und zwei Beispieldemos.

Gegenprobe: Mindestversion vor Extras: rechnen, Grenzen, Konflikte, Varianten, Export.

Lokale Muster-App ↗

Symbolische Produktvorschau: Jetzt bauen — danach gemeinsam prüfen

WOCHE 03

Vom Projektordner zur installierbaren Offline-App

Bereit

BUILD & CHECK

Vom Projektordner zur Offline-App

Eigenen GitHub-Zugang prüfen; Anmeldung und MFA selbst erledigen.

Codex veröffentlicht erst nach Deiner Repo-/Sichtbarkeitsfreigabe.

Pages öffnen, installieren, Netzwerk aus und neu starten.

Gegenprobe: Funktioniert die App nach dem ersten Laden auch ohne Netz?

Schritte / Installationswege ↗PWA-Muster ↗

Symbolische Produktvorschau: Vom Projektordner zur Offline-App

WOCHE 03

Ist die Mindestversion benutzbar?

Bereit

WRAP-UP · GEMEINSAM BEGRÜNDEN

Kann jemand die Mindestversion schon bedienen?

Zeigt Eingabe → Berechnung → Rückmeldung, nicht den gesamten Code.

Zielerkenntnis aufklappen

Ein lauffähiger Kern ist wertvoller als viele ungetestete Extras. Generierungsdauer und Ergebnisqualität sind getrennte Beobachtungen.

Metapher zur Reflexion: Kann jemand die Mindestversion schon bedienen?
Prof. Dr. Mathias Engel · KI & Data Science23

WOCHE 03

Bringe die Anwendung gezielt an ihre Grenzen

Bereit

BUILD & CHECK

Bringe die Anwendung an ihre Grenzen

Sechs bekannte Fälle tatsächlich eingeben.

Soll und Ist mit einem konkreten Befund notieren.

Gegenprobe: Kapazität, Budget, Kollision und angrenzender Termin.

Symbolische Produktvorschau: Bringe die Anwendung an ihre Grenzen
Prof. Dr. Mathias Engel · KI & Data Science24

WOCHE 03

Welcher Fehler wurde sichtbar?

Bereit

WRAP-UP · GEMEINSAM BEGRÜNDEN

Welcher Fehler lässt sich reproduzieren?

Formuliert einen Fehler so, dass ein anderes Person ihn nachstellen kann.

Zielerkenntnis aufklappen

Ein brauchbarer Fehlerbericht nennt Eingaben, Erwartung und tatsächliches Ergebnis. „Funktioniert nicht“ ist noch kein präziser Verbesserungsauftrag.

Metapher zur Reflexion: Welcher Fehler lässt sich reproduzieren?
Prof. Dr. Mathias Engel · KI & Data Science25

WOCHE 03

Repariere den Fehler, nicht die ganze Anwendung

Bereit

BUILD & CHECK

Verbessere v0 gezielt zu v1

Datei und Fehlerbericht gemeinsam an die KI geben.

Neue Version getrennt sichern und alte Tests wiederholen.

Gegenprobe: Ist der Fehler behoben, ohne einen anderen einzubauen?

Symbolische Produktvorschau: Verbessere v0 gezielt zu v1
Prof. Dr. Mathias Engel · KI & Data Science26

WOCHE 03

Wurde es besser, ohne anderes zu beschädigen?

Bereit

WRAP-UP · GEMEINSAM BEGRÜNDEN

Was wurde nachweislich besser?

Zeigt denselben Fall vor und nach der Änderung.

Zielerkenntnis aufklappen

Gezielte Änderung plus Regressionstest ist eine belastbarere Verbesserung als ein neuer hübscher Gesamtwurf. Die alte Version bleibt als Vergleich erhalten.

Metapher zur Reflexion: Was wurde nachweislich besser?
Prof. Dr. Mathias Engel · KI & Data Science27

WOCHE 03

Eine andere Person testet Deine App

Bereit

BUILD & CHECK

Eine andere Person testet Deine App

Ohne Bedienhilfe: Basisfall, Kapazitätsfehler und Export.

Rückmeldungen mit kurzem Fragebogen sammeln.

Gegenprobe: Beobachtung, Bewertung und Verbesserung trennen.

Feedbackbogen ↗

Symbolische Produktvorschau: Eine andere Person testet Deine App
Prof. Dr. Mathias Engel · KI & Data Science28

WOCHE 03

Welche Änderung half wirklich?

Bereit

WRAP-UP · GEMEINSAM BEGRÜNDEN

Welche Rückmeldung half wirklich?

Nennt eine Verbesserung samt beobachtetem Anlass.

Zielerkenntnis aufklappen

Nutzungsbeobachtung deckt Fehler auf, die beim Bauen unsichtbar bleiben. Benutzbar, korrekt und schön sind verwandte, aber unterschiedliche Kriterien.

Metapher zur Reflexion: Welche Rückmeldung half wirklich?
Prof. Dr. Mathias Engel · KI & Data Science29

WOCHE 03

Offene Gewichte: selbst betreiben und passend begrenzen

Offene Gewichte: das Modell selbst betreiben.

Gewichte sind herunterladbar. Lokaler Betrieb, Spezialisierung und eigene Infrastruktur werden möglich – je nach Lizenz.

Stärken: Kontrolle und begrenzte Offline-Aufträge. Grenzen: RAM/VRAM, Kontext, Tempo, Einrichtung und eigene Qualitätsprüfung.

Lokaler kompakter Rechner gegenüber betreuter Cloud-Infrastruktur

WOCHE 03

Cloud und lokal: Stärken, Grenzen und passender Einsatz

Cloud: verwaltete Rechenleistung und oft starke Werkzeuge.

Große Modelle, Updates und multimodale Dienste ohne lokalen Modelldownload. Keine pauschale Überlegenheit in jeder Aufgabe.

Grenzen: Netz/Konto, laufende Limits/Kosten, Datenfluss und Abhängigkeit vom Anbieter. Open-Weight-Modelle können ebenfalls in der Cloud laufen.

Lokal und Cloud sind Betriebsformen; Gewichte und Lizenz eine andere Achse

WOCHE 03

Wann braucht die Anwendung noch ein LLM?

01

Bauphase

Das LLM erzeugt und verbessert Code.

02

Betrieb

Die HTML-Datei rechnet und prüft nach implementierten Regeln.

03

Nächste Woche

Ein Agent nutzt während der Arbeit Modell und Werkzeuge.

Prof. Dr. Mathias Engel · KI & Data Science32

WOCHE 03

Text → Kontext → Auswahl → Auftrag → Anwendung → Prüfung

Generierte Infografik: Textbausteine, Kontext, Auswahl, Auftrag, Anwendung und Prüfung; mit KI gebaut, lokal nach Regeln genutzt

WOCHE 03

Quellen und Weiterlernen

P1 · Vector embeddings

OpenAI

P2 · Qwen3-8B config.json

Qwen

P3 · Transformer Explainer

Polo Club of Data Science, Georgia Tech

P4 · Transformers v5.1.0 — Generation

Hugging Face

Vollständiger Auftrag

Moderation

Aktuelle Folie

Separat öffnen ↗