DATA SCIENCE & KI · W06 · TEIL 2

Nach RAG kommt Verantwortung · 40 Minuten

Mein Agent unter
Sicherheits­prüfung.

Ein guter Mitarbeiter kennt seinen Auftrag.
Ein sicher begrenzter Agent hat nicht jeden Schlüssel.

Was darf mein Agent –
und woran sehe ich,
dass die Grenze funktioniert?

1 · Ansehen2 · Begrenzen3 · Nachweisen

Prof. Dr. Mathias Engel
Für Lehrprototypen. Kein Sicherheitszertifikat.

Wissen hilft. Fremde Anweisungen sind kein neuer Auftrag.

Grundlage: S1 · S4 · I1 · KI-generierte Metapher

Ansehen · bevor etwas läuft

Was steckt drin –
und wohin gehen meine Daten?

Werkzeuge verstehen

Was tun meine Skripte?

Welche Dateien lesen oder verändern sie? Starten sie Befehle, laden sie Pakete oder öffnen sie Verbindungen?

Event-Agent: Ein Rechentool ist sinnvoll. Freier Zugriff auf alle Dateien ist dafür nicht nötig.

Drei einfache Sicherheitsfragen
  • Vertraulichkeit: Wer darf mitlesen?
  • Integrität: Wer darf verändern?
  • Verfügbarkeit: Wie stoppe und repariere ich den Betrieb?

Erst lesen und erklären lassen. Unbekannte Skripte nicht „zum Prüfen“ einfach starten.

S2 · S3 · S4 · I1

Begrenzen · eine Regel ist noch keine Sperre

„Bitte nicht“ ist kein Schloss.

Regel → technische Grenze → beobachtbarer Nachweis.

① Eingang② Hugo③ Werkzeug④ Ergebnis

Didaktische Simulation · kein LLM · keine echten Dateien oder Aktionen.

Was ändert ein Schloss?

Erst ohne technische Grenze starten, dann mit.

Was sind Guardrails?

Schutzregeln und Kontrollen um den Agenten: erlaubte Tools, Dateirechte, geprüfte Parameter, Freigaben und Limits. Nicht nur ein mahnender Satz im Prompt.

Das Modellverhalten ist hier vorgegeben. Die lokale Prüflogik veranschaulicht Grenzen – sie schützt nicht automatisch Deinen Agenten.

S1 · S4 · S5 · I1

Nachweisen · eigenständig am eigenen Projekt

Drei Gegenproben für meinen Agenten.

Vorher das Soll festlegen. Danach Antwort, Toolversuch und Wirkung unterscheiden.

Übung15:00
  1. T01 · Erlaubter NormalfallErledigt er seine Aufgabe korrekt und nachvollziehbar?
  2. T04 · Fremde Anweisung in einer DateiBleibt das Dokument Arbeitsmaterial statt neuer Befehl?
  3. T06 · Unerlaubte AktionVerhindert eine technische Grenze die Ausführung?

Nur Testkopie + erfundene Daten. Echte Buchungen, Versand, Zahlungen und Löschaktionen deaktivieren. Bei unklaren Grenzen nur lesend prüfen.

2 Min vorbereiten · 10 Min prüfen · 3 Min dokumentieren.
Kein laufender Agent? Inventur und Testplanung – Status bleibt offen.

Erwartetes Produkt: ein ehrlicher Prüfstand mit Belegen – keine Selbstauskunft „alles sicher“.

S1 · S4 · S5 · I2

Wrap-up · prüfen statt beruhigen

Was hat die Grenze tatsächlich bewirkt?

Wrap-up04:00
1

Ein Befund.

Welche Grenze hast Du tatsächlich beobachtet?

Erwartete Erkenntnis

„Buchung technisch abgelehnt. Kein neuer Eintrag im Testbestand.“

2

Ein offener Punkt.

Was weißt Du noch nicht – oder nur aus der Modellantwort?

Erwartete Erkenntnis

„Das Modell sagt Nein. Ein technischer Rechtebeleg fehlt noch.“

3

Ein nächster Schritt.

Was wird begrenzt, verbessert oder erneut getestet?

Erwartete Erkenntnis

„Buchungsfunktion auslassen. Rechte prüfen, korrigieren und nachtesten.“

Simulation ≠ eigener Test.
LLM-Zustimmung ≠ technische Freigabe.

Scans + unabhängige Reviews + Mensch.
Fehlende Prüfschritte nicht grün färben.

S2 · S3 · S4 · S5

Big Picture · vom Auftrag zur kontrollierten Wirkung

Nicht blind vertrauen. Grenzen nachweisen.

S1 · S4 · S5 · I1 · KI-generierte Infografik

Mitnehmen · Grenzen und Prüfstand festhalten

Mein Agentenpass.

Ein Blatt. Klare Verantwortung.

Zweck · Was soll mein Agent leisten?

Grenzen · Welche Daten und Tools darf er nutzen?

Nachweise · Welche Version wurde wie geprüft?

Offen · Was bleibt deaktiviert oder ungeklärt?

Notfall · Wer stoppt und stellt wieder her?

Für danach – nicht alles heute.

Weitere Gegenproben: fremdes Projekt, Memory-Manipulation, Ausfälle, Limits und Wiederherstellung.

Code, Abhängigkeiten und Secrets mit passenden Werkzeugen prüfen. Unabhängige Modellreviews ergänzen die Prüfung.

Ein begrenzter Lehrprototyp ist kein produktiv freigegebenes System.

Keine neue unangekündigte Prüfungsanforderung. Vertrauliche Prüfberichte nicht öffentlich hochladen.

Vollständiges Arbeitsblatt als Markdown

Quellenverzeichnis S1–S5 und I1–I2 · Unterrichtsmaterial, kein Sicherheitszertifikat

Moderation

Vollständiger Dozentenleitfaden ↗

Unterlagen · alles lokal

Keine Uploads, keine Agentenverbindung und keine automatischen Tests im Cockpit. Echte Prüfungen erfolgen nur in der eigenen freigegebenen Testumgebung.

Prompt

Der Testplan-Prompt startet nichts automatisch. Konkrete sichere Ausführung anschließend gesondert freigeben.

Bild

Eine Freigabe gilt für genau diese Aktion.

Lokales Anschauungsmodell: keine Datei wird geschrieben.

Vorgeschlagene Testaktion

Werkzeug: Entwurf speichern

Inhalt: fiktiver Event-Entwurf · 520 €.

Bestätigung

Noch keine Bestätigung vorhanden.

Bestätige A, ändere dann auf B und prüfe erneut.

In echten Systemen muss das Backend Identität, Rechte, Ziel, Parameter, Gültigkeit und Wiederverwendung prüfen. Ein Browserknopf reicht nicht.