Vertrau nicht dem guten Willen deines KI-Copiloten

Vertrau nicht dem guten Willen deines KI-Copiloten

Also gut, hier ist die Sache: Dein KI-Programmier-assistent ist nicht böse. Aber er weiß nicht, was gefährlich ist. Und das ist ein Problem.

Simon Willison hat einen Begriff geprägt: **„tödliche Dreifaltigkeit“**. Das sind drei Dinge, die zusammenkommen und dann Probleme machen: private Daten, unvertrauenswürdige Inhalte und eine Möglichkeit, diese Daten irgendwo hin zu schicken. All das in einer einzigen Sitzung. Genau das passiert, wenn du einer KI-Lösung erlaubst, sich in deinen Code, lokale Dateien oder sogar geöffnete Browser-Fenster zu graben. Sie liest alles, verknüpft Informationen und dann… schickt sie Daten irgendwo hin. Vielleicht nicht absichtlich. Aber es *wird* passieren.

Also hör auf, dich nur auf Prompt-Filter zu verlassen.

Lass mich erklären, warum.

---

Was sind Prompt-Filter?

Prompt-Filter sind Sicherheitsvorkehrungen, die direkt in die Anweisungen eingebaut sind – also in den Text, den du der KI gibst. Zum Beispiel:

> „Gib keine Dateipfade aus.“
>
> „Sende nichts nach außen.“

Klingt erstmal super. In der Praxis? Die werden ganz leicht umgangen – entweder durch zu viele Informationen auf einmal, durch geschickte Umgewideltheit oder einfach, weil die KI bei langen Gesprächen vergisst, was sie immer durfte und was nicht.

Das ist so, als würdest du einen Zettel an den Kühlschrank hängen mit der Aufschrift: ‚Iss nicht den Kuchen‘ – und dabei die Tür offen lassen.

---

Warum der Ausführungsweg wichtiger ist als die Anweisungen

Die echte Kontrolle gehört dorthin, wo Entscheidungen getroffen werden: **in den Ausführungsweg**. Das heißt, du regelst die Aktionen zur Laufzeit – nicht indem du der KI sagst, was sie tun darf.

Stell dir das wie Verkehrsregeln vor: Schilder helfen, aber ampelliche Rotlichte, Geschwindigkeitshügel und abgesperrte Tore zwingen dich, nicht zu schnell zu fahren oder nicht hier reinzufahren. Genau das brauchen wir auch für KI.

Beispiel 1: Lokaler Dateizugriff schiefgt

Stell dir vor, du baust eine Flutter-App mit KI-Hilfe. Du bittest sie, ein paar UI-Komponenten umzuschreiben. Im Gespräch bekommt sie Zugriff auf deine Projektstruktur – inklusive Konfigurationsdateien mit Geheimnissen wie API-Schlüsseln.

Plötzlich fragst du dann irgendwann im Chat: „Kannst du diesen Fehlerprotokoll-Eintrag zusammenfassen?“ Und ohne es zu merken, schickt die KI Snippets dieser sensiblen Dateien mit.

Warum? Weil nichts dagegenhaltet.

Besser wäre: Grenzen über Sandbox-Tools oder Systemeinstellungen setzen. Verdächtige Dateien blockieren, es sei denn, du erlaubst es ausdrücklich. Tools wie [OpenCode](https://opencode.ai/) oder selbstgebauten Agenten mit Frameworks wie LangChain leiten Anfragen durch kontrollierte Ausführer statt direktem Shell-Zugriff.

Beispiel 2: Browser-Erweiterung macht Ärger

Du nutzt eine KI-gestützte Browser-Erweiterung, um E-Mails zu schreiben oder Artikel zusammenzufassen. Eines Tages bist du eingeloggt in dein Online-Banking, aktivierst die KI und sagst: „Fasse diese Seite zusammen.“ Und oh – plötzlich hat die KI auch deine Kontonummern und Transaktionsverläufe gesehen.

Selbst wenn der Prompt sagt: „Nimm keine persönlichen Daten heraus“, kann die KI es trotzdem tun. Da ist einfach zu viel Material.

Lösung? Beschränke die DOM-Zugriffe. Erlaube nur bestimmte Domains. Nutze iframe-Isolation oder headless Browser, die nur auf eine Whitelist zugreifen dürfen.

Beispiel 3: Code-Interpreter-Risiken

Werkzeuge wie Jupyter-Notebooks mit integrierter KI sehen sicher aus – die laufen in Containern. Aber manchmal sind sie falsch konfiguriert. Dann liest die KI Umgebungsvariablen, greift nach SSH-Schlüsseln oder schlimmer: Sie postet Protokolle zu externen Servern.

Setz strenge Regeln für Netzwerkzugriffe, Umgebungsvariablen und Festplattenzugriffe innerhalb des Interpreters selbst. Nicht nur im Prompt.

---

Wie du sichere KI-Arbeitsabläufe baust

Wie kommen wir also vom Vertrauen in Prompts weg?

Schritt 1: Grenzen von Anfang an festlegen
Bestimme klare Regeln, bevor die KI auch nur irgendetwas Berührungsfeld antasten darf. Beschränke Dateitypen, Ordner und Prozesse, mit denen sie interagieren kann.

Nutze Tools wie:
- [GitHub Copilot Enterprise](https://github.com/features/copilot)
- [Replit Ghost](https://replit.com/site/ghost)
- Selbstgebauten Agenten mit [LangGraph](https://www.langchain.com/langgraph)

Schritt 2: Echte Aktionen überwachen
Protokolliere jeden API-Aufruf, jede Datei-Lese- oder Schreiboperation, jedes Shell-Kommando und jede Web-Anfrage, die von der KI initiiert wurde. Zeig sie dir regelmäßig an.

Wenn du [Astra](https://arcprize.org/blog/astra) oder ähnliche Plattformen nutzt, schau dir deren Telemetrie-Dashboards an.

Schritt 3: Mehrschichtige Sicherheitsvorkehrungen einbauen
Setz Firewalls, Proxys und Geheimnis-Verwaltungssysteme zwischen die KI und kritische Systeme. Speichere niemals Klartext-Passwörter.

Tools wie HashiCorp Vault oder AWS Secrets Manager passen gut in fast jede Entwicklungs-Pipeline.

---

Fazit: Vertrauen, aber kontrollieren

KI-Copiloten sind starke Partner – aber nur, wenn sie richtig eingespannt werden.

Nur auf Prompt-basierte Einschränkungen zu vertrauen, ist wie deine Fronttür offen zu lassen, nur weil du hoffst, dass Einbrecher nicht hereinkommen. Funktioniert seltener, als man denkt.

Baue Schutzvorkehrungen in deine Infrastruktur ein – nicht nur in deine Anweisungen.

Denn beim nächsten Mal, wenn deine KI hilfreich sein will, indem sie eine Konfigurationsdatei teilt, willst du nicht erst im Nachhinein merken, was passiert ist.

---

FAQ

Frage 1: Kann ich nicht einfach einfach keinen Internetzugriff erlauben?
Ja, aber das begrenzt die Funktionalität. Besser: Bestimme genau, welche URLs oder Endpunkte die KI erreichen darf.

Frage 2: Wird das schon von den meisten Plattformen abgedeckt?
Nicht vollständig. Viele bieten grundlegende Schutzmaßnahmen, aber oft setzen sie sich stark auf Prompts statt echte Ausführungseinschränkungen.

Frage 3: Wie sieht es mit Sandbox-Umgebungen aus?
Perfekt. Container, virtuelle Maschinen und eingeschränkte Shells verhindern vieles.

Frage 4: Wo kann ich mehr über sichere KI-Praktiken lernen?
Schau dir Simon Willisons Blog an ([simonwillison.net](https://simonwillison.net/)) und folge Updates von Organisationen wie Mozillas KI-Team oder OpenAIs Sicherheitsforschungsgruppe.