Warum Fail-closed gewinnt
„Fail-closed” bedeutet: Wenn ein System unsicher ist, verweigert es — statt im Zweifel durchzulassen. Bei autonomen Agenten ist das der Unterschied zwischen einem abgewehrten und einem geglückten Angriff.
Fail-open vs. Fail-closed
Jedes Schutzsystem muss entscheiden, was es tut, wenn es sich nicht sicher ist. Es gibt zwei Haltungen:
- Fail-open: Im Zweifel durchlassen. Bequem, nie im Weg — aber jede Lücke im Urteil wird zur offenen Tür.
- Fail-closed: Im Zweifel blockieren oder nachfragen. Gelegentlich unbequem — aber ein unklarer Fall wird nie stillschweigend zum Schaden.
Bei einer Türsperre ist die Wahl offensichtlich: Eine Schließanlage, die bei Stromausfall einfach aufgeht, ist keine Sicherung. Bei Agenten wird dieselbe Logik oft vergessen.
Warum gerade Agenten Fail-closed brauchen
- Persistenz: Was einmal in die Memory Files gelangt, bleibt. Ein fail-open-Fehler ist nicht flüchtig, er sedimentiert.
- Autonomie: Niemand schaut bei jeder Aktion zu. Der sichere Default muss eingebaut sein, nicht von menschlicher Wachsamkeit abhängen.
- Mehrdeutigkeit: Schädliche Einträge sehen aus wie legitime. Ein Modell wird oft „eher unsicher” sein — und genau dann darf nicht durchgewunken werden.
Wie PoisonZero Fail-closed umsetzt
PoisonZero bewertet jede Änderung mit zwei Zahlen: einem Gefahrengrad (0–1) und einer Sicherheit (0–1, wie verlässlich das Urteil ist). Daraus folgt eine klare, konservative Logik:
# Entscheidungslogik (vereinfacht) Gefahr ≥ Blockier-Schwelle → revert Gefahr ≤ Sicher-Schwelle UND Sicherheit ≥ Mindestmaß → allow sonst (alles Unklare dazwischen) → ask_user
Der entscheidende Punkt ist die letzte Zeile: Was nicht eindeutig harmlos und ausreichend sicher beurteilt ist, wird nicht durchgelassen. Es wird zurückgerollt oder Ihnen vorgelegt. Sie legen die Schwellwerte pro Agent selbst fest — verständlich erklärt, mit Schiebereglern statt Konfigurationsdateien.
Der Preis und warum er sich lohnt
Fail-closed bedeutet gelegentlich eine Rückfrage, die sich im Nachhinein als unnötig herausstellt. Das ist der Preis. Ihm gegenüber steht ein vergifteter Eintrag, der unbemerkt jede künftige Entscheidung verzerrt. Diese Asymmetrie — kleine, sichtbare Unbequemlichkeit gegen großen, unsichtbaren Schaden — ist der ganze Grund, warum Fail-closed gewinnt.
Sicher by default.
PoisonZero wählt im Zweifel die sichere Seite — und lässt Sie die Grenze selbst ziehen.
14 Tage testenWeiterlesen: Was ist Memory Poisoning? · KI-Agenten in der CI/CD-Pipeline · Poisoned Pipeline Execution