KI-Richtlinie für Notfälle - mit kostenlosem Muster

Künstliche Intelligenz kann dein Unternehmen effizienter machen, Prozesse automatisieren und wertvolle Einblicke liefern. Doch was passiert, wenn ein KI-System eine falsche Entscheidung trifft, diskriminierende Muster aufweist oder plötzlich fehlerhafte Ergebnisse liefert? Ein klarer Notfallplan hilft dir, in solchen Situationen schnell und gezielt zu reagieren. Mit einem strukturierten Vorgehen kannst du Risiken frühzeitig erkennen, notwendige Maßnahmen sofort einleiten und gesetzliche Meldepflichten einhalten. So schützt du nicht nur dein Unternehmen, sondern auch deine Kunden und Mitarbeitenden – und sicherst das Vertrauen in deine KI-Systeme. Unser KI-Notfallplan zeigt dir, wie du im Ernstfall richtig handelst: von der ersten Einschätzung bis zur nachhaltigen Fehlerbehebung. Denn wer KI nutzt, sollte auch für unerwartete Probleme gerüstet sein.

Ein KI-Vorfall liegt vor, wenn unser KI-System unerwartete oder fehlerhafte Entscheidungen trifft, die potenziell schädliche Auswirkungen haben. Dabei kann es sich um folgende Situationen handeln:

• Fehlentscheidungen mit negativen Folgen: Beispielsweise wenn eine KI-basierte Bewerberauswahl qualifizierte Bewerber:innen systematisch ablehnt oder eine KI-gestützte medizinische Analyse falsche Diagnosen stellt.
• Diskriminierung oder unfaire Behandlung: Ein KI-gestütztes System entscheidet auf Basis von Kriterien, die zu einer Benachteiligung bestimmter Personengruppen führen, beispielsweise durch Verzerrungen (Bias) in den Trainingsdaten.
• Manipulation oder unbefugte Nutzung: Jemand verändert das KI-System absichtlich, um betrügerische Ergebnisse zu erzeugen, beispielsweise indem eine Finanz-KI so manipuliert wird, dass sie unrechtmäßig Zahlungen freigibt.
• Halluzinationen oder falsche Informationen: Ein KI-System gibt falsche oder irreführende Antworten aus, die zu Fehlentscheidungen führen, beispielsweise wenn ein Chatbot im Kundenservice Falschinformationen über vertragliche Bedingungen verbreitet.
• Verletzung von Datenschutzvorschriften: Ein KI-System verarbeitet personenbezogene Daten ohne entsprechende Rechtsgrundlage oder gibt ungewollt vertrauliche Informationen weiter.
• Technische Fehler oder Ausfälle: Das KI-System ist nicht mehr zuverlässig oder trifft widersprüchliche Entscheidungen, etwa wenn ein KI-gesteuertes Produktionssystem fehlerhafte Produkte in den Verkehr bringt.

Sobald ein KI-Vorfall festgestellt wird, ist schnelles Handeln erforderlich. Wer einen solchen Vorfall bemerkt, sollte unverzüglich die IT-Sicherheit oder den zuständigen KI-Beauftragten informieren.

Die erste Einschätzung erfolgt anhand der Frage: Wie groß ist das Risiko für Menschen, das Unternehmen oder den Datenschutz?

• Geringes Risiko: 
  Der Vorfall führt zu keiner direkten Schädigung von Personen oder Unternehmen.
  Beispiel: Eine KI erstellt fehlerhafte Textbausteine für E-Mails, was zu Verwirrung, aber nicht zu rechtlichen Konsequenzen führt.
• Mittleres Risiko: 
  Die KI beeinflusst Geschäftsprozesse negativ, kann aber mit manuellen Korrekturen behoben werden. 
  Beispiel: Ein KI-gestütztes Empfehlungssystem schlägt Kunden falsche Produkte vor, was zu Beschwerden, aber nicht zu schwerwiegenden Verlusten führt.
• Hohes Risiko: 
  Der Vorfall kann Schäden für betroffene Personen oder das Unternehmen verursachen. 
  Beispiel: Eine KI-gestützte Kreditbewertung lehnt systematisch bestimmte Gruppen ab oder ein medizinisches KI-Analyseprogramm übersieht kritische Diagnosen.
• Kritisches Risiko: 
  Das KI-System führt zu gravierenden Schäden, Datenschutzverletzungen oder Gefahren für Leib und Leben. 
  Beispiel: Eine KI zur Verkehrssteuerung verursacht einen Unfall oder ein KI-gestütztes Sicherheitssystem gibt eine falsche Alarmmeldung aus, die zu Polizeieinsätzen führt.

Je nach Schwere des Vorfalls sind unterschiedliche Maßnahmen erforderlich.

Sobald das Risiko erkannt wurde, müssen Sofortmaßnahmen eingeleitet werden:

1. Fehlfunktion des Systems identifizieren: 
   Prüfen, ob das Problem auf eine technische Störung, fehlerhafte Trainingsdaten oder eine unzureichende Konfiguration zurückzuführen ist.
2. Falls erforderlich, das System deaktivieren oder Einschränkungen vornehmen: 
   Bei kritischen Vorfällen kann es notwendig sein, die betroffene Funktion der KI vorübergehend zu deaktivieren, um Schäden zu verhindern.
3. Betroffene informieren: 
   Falls durch den KI-Vorfall Kunden, Mitarbeitende oder Dritte betroffen sind, müssen diese so schnell wie möglich benachrichtigt werden.
4. IT-Sicherheit und Datenschutzbeauftragten einbeziehen: 
   Überprüfung, ob personenbezogene Daten betroffen sind und ob eine Meldung an die Datenschutzbehörde erforderlich ist.
5. Erste Dokumentation des Vorfalls erstellen: 
   Alle relevanten Informationen sollten sofort schriftlich festgehalten werden, um eine spätere Bewertung und Meldung zu erleichtern.

Falls es sich um ein Hochrisiko-KI-System handelt, kann eine Meldepflicht nach der KI-VO (Art. 74) bestehen. Die Meldung muss in folgenden Fristen erfolgen:

• Innerhalb von 15 Tagen, wenn ein Zusammenhang zwischen dem KI-System und dem Vorfall festgestellt wurde.
• Innerhalb von 2 Tagen, wenn es sich um einen weitverbreiteten Vorfall handelt, der größere Gruppen betrifft.
• Innerhalb von 10 Tagen, wenn der Vorfall zu einem Todesfall oder schwerer körperlicher Schädigung geführt hat.

Die Meldung erfolgt an die zuständige Marktüberwachungsbehörde des jeweiligen Mitgliedstaats. Falls personenbezogene Daten betroffen sind, muss zusätzlich eine Meldung nach Art. 33 DSGVO an die zuständige Datenschutzaufsicht innerhalb von 72 Stunden erfolgen.

Nachdem der Vorfall eingedämmt wurde, muss eine detaillierte Untersuchung stattfinden, um herauszufinden, warum es zu dem Problem gekommen ist. Dazu gehören:

• Analyse der Trainingsdaten auf Verzerrungen oder Fehler
• Überprüfung der Entscheidungslogik des KI-Systems
• Bewertung der Datensicherheit und der menschlichen Kontrollmechanismen
• Falls erforderlich, erneute Datenschutzfolgenabschätzung (DSFA) nach Art. 35 DSGVO

Wenn durch den Vorfall größere Schwachstellen im System oder in den Unternehmensprozessen aufgedeckt wurden, müssen entsprechende technische und organisatorische Maßnahmen (TOMs) ergriffen werden. Dazu kann gehören:

• Nachbesserung des KI-Modells oder Umstellung auf eine sicherere Lösung
• Schulung der Mitarbeitenden, um bessere Entscheidungen im Umgang mit KI zu treffen
• Anpassung der internen Kontrollmechanismen und Einführung regelmäßiger Audits
• Überarbeitung der Unternehmensrichtlinien für KI-Nutzung

Jeder KI-Vorfall sollte mit einem detaillierten Bericht abgeschlossen werden. Dieser Bericht enthält:

• Eine Zusammenfassung des Vorfalls
• Die ergriffenen Maßnahmen zur Eindämmung
• Die Untersuchungsergebnisse zur Ursache
• Die umgesetzten Verbesserungen zur Vermeidung zukünftiger Vorfälle

Der richtige Umgang mit KI-Vorfällen ist entscheidend, um Risiken für Unternehmen und betroffene Personen zu reduzieren. Ein gut durchdachter Notfallplan hilft dabei, schnell zu reagieren, Schäden zu begrenzen und regulatorische Anforderungen zu erfüllen. Damit du auf KI-Vorfälle bestens vorbereitet bist, stellen wir dir eine kostenlose Vorlage für einen KI-Notfallplan zur Verfügung. Mit dieser praktischen Grundlage kannst du sicherstellen, dass dein Unternehmen im Ernstfall schnell und gezielt handelt, Risiken minimiert und gesetzliche Vorgaben einhält.

Vorteile eines KI-Notfallplans:

• Schnelle und strukturierte Reaktion auf KI-Vorfälle
• Einhaltung gesetzlicher Meldepflichten und Compliance-Vorgaben
• Schutz vor rechtlichen und finanziellen Folgen
• Erhalt von Vertrauen bei Kunden, Mitarbeitenden und Partnern