Verbotene KI-Praktiken: Diese gefährlichen Anwendungen sind laut KI-Verordnung (AI Act) untersagt

Künstliche Intelligenz (KI) verändert zahlreiche Bereiche unseres Lebens – von automatisierten Arbeitsprozessen bis hin zu innovativen Geschäftsmodellen. Doch mit der zunehmenden Verbreitung von KI wachsen auch die rechtlichen und ethischen Herausforderungen. Um Bürgerrechte zu schützen, Diskriminierung zu verhindern und Missbrauch einzudämmen, hat die Europäische Union die KI-Verordnung (AI Act) verabschiedet.

Der AI Act basiert auf einem risikobasierten Ansatz, der KI-Systeme in vier Risikostufen einteilt:

• Minimales Risiko – Unkritische KI-Systeme, wie etwa Spam-Filter oder KI-gestützte Rechtschreibprüfung, unterliegen kaum regulatorischen Anforderungen.
• Begrenztes Risiko – KI-Anwendungen mit geringen Risiken, wie Chatbots oder Empfehlungssysteme, müssen Transparenzpflichten erfüllen, um Nutzer über den KI-Einsatz zu informieren.
• Hohes Risiko – KI-Systeme, die in sicherheitskritischen oder gesellschaftlich relevanten Bereichen eingesetzt werden (z. B. im Gesundheitswesen, in der Strafverfolgung oder im Personalmanagement), unterliegen strengen Prüf- und Dokumentationspflichten.
• Inakzeptables Risiko – Bestimmte KI-Praktiken sind aufgrund ihrer besonders hohen Gefährdung für Grundrechte und Sicherheit generell verboten. Dazu gehören etwa manipulative, diskriminierende oder überwachungsbasierte Anwendungen, die das Verhalten von Menschen unzulässig beeinflussen oder ihre Autonomie einschränken.

Verbotene KI-Praktiken gehören zur Kategorie der Systeme mit inakzeptablem Risiko. Sie wurden von der EU als besonders schädlich eingestuft und sind daher vollständig untersagt.

In diesem Leitfaden erfährst du, welche KI-Anwendungen verboten sind, ab wann sie untersagt sind, warum sie problematisch sind und welche Beispiele und Ausnahmen es gibt.

Die verbotenen KI-Anwendungen greifen tief in grundlegende Menschenrechte ein und können schwerwiegende gesellschaftliche Auswirkungen haben. Sie gefährden die Autonomie, Sicherheit und Privatsphäre der Menschen, indem sie manipulatives Verhalten fördern, Diskriminierung verstärken oder gezielt Schwachstellen ausnutzen.

Ein zentrales Problem ist, dass KI-Systeme in vielen Fällen intransparent arbeiten und Entscheidungen auf Basis von Algorithmen treffen, die für Betroffene nicht nachvollziehbar sind. Wenn KI ohne ausreichende Kontrolle eingesetzt wird, können fehlerhafte oder voreingenommene Daten zu unfairen Ergebnissen führen – etwa bei der Kreditvergabe, Bewerbungsverfahren oder Strafverfolgung. Dies birgt das Risiko, dass Menschen unbewusst benachteiligt oder systematisch ausgeschlossen werden.

Darüber hinaus können KI-gestützte Überwachungs- und Bewertungssysteme die individuelle Freiheit massiv einschränken. Wenn beispielsweise Social Scoring dazu genutzt wird, um Menschen auf Basis ihres Verhaltens zu klassifizieren und zu bewerten, entsteht eine Gesellschaft, in der jede Handlung potenziell überwacht und sanktioniert werden kann. Solche Technologien widersprechen den demokratischen Grundwerten der EU und fördern eine Kultur der Überwachung und Kontrolle.

Um diese Risiken zu minimieren, hat die EU mit dem AI Act strenge KI-Regulierungen eingeführt. Die Verordnung stellt sicher, dass KI-Technologien ethisch vertretbar bleiben und nicht zur Manipulation, Diskriminierung oder Massenüberwachung missbraucht werden. Indem die verbotenen Praktiken klar definiert sind, schafft die EU ein sicheres Umfeld für den verantwortungsvollen Einsatz von KI und stärkt das Vertrauen der Bürger in technologische Innovationen.

Die KI-Verordnung (AI Act) wurde am 1. August 2024 verabschiedet und tritt in mehreren Phasen in Kraft. Während einige Bestimmungen sofort gelten, gibt es für verschiedene Regelungen gestaffelte Übergangsfristen. Die letzten Übergangsfristen für weitere Vorschriften des AI Act enden am 1. August 2027, sodass ab diesem Zeitpunkt die gesamte Verordnung vollumfänglich gilt.

Artikel 5, der bestimmte KI-Praktiken ausdrücklich verbietet, wird ab dem 2. Februar 2025 rechtsverbindlich und muss von allen betroffenen Akteuren – darunter Anbieter, Entwickler, Händler, Importeure und Nutzer von KI-Systemen in der EU – eingehalten werden.

Um Unternehmen und Behörden eine präzise Orientierung zu bieten, hat die EU-Kommission am 4. Februar 2024 einen Leitfaden veröffentlicht, der die verbotenen KI-Praktiken detailliert erläutert und rechtlich einordnet. Im Folgenden findest du eine Zusammenfassung der wichtigsten verbotenen KI-Anwendungen mit Beispielen, Begründungen und Ausnahmen.

KI-Systeme dürfen keine psychologischen Tricks nutzen, um Menschen unbewusst zu beeinflussen oder zu manipulieren.

Beispiele:

• Werbeanzeigen, die unterschwellige Botschaften enthalten, um Kaufentscheidungen zu steuern.
• Chatbots, die gezielt Fehlinformationen verbreiten und gesellschaftliche Gruppen polarisieren.

❌ Keine Ausnahmen – diese Praktiken sind generell verboten.

KI darf nicht gezielt Kinder, Senioren oder sozial benachteiligte Gruppen ausnutzen.

Beispiele:

• Ein Algorithmus, der älteren Menschen überteuerte Versicherungen aufschwatzt.
• Werbung für riskante Kredite, die gezielt an einkommensschwache Personen ausgespielt wird.

❌ Keine Ausnahmen – diese Praktiken sind strikt untersagt.

KI darf Menschen nicht basierend auf Verhalten oder Persönlichkeitsmerkmalen in Kategorien einteilen, um Vorteile oder Nachteile zu vergeben.

Beispiele:

• Ein Versicherer berechnet die Prämienhöhe anhand des Einkaufsverhaltens.
• Kreditvergabe wird von KI-Analysen sozialer Netzwerke beeinflusst.

❌ Keine Ausnahmen – Social Scoring ist in der EU verboten.

KI darf nicht dazu verwendet werden, Menschen basierend auf Persönlichkeitsprofilen als potenzielle Straftäter einzustufen.

Beispiele:

• Ein System prognostiziert Kriminalität basierend auf Wohnort oder sozialem Umfeld.
• Polizeibehörden setzen KI-Analysen zur vorbeugenden Überwachung ein.

❌ Keine Ausnahmen – solche Systeme sind illegal.

KI-Systeme dürfen nicht ohne Zustimmung Gesichtsbilder aus dem Internet sammeln, um Datenbanken für Gesichtserkennung zu erstellen.

Beispiel:

• Unternehmen extrahieren Fotos aus sozialen Netzwerken, um eine KI-gestützte Gesichtserkennung aufzubauen.

❌ Keine Ausnahmen – unkontrolliertes Scraping ist verboten.

KI-Systeme dürfen keine Emotionen in Arbeits- und Bildungseinrichtungen auswerten, um Verhalten zu analysieren oder zu beeinflussen.

Beispiele:

• Schulen nutzen KI, um die Aufmerksamkeit von Schülern zu messen.
• Unternehmen überwachen die Emotionen von Mitarbeitern, um die Produktivität zu steigern.

✅ Erlaubte Ausnahmen:

• Therapie-Unterstützung (z. B. für Autismus-Spektrum-Störungen)
• Unfallprävention (z. B. Müdigkeitserkennung bei Fahrern oder Piloten)

KI darf keine rassistischen oder politisch motivierten Kategorisierungen anhand biometrischer Daten vornehmen.

Beispiel:

• Ein KI-System analysiert Gesichtsmerkmale, um Menschen nach ethnischer Herkunft oder politischen Überzeugungen einzuordnen.

❌ Keine Ausnahmen – diese Praxis ist verboten.

Die öffentliche Massenüberwachung mit KI-gestützter Gesichtserkennung ist untersagt.

Beispiel:

• Polizei nutzt in Echtzeit Gesichtserkennung, um Personen in Menschenmengen zu identifizieren.

✅ Erlaubte Ausnahmen:

• Suche nach vermissten Personen (z. B. Opfer von Menschenhandel)
• Verhinderung von Terroranschlägen oder schwerwiegenden Straftaten
• Identifizierung von Verdächtigen, die schwere Verbrechen begangen haben

Unternehmen, die verbotene KI-Systeme weiterhin anbieten oder einsetzen, müssen mit erheblichen Sanktionen rechnen:

• Hohe Geldstrafen: 
  Gemäß Artikel 99 Absatz 3 des AI Act können Verstöße gegen Artikel 5 mit Geldbußen von bis zu 35 Millionen Euro oder 7 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden, je nachdem, welcher Betrag höher ist. 
• Reputationsverlust: 
  Neben finanziellen Sanktionen riskieren Unternehmen einen erheblichen Image-Schaden, der das Vertrauen von Kunden, Partnern und Investoren beeinträchtigen kann.
• Marktausschluss und behördliche Maßnahmen: 
  Die zuständigen Behörden haben das Recht, illegale KI-Systeme vom Markt zu nehmen oder deren Nutzung zu untersagen, um die Einhaltung der Vorschriften sicherzustellen.
• Sonstige Konsequenzen: In schwerwiegenden Fällen kann der Einsatz verbotener KI-Praktiken zu zivilrechtlichen Klagen oder strafrechtlichen Ermittlungen führen, insbesondere wenn durch solche Systeme nachweislich Schäden entstehen.