Die neuen Regeln zielen darauf ab, Grundrechte, Demokratie und Rechtsstaatlichkeit sowie ökologische Nachhaltigkeit vor Hochrisiko-KI-Systemen zu schützen. Gleichzeitig sollen sie Innovationen ankurbeln und dafür sorgen, dass die EU in diesem Bereich eine Führungsrolle einnimmt. Die Verordnung legt bestimmte Verpflichtungen für KI-Systeme fest, abhängig von den jeweiligen möglichen Risiken und Auswirkungen.

Verbotene Anwendungen

Die neuen Vorschriften verbieten bestimmte KI-Anwendungen, die die Rechte der Bürgerinnen und Bürger bedrohen. Dazu zählen unter anderem die biometrische Kategorisierung auf der Grundlage sensibler Merkmale und das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungskameras für Gesichtserkennungsdatenbanken. Ebenfalls verboten sind künftig Emotionserkennungssysteme am Arbeitsplatz und in Schulen sowie das Bewerten von sozialem Verhalten mit KI. Auch vorausschauende Polizeiarbeit, die einzig auf der Profilerstellung oder der Bewertung von Merkmalen einer Person beruht, und der Einsatz von künstlicher Intelligenz, um das Verhalten von Menschen zu beeinflussen oder ihre Schwächen auszunutzen, ist nach den neuen Regeln nicht erlaubt.

Ausnahmen für Strafverfolgungsbehörden

Grundsätzlich ist die Nutzung von biometrischen Fernidentifizierungssystemen durch Strafverfolgungsbehörden verboten. Es gibt jedoch bestimmte ausführlich beschriebene und eng abgegrenzte Ausnahmefälle. Fernidentifizierung in Echtzeit ist nur dann erlaubt, wenn strenge Sicherheitsbestimmungen eingehalten werden – unter anderem gibt es zeitliche und räumliche Beschränkungen, und es muss vorab eine spezielle behördliche oder gerichtliche Genehmigung eingeholt werden. Entsprechende Systeme dürfen beispielsweise genutzt werden, um gezielt nach einer vermissten Person zu suchen oder einen Terroranschlag zu verhindern. Der Einsatz von KI-Systemen zur nachträglichen Fernidentifizierung gilt als hochriskant. Hierfür ist eine gerichtliche Genehmigung nötig, die mit einer Straftat in Verbindung stehen muss.

Verpflichtungen für Hochrisikosysteme

Auch für andere Hochrisiko-KI-Systeme sind bestimmte Verpflichtungen vorgesehen, denn sie können eine erhebliche Gefahr für Gesundheit, Sicherheit, Grundrechte, die Umwelt, Demokratie und den Rechtsstaat darstellen. Als hochriskant werden unter anderem KI-Systeme eingestuft, die in den Bereichen kritische Infrastruktur, allgemeine und berufliche Bildung oder Beschäftigung eingesetzt werden. Auch KI-Systeme, die für grundlegende private und öffentliche Dienstleistungen – etwa im Gesundheits- oder Bankwesen –, in bestimmten Bereichen der Strafverfolgung sowie im Zusammenhang mit Migration und Grenzmanagement, Justiz und demokratischen Prozessen (zum Beispiel zur Beeinflussung von Wahlen) genutzt werden, gelten als hochriskant. Solche Systeme müssen Risiken bewerten und verringern, Nutzungsprotokolle führen, transparent und genau sein und von Menschen beaufsichtigt werden. Die Bevölkerung hat künftig das Recht, Beschwerden über KI-Systeme einzureichen und Entscheidungen erklärt zu bekommen, die auf der Grundlage hochriskanter KI-Systeme getroffen wurden und ihre Rechte beeinträchtigen.

Transparenzanforderungen

KI-Systeme mit allgemeinem Verwendungszweck und die Modelle, auf denen sie beruhen, müssen bestimmte Transparenzanforderungen erfüllen, darunter die Einhaltung des EU-Urheberrechts und die Veröffentlichung detaillierter Zusammenfassungen der für das Training verwendeten Inhalte. Für die leistungsfähigeren Modelle, die systemische Risiken bergen könnten, gelten künftig zusätzliche Anforderungen – etwa müssen Modellbewertungen durchgeführt, systemische Risiken bewertet und gemindert und Vorfälle gemeldet werden.

Darüber hinaus müssen künstlich erzeugte oder bearbeitete Bilder bzw. Audio- und Videoinhalte (sogenannte Deepfakes) in Zukunft eindeutig als solche gekennzeichnet werden.

Maßnahmen zur Förderung von Innovationen und KMU

In den Mitgliedstaaten müssen Reallabore eingerichtet und Tests unter realen Bedingungen durchgeführt werden. Diese müssen für kleine und mittlere Unternehmen sowie für Start-ups zugänglich sein, damit sie innovative KI-Systeme entwickeln und trainieren können, bevor sie auf den Markt kommen.

Zitate

Während der Plenardebatte am Dienstag sagte der Ko-Berichterstatter des Binnenmarktausschusses, Brando Benifei (S&D, IT): "Endlich haben wir das weltweit erste verbindliche Gesetz zur künstlichen Intelligenz, um Risiken zu reduzieren, Chancen zu schaffen, Diskriminierung zu bekämpfen und Transparenz zu gewährleisten. Dank des Parlaments werden inakzeptable KI-Praktiken in Europa verboten und die Rechte von Arbeitnehmern und Bürgern geschützt werden. Das Europäische Amt für künstliche Intelligenz wird nun eingerichtet, um Unternehmen bei der Einhaltung der Vorschriften zu unterstützen, bevor diese in Kraft treten Wir haben durchgesetzt, dass bei der Entwicklung künstlicher Intelligenz der Mensch sowie die europäischen Werte im Vordergrund stehen.“

Der Mitberichterstatter des Ausschusses für bürgerliche Freiheiten Dragos Tudorache (Renew, RO) sagte: "Die EU hat geliefert. Wir haben es geschafft, das Konzept der künstlichen Intelligenz mit den grundlegenden Werten zu verknüpfen, die das Fundament unserer Gesellschaften bilden. Allerdings steht uns noch ein langer Weg bevor, der weit über das KI-Gesetz hinausreicht. Künstliche Intelligenz wird uns zwingen, den Gesellschaftsvertrag neu zu denken – ein Vertrag, der im Kern unserer Demokratien, unserer Bildungssysteme, unserer Arbeitsmärkte und in der Art und Weise, wie wir Kriege führen, steht. Das KI-Gesetz ist ein Ausgangspunkt für ein neues Modell des Regierens, das auf Technologie aufbaut. Wir müssen uns jetzt darauf konzentrieren, dieses Gesetz in die Praxis umzusetzen".

Nächste Schritte

Die Verordnung wird nun von Rechts- und Sprachsachverständigen abschließend überprüft. Sie dürfte noch vor Ende der Wahlperiode im Rahmen des sogenannten Berichtigungsverfahrens angenommen werden. Auch muss der Rat die neuen Vorschriften noch förmlich annehmen.

Die Verordnung tritt 20 Tage nach ihrer Veröffentlichung im Amtsblatt der EU in Kraft und ist – bis auf einige Ausnahmen – 24 Monate nach ihrem Inkrafttreten uneingeschränkt anwendbar. Die Ausnahmen sind Verbote sogenannter verbotener Praktiken, die bereits sechs Monate nach Inkrafttreten gelten, Verhaltenskodizes (sie gelten neun Monate nach Inkrafttreten), Regeln für künstliche Intelligenz mit allgemeinem Verwendungszweck, einschließlich Governance, (zwölf Monate nach Inkrafttreten) und Verpflichtungen für Hochrisikosysteme (36 Monate nach Inkrafttreten).

Hintergrund

Das Gesetz über künstliche Intelligenz ist eine direkte Antwort auf die Vorschläge der Bürgerinnen und Bürger der Konferenz zur Zukunft Europas (COFOE), insbesondere auf den Vorschlag 12(10) zur Stärkung der Wettbewerbsfähigkeit der EU in strategischen Sektoren, den Vorschlag 33(5) zu einer sicheren und vertrauenswürdigen Gesellschaft, einschließlich der Bekämpfung von Desinformation und der Gewährleistung, dass letztlich der Mensch die Kontrolle hat, Vorschlag 35 zur Förderung der digitalen Innovation (3) unter Gewährleistung der menschlichen Kontrolle und (8) vertrauenswürdige und verantwortungsvolle Nutzung von KI, Festlegung von Schutzmaßnahmen und Gewährleistung von Transparenz sowie Vorschlag 37 (3) zur Nutzung von KI und digitalen Werkzeugen zur Verbesserung des Zugangs der Bürgerinnen und Bürger zu Informationen, einschließlich Menschen mit Behinderungen.