Im April 2021 hat die Europäische Kommission ihren Entwurf für die Verordnung zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz („KI-Verordnung“, „KI-VO-E“) vorgestellt. Mit der Verordnung möchte die EU durch Förderung von Exzellenz im KI-Bereich das Wettbewerbspotenzial Europas stärken. Am 6. Dezember 2022 hat nun der Rat der Europäischen Union seinen gemeinsamen Standpunkt zu der KI-Verordnung beschlossen und zahlreiche Änderungen gegenüber dem Entwurf der Kommission vorgeschlagen.

Vorab: Eine kleine Einführung zum Entwurf der Europäischen Kommission

Mit der KI-Verordnung will die Europäische Union harmonisierte Vorschriften für KI festlegen. Es werden die Förderung von Investitionen in KI sowie Verhinderung der Marktfragmentierung innerhalb der EU angestrebt. Zu den Zielen gehören auch die Gewährleistung der Rechtssicherheit in Bezug auf künstliche Intelligenz sowie die wirksame Durchsetzung des geltenden Rechts zur Wahrung der Grundrechte.

Im Mittelpunkt der Verordnung steht ein risikobasierter Ansatz, bei dem für unterschiedliche Risikoklassen der KI unterschiedliche Regeln gelten. Der KI-VO-E unterscheidet zwischen Systemen mit (1) unannehmbarem, (2) hohem und (3) geringem oder minimalem Risiko.

Ein unannehmbares Risiko stellen demnach vor allem solche KI-Systeme dar, die mit Grundrechten oder anderen Werten der Union in Konflikt stehen. Vor allem Praktiken, die dazu geeignet sind, Personen zu manipulieren und die Schwächen bestimmter schutzbedürftigen Gruppen auszunutzen, werden durch die KI-Verordnung untersagt. Explizit verboten wird dabei die Bewertung des sozialen Verhaltens für allgemeine Zwecke, das sog. Social Scoring.

Für Hochrisiko-KI-Systeme sieht die KI-Verordnung strenge Anforderungen vor. Dazu gehören ein Risikomanagementsystem (Art. 9 KI-VO-E), Datenverwaltungsverfahren (Art. 10 KI-VO-E), umfassende Dokumentations- und Aufzeichnungs- und Transparenzpflichten (Art. 11 bis 13 KI-VO-E) sowie menschliche Aufsicht und technische Sicherheitsmaßnahmen (Art. 14 und 16 KI-VO-E). Für die Anbieter von Hochrisiko-KI-Systeme gelten eine ganze Reihe von Pflichten, wie z. B. die Registrierungs- und Kennzeichenpflicht.

Dass die EU die Entwicklung der KI-Systeme nicht nur einschränken, sondern auch fördern will, kommt im KI-VO-E in den Regelungen zu KI-Systemen mit geringem oder minimalem Risiko zum Ausdruck. Im Gegensatz zu den Hochrisiko-KI-Systemen sieht der KI-VO-E insoweit lediglich Transparenzpflichten (Art. 52 KI-VO-E) vor. Systeme, bei welchen aufgrund der Umstände und des Kontextes der Nutzung offensichtlich ist, dass es sich um ein KI-System handelt, sind sogar von dieser Pflicht ausgenommen.

Die Entwicklung von KI wird auf der europäischen Ebene auch durch die Einführung des Konzepts der KI-Reallaboren gefördert. Es wird eine kontrollierte Umgebung eingerichtet, um die Entwicklung, Erprobung und Validierung innovativer KI-Systeme vor ihrem Inverkehrbringen zu ermöglichen. Auch werden zusätzliche Kontrollmechanismen für KI eingeführt und ein Europäischer Ausschuss für künstliche Intelligenz eingerichtet.

Position des Rates in seinem aktuellen Beschluss

Die vor kurzem vorgestellte Position des Rates enthält zahlreiche Änderungen gegenüber dem Entwurf der Kommission.

Die mit Abstand wichtigste Änderung betrifft die KI-Definition und somit den Anwendungsbereich der KI-Verordnung. Um sicherzustellen, dass die KI-Systeme in der Verordnung hinreichend klar definiert sind, schränkt der Ratsentwurf die Definition von KI ein. Unter Künstlicher Intelligenz versteht der Ratsentwurf (nur) Folgendes:

„ein System, das so konzipiert ist, dass es mit Elementen der Autonomie arbeitet, und das auf der Grundlage maschineller und / oder vom Menschen erzeugter Daten und Eingaben durch maschinelles Lernen und / oder logik- und wissensgestützte Konzepte ableitet, wie eine Reihe von Zielen erreicht wird, und systemgenerierte Ergebnisse wie Inhalte (generative KI-Systeme), Vorhersagen, Empfehlungen oder Entscheidungen hervorbringt, die das Umfeld beeinflussen, mit dem die KI-Systeme interagieren“.

Mit dieser KI-Definition adressiert der Rat die Bedenken der Mitgliedstaaten und will verhindern, dass „traditionelle“ Software von dem Anwendungsbereich erfasst wird. Die Technologien und Systeme, welchen rein statistische Ansätze zugrunde liegen, sind nach dieser neuen Definition eines KI-Systems von dem Anwendungsbereich ausgenommen.

Die Definition der künstlichen Intelligenz ist aber nicht die einzige Änderung. So wird das Verbot von Social Scoring auch auf private Akteure ausgeweitet. Unternehmen müssten also auf solche Formen des Scorings ggf. verzichten.

Für die biometrische Fernidentifizierung sieht der Rat ebenfalls klare Kriterien vor, wann diese für die Strafverfolgungszwecke unbedingt erforderlich ist und für welche Strafverfolgungsbehörden die Verwendung solcher Systeme gestattet werden soll.

Aus dem Annex III streicht der Rat drei Kategorien von Hochrisiko-KI-Systemen (alle aus dem Bereich der Strafverfolgung) und fügt zwei neue Kategorien hinzu (kritische digitale Infrastruktur sowie Lebens- und Krankenversicherung). Die Flexibilität des KI-VO-E wird nach der Vorstellung des Rats durch die Möglichkeit zur Streichung von Hochrisiko-Kategorien aus dem Annex III gestärkt. Auch wurden im Beschluss mehrere Anforderungen an Hochrisiko-KI-Systeme klarer formuliert und die Transparenzpflichten erweitert.

Des Weiteren sieht der Ratsentwurf vor, dass für General-Purpose-KI-Systeme unter Umständen bestimmte Anforderungen gelten müssen, die für Hochrisiko-KI-Systeme vorgesehen sind. General-Purpose-KI-Systeme sind solche KI-Systeme, die ein breites Anwendungsspektrum haben und in unterschiedlichen Feldern eingesetzt werden können. Wenn diese Anwendungen in andere KI-Systeme integriert werden, kann das unter Umständen zur wesentlichen Erhöhung der Risiken führen. Für solche Fälle sieht der Ratsentwurf die Möglichkeit zum Erlass eines Durchführungsrechtsakts vor, in welchem präzise festgelegt wird, welche Vorschriften wie angewendet werden müssen.

Zu weiteren Anpassungen im Ratsentwurf gehören die Ausnahmen für nationale Sicherheitsbehörden und militärische Zwecke, vereinfachte Regelungen in Bezug auf Konformitätsbewertung und Marktuntersuchungen, modifizierte Vorgaben für KI-Reallabore und Einführung von Regelungen in Verbindung mit Real-World-Testing.

Welche Technologien sind erfasst?

Welche Systeme unter den Begriff „KI-System“ fallen sollen, ist die zentrale Frage, die die bisherigen Entwürfe nur begrenzt beantworten. Die Kommission strebt einen weiten KI-Begriff an, während der Ratsentwurf eine etwas engere Definition (Abgrenzungskriterien: Autonomie, machine learning und logik- und wissensbasierter Ansatz) vorsieht und auf die Flexibilität setzt. Welche Definition sich am Ende durchsetzt, kann vor den Trilog-Verhandlungen noch nicht eingeschätzt werden. Es bleibt noch abzuwarten, wie sich das EU-Parlament im Hinblick auf die beiden Vorschläge positioniert.

Abgesehen von der in Verordnungsentwürfen explizit angesprochenen Systemen wie Social Scoring, lassen sich schon jetzt einige Anwendungsbeispiele identifizieren, die unter die KI-Verordnung als KI-System fallen sollen:

• Hochrisiko Systeme: Managementsysteme für Wasser-, Strom- und Heizungsversorgung, fortgeschrittene Software zur Auswertung von Prüfungen, CV-Parsing-Systeme.
• Systeme mit geringem oder minimalem Risiko: Chatbots, Deepfakes, Spam-Filter, KI in Computerspielen

Es kann davon ausgegangen werden, dass die Systeme mit maschinellem Lernen (einschl. Deep Learning) unter alle vorstellbaren KI-Begriffe fallen werden.

Wie geht es nun weiter?

Nun muss noch das Europäische Parlament eine eigene Position zu dem Entwurf der KI-Verordnung vorstellen. Erst dann beginnen die Trilog-Verhandlungen. Aktuell lässt sich schwer einschätzen, wie lange dies dauern werden. Realistisch erscheint ein Inkrafttreten der KI-Verordnung (frühstens) ab dem Jahr 2024.