Die Europäische Kommission hat einen Entwurf für ihre Leitlinien zu Hochrisiko-KI-Systemen (HRKIS) i.S.v. Art. 6 KI-Verordnung (KI-VO) veröffentlicht.

Nach Art. 6 Abs. 5 KI-VO ist die Europäische Kommission zur Veröffentlichung von Leitlinien zu HRKIS verpflichtet. Das Ziel ist, dass Anbieter und Betreiber von KI-Systemen durch die Leitlinien Unterstützung bei der Auslegung der relevanten Vorschriften erhalten sollen, um leichter bestimmen zu können, ob ihre KI-Systeme als HRKIS gemäß Art. 6 KI-VO gelten und welche Art von HRKIS vorliegt – ein System nach Anhang I oder nach Anhang III KI-VO. In diesem Beitrag möchten wir Ihnen einen Überblick über den Inhalt der Leitlinien geben.

Abstimmungsverfahren

Die veröffentlichte Version der Leitlinien ist lediglich eine Entwurfsfassung, zu der Stakeholder bis Ende Juli ein Feedback abgeben können. Die finale Fassung wird dann voraussichtlich Ende 2026 veröffentlicht.

Veränderter Geltungsbeginn für HRKIS

Dies korrespondiert mit dem aufgrund des KI-Omnibus verschobenen Geltungsbeginn. Demnach gelten die Regelungen der Art. 6 – 49 KI-VO für HRKIS zu folgenden Zeitpunkten:

• Dezember 2027: Für HRKIS nach Art. 6 Abs. 2 i.V.m. Anhang III KI-VO
• August 2028: Für HRKIS nach Art. 6 Abs. 1 i.V.m. Anhang I KI-VO

Inhalt der Leitlinien

Die Europäische Kommission hat auf ihrer Website die Leitlinien in drei verschiedene Teildokumente untergliedert und veröffentlicht.

Dokument 1 – Allgemeine Prinzipien

Maßgeblich für die Bestimmung, ob ein KI-System als HRKIS gilt, ist die Zweckbestimmung. Diese wird nach Art. 3 Nr. 12 KI-VO durch den Anbieter bestimmt, wobei auch die besonderen Umstände und Bedingungen für die Verwendung, die Angaben in der technischen Dokumentation, aber auch Anleitungen und Werbematerial relevant sein können. Nach Ansicht der Europäischen Kommission kann für die Annahme eines HRKIS z.B. bereits ausreichen, dass ein KI-System sich für eine Vielzahl von Zwecken eignet, wenn die Zweckbestimmung auch Hochrisikozwecke umfasst, weil solche Zwecke vernünftigerweise vorhersehbar sind. Hingegen reicht es nicht aus, wenn der Anbieter eine Nutzung zu Hochrisiko-Zwecken vertraglich ausschließt, zugleich allerdings z.B. in Werbematerialien auf solche Einsatzzwecke hingewiesen wird. Denn die Angaben dürfen nicht widersprüchlich sein. Die Europäische Kommission weist die Aufgabe der Prüfung, ob ein HRKIS im Einzelfall vorliegt, dem Anbieter zu.

Daraus ergibt sich nach unserer Auffassung für den Betreiber, dass dieser sich bei Unklarheiten darüber, ob das von dem Anbieter erworbene KI-System ein HRKIS ist, an den Anbieter wenden sollte, um eindeutige Zusagen zu erhalten. Allerdings sind für die Klärung dieser Frage auch die Korrespondenz mit dem Anbieter, die Angaben aus der technischen Dokumentation, bereitgestellte Informationen auf der Website des Anbieters zum angebotenen KI-System sowie Werbe- oder Verkaufsmaterial zu berücksichtigen.

Allerdings sollte stets beachtet werden, dass ein KI-System auch dann zu einem HRKIS werden kann, obwohl es vom Anbieter nicht für die bestimmungsgemäße Verwendung in einem Hochrisiko-Bereich nach Anhang III KI-VO vorgesehen wurde. Denn nach Art. 25 Abs. 1 lit. c) KI-VO wird der Betreiber eines KI-Systems zugleich zu einem Anbieter eines HRKIS, wenn er die Zweckbestimmung dieses KI-Systems ändert und es dadurch zu einem HRKIS wird, z.B. wenn er es in einem Hochrisiko-Bereich nach Anhang III einsetzt.

Dokument 2 – HRKIS nach Art. 6 Abs. 1 i.V.m. Anhang I KI-VO

Ein KI-System kann nach Art. 6 Abs. 1 KI-VO als HRKIS gelten, wenn es als Sicherheitsbauteil eines Produkts verwendet wird, das von einer der in Anhang I genannten europäischen Harmonisierungsrechtsakten (z.B. Richtlinie über die Sicherheit von Spielzeug, Medizinprodukte-Verordnung, Verordnung über die Typgenehmigung von Fahrzeugen) reguliert wird oder wenn das KI-System selbst ein solches reguliertes Produkt ist. Zudem muss das KI-System einer Konformitätsbewertung durch Dritte gemäß den gesonderten Produktrechtsakten unterzogen werden. Sind diese beiden Voraussetzungen erfüllt, dann gilt das KI-System als HRKIS nach Art. 6 Abs. 1 i.V.m. Anhang I KI-VO.

Nach Art. 3 Nr. 14 KI-VO gelten Bestandteile eines Produkts oder KI-Systems, die eine Sicherheitsfunktion erfüllen oder deren Ausfall bzw. Störung die Gesundheit und Sicherheit von Personen oder Eigentum gefährdet, als Sicherheitsbauteil. Nach Ansicht der Europäischen Kommission muss das KI-System diese Sicherheitsfunktion erfüllen. Es reicht nicht aus, dass ein KI-System lediglich in ein Produkt integriert wird, das seinerseits Sicherheitsvorgaben einer Verordnung oder Richtlinie erfüllen muss.

In ihren Leitlinien nennt die Europäische Kommission Beispiele für KI-Systeme, die eine Sicherheitsfunktion erfüllen können:

• KI-Systeme zur Erkennung von ungewöhnlichem Systemverhalten
• KI-Systeme zur Erkennung von Wartungsbedarf bei sicherheitsrelevanten Teilen, deren Ausfall z.B. zu Personen oder Sachschäden führen kann
• KI-Systeme, die einen Systemstart bei Feststellung von ungewöhnlichem Verhalten verhindern, um Schäden an Menschen oder Eigentum zu verhindern
• KI-Systeme, die durch Sensoren den Betrieb einer Sicherheitskomponente in Echtzeit überwachen
• KI-Systeme zur Steuerung und Anpassung der Funktions- oder Verhaltensweise, um Schäden an Menschen oder Eigentum zu verhindern
• KI-Systeme, die bei Auftreten gefährlicher Zustände Maßnahmen auslösen, wie z.B. einen sicheren Stopp

Funktionen, wie die Verbesserung der Produktleistung oder die Qualitätskontrolle, dienen hingegen grundsätzlich keinen Sicherheitsfunktionen.

Alternativ gelten als Sicherheitsbauteile auch solche Bestandteile eines Produkts, deren Ausfall oder Störung die Gesundheit und Sicherheit von Personen oder Eigentum gefährdet. Dazu gehören z.B. Sicherheitsbauteile kritischer Infrastruktur. Nach Erwägungsgrund 55 KI-VO gelten Komponenten, die ausschließlich zu Zwecken der Cybersicherheit vorgesehen sind, nicht als Sicherheitsbauteile.

Weiterhin kommt es bei dieser Alternative auf die Gefährdung von Personen oder Eigentum als Resultat des Ausfalls oder der Störung des Sicherheitsbauteils an. Nach Ansicht der Europäischen Kommission sind Reputationsschäden oder rein finanzielle Verluste sowie Unannehmlichkeiten, die keine Sicherheitsrisiken mit sich bringen, keine relevante Gefährdung. Ebenfalls sind nach Auffassung der Europäischen Kommission KI-Systeme in Thermostaten, Kühlschränken oder TV-Geräten grundsätzlich kein Sicherheitsbauteil, da die KI-Systeme zumeist der Effizienzsteigerung und verbesserten Funktionen dienen.

Als Beispiele für Sicherheitsbauteile nennt die Europäische Kommission KI-Systeme, die darauf abzielen, die Gaskonzentration zu überwachen oder KI-Systemen in Zügen zur Überwachung der Geschwindigkeitsbegrenzungen.

Wichtig im Hinblick auf die Umsetzung der Pflichten ist zudem Art. 2 Abs. 2 KI-VO, wonach für HRKIS nach Art. 6 Abs. 1 i.V.m. Anhang I KI-VO für die unter Anhang I Abschnitt B genannten Harmonisierungsrechtsvorschriften (z.B. Luftfahrt und Schiffsausrüstung) nur Art. 6 Abs. 1 KI-VO und nicht die restlichen Regelungen der Art. 6 Abs. 2 – 49 KI-VO gelten. Dies liegt daran, dass die dort genannten Harmonisierungsrechtsvorschriften dem „alten Rechtsrahmen“ des europäischen Produktsicherheitsrechts zuzuordnen sind und der europäische Gesetzgeber in den jeweiligen Rechtsakten über die Art. 102 – 109 und 112 KI-VO eigenständige KI-Sicherheitsvorgaben durch delegierte Rechtsakte erlassen wird.

Dokument 3 – HRKIS nach Art. 6 Abs. 2 i.V.m. Anhang III KI-VO

HRKIS nach Art. 6 Abs. 2 i.V.m. Anhang III KI-VO sind solche KI-Systeme, die in einem der in Anhang III KI-VO genannten Bereiche (z.B. Bildung, Personalmanagement, Rechtspflege) bestimmungsgemäß eingesetzt werden. Zur Bestimmung, ob ein KI-System als HRKIS nach Art. 6 Abs. 2 KI-VO gilt, kommt es also darauf an, dass der bestimmungsgemäße Zweck einen der in Anhang III genannten Bereiche umfasst. Das bedeutet, dass z.B. ein KI-System, das nur zur Bewertung der Kreditwürdigkeit von Unternehmen eingesetzt wird, nicht unter Anhang IIII Nr. 5 b) KI-VO fällt, weil dort nur der bestimmungsgemäße Einsatz zur Kreditwürdigkeit und Bonitätsprüfung natürlicher Personen genannt wird. Allerdings darf es sich dann tatsächlich auch nicht zu einer solchen Bewertung von natürlichen Personen einsetzen lassen.

Zudem weist die Europäische Kommission auch an dieser Stelle der Leitlinien darauf hin, dass die bestimmungsgemäße Verwendung dem von dem Anbieter des KI-Systems bestimmten Zweck entspricht, sodass es für die Bestimmung, ob im Einzelfall ein HRKIS nach Art. 6 Abs. 2 i.V.m. Anhang III KI-VO darauf ankommt, ob der Anbieter das KI-System zu einer Verwendung bestimmt hat, die einem der dort genannten Bereiche entspricht.

Nachfolgend haben wir einige der besonders relevanten Bereiche aus dem Anhang III KI-VO sowie einige Beispiele der Europäischen Kommission aus ihren Leitlinien aufgeführt:

• Biometrie (soweit kein verbotenes KI-System), wie z.B. biometrische Fernidentifizierungssysteme (wenn Personen auf Videoaufnahmen anhand biometrischer Merkmale identifiziert werden)

• KI-Systeme, die bestimmungsgemäß im Bereich Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit verwendet werden. Dieser Bereich ist für viele Unternehmen besonders relevant, da potenziell jeglicher Einsatz von KI im HR-Bereich unter diesen Tatbestand fallen könnte und die Leitlinien der Europäischen Kommission deshalb hilfreich sein können, um abzugrenzen, welcher KI-Einsatz im Einzelfall diesem Hochrisiko-Bereich zuzurechnen ist.

Einsatz im Bewerbungsprozess

Maßgeblich ist, welche Auswirkungen der Einsatz des KI-Systems auf die beruflichen Perspektiven und Arbeitnehmerrechte einer Person hat.

Ein KI-System, das Stellenausschreibungen auf Grundlage von Kriterien erstellt, die zuvor von einem Personalverantwortlichen festgelegt wurden, kann zwar nach Ansicht der Europäischen Kommission in den Hochrisiko-Bereich fallen, wird allerdings vom Ausnahmetatbestand nach Art. 6 Abs. 3 KI-VO umfasst sein, da es aufgrund der vorherigen Auswahl der Kriterien durch eine natürliche Person nur eine eng gefasste Verfahrensaufgabe durchführt. Dies gilt allerdings nicht, wenn das KI-System selbstständig eine Stellenausschreibung generiert und dort die Qualifikationen und Fähigkeit aufgrund einer allgemeinen Beschreibung des Stellenprofils festlegt oder die Bewerbungen anhand der aufgestellten Kriterien bewertet und auf dieser Basis eine Empfehlung abgibt. Ebenso gilt die Ausnahme des Art. 6 Abs. 3 KI-VO nicht, wenn das KI-System die Stellenanzeige aufgrund von Profiling nur für einen bestimmten Adressatenkreis veröffentlicht oder wenn es den Zugang zu Beschäftigungsmöglichkeiten maßgeblich beeinflusst oder zu einem Diskriminierungsrisiko führen kann. Um bei der Erstellung von Stellenausschreibungen durch KI-Systeme nicht in den Hochrisiko-Bereich zu fallen, sollten Unternehmen die Kriterien zunächst durch einen Personalverantwortlichen festlegen lassen und die Stellenausschreibung möglichst nicht nur einem vorgefilterten Personenkreis anzuzeigen (es sei denn, dies ist als erforderlich anzusehen, was entsprechend begründet werden müsste).

Sofern ein KI-System eine Vorfilterung von Bewerbungen vornimmt, die Einfluss darüber hat, ob ein Bewerber Zugang zu der ausgeschriebenen Stelle erhält, gilt dies als Hochrisiko-KI-System. Dazu gehört nach Ansicht der Europäischen Kommission z.B. die Erstellung von Score-Werten oder der Abgleich von Kandidatenprofilen mit den Kriterien aus der Stellenausschreibung. Wird hingegen nur das Dateiformat geändert, kann dies unter den Ausnahmetatbestand nach Art. 6 Abs. 3 KI-VO fallen. KI-Systeme, die in sozialen Medien oder eigenen CV-Datenbanken nach Bewerbern über vordefinierte Kriterien suchen oder sogenannte Background Checks durchführen und Informationen über Bewerber aus dem Internet sammeln, gelten ebenfalls als Hochrisiko-KI-Systeme. KI-Systeme, die z.B. bestimmte Informationen von Bewerbern verifizieren sollen, können nach Ansicht der Europäischen Kommission unter die Ausnahme von Art. 6 Abs. 3 KI-VO fallen, sodass sie im Einzelfall nicht als Hochrisiko-KI gelten. Ebenso fallen unter diese Ausnahme KI-Systeme, die bestimmte Informationen aus Lebensläufen lediglich in vordefinierte Kategorien sortiert und dies keine Auswirkungen auf die Auswahl der Bewerber hat.

Einsatz im Arbeitsverhältnis

KI-Systeme, die Aufgaben verteilt und dazu individuelles Verhalten, persönliche Merkmale oder Eigenschaften von Mitarbeitern berücksichtigt, fällt ebenfalls in den Hochrisiko-Bereich. Dazu zählen z.B. die Bewertung der Anzahl von durchgeführten Lieferungen pro Stunde oder die die Zuweisung von Aufgaben an einen Mitarbeiter unter Berücksichtigung, ob er in der Vergangenheit bestimmte Schichten oder Aufgaben abgelehnt hat.

Sofern allerdings Aufgaben aufgrund von Verfügbarkeiten, dem geografischen Standort oder der erforderlichen beruflichen Qualifikation (wie z.B. die Zulassung als Rechtsanwalt oder das Vorliegens eines Führerscheins) durch ein KI-System vergeben werden, soll dies nach Ansicht der Europäischen Kommission nicht als Hochrisiko-Bereich gelten. KI-Systeme, die z.B. als Buchungssystem für Sitzplätze oder Räume in einem Unternehmen verwendet werden, fallen hingegen nicht in den Hochrisiko-Bereich. KI-Systeme, die Zeiterfassungssysteme auswerten und daraus Berichte für Vorgesetzte erstellen, fallen ggf. unter die Ausnahme in Art. 6 Abs. 3 KI-VO, wenn sie nur die von den Mitarbeitern eingegeben Zeiteinträge erfassen, aber keine Auswertung vornehmen oder Empfehlungen erteilen.

• KI-Systeme, die bestimmungsgemäß von Behörden oder in deren Namen verwendet werden sollen, um Leistungen zu gewähren
• KI-Systeme im Bereich der Strafverfolgung
• KI-System im Bereich Migration
• KI-Systeme im Bereich der Rechtspflege

Allerdings findet sich in Art. 6 Abs. 3 KI-VO eine Ausnahme, sodass selbst bei einem Einsatz in einem Hochrisiko-Bereich nach Anhang III im Einzelfall kein HRKIS vorliegen muss, sofern einer der dort genannten Ausnahmetatbestände erfüllt ist.

Die Prüfung, ob einer der Ausnahmetatbestände im Einzelfall vorliegt, ist nach Ansicht der Europäischen Kommission durch den Anbieter durchzuführen. Auch wenn dies zunächst überrascht, da vorstellbar wäre, dass sich auch der Betreiber auf diese Ausnahme berufen können sollte, wenn er das potenzielle HRKIS z.B. lediglich zur Rechtschreibprüfung und nicht zur Entscheidung über die Kündigung seiner Mitarbeiter einsetzt, stimmt dies mit dem Wortlaut der Ausnahmevorschrift überein. Denn Art. 6 Abs. 3 KI-VO stellt ebenfalls ausschließlich darauf ab, wozu das KI-System bestimmt ist, und es im Einzelfall verwendet wird.

Letztendlich wird es darauf ankommen, für welche Zwecke ein KI-System eingesetzt werden kann. Kann das KI-System z.B. lediglich Informationen in Lebensläufen erkennen und diese in einer internen Datenbank entsprechend organisieren, hat es eine klar definierte und begrenzte Funktion, sodass die Ausnahme nach Art. 6 Abs. 3 KI-VO anwendbar ist. Ist das System hingegen dazu bestimmt, die Lebensläufe auszuwerten, Scores zu vergeben und Empfehlungen auszusprechen, fällt dies nicht unter die Ausnahme, sondern gilt als HRKIS. Spannend ist die Frage, wie ein System zu bewerten ist, das die soeben genannten Funktionen umfasst, der Betreiber diese jedoch nicht einsetzt und dies technisch oder organisatorisch ausschließt. Folgt man der Ansicht der Europäischen Kommission und stellt auf den Gesetzeswortlaut ab, wonach es auf die Bestimmung des KI-Systems und damit auf den vom Anbieter gewählten Zweck ankommt, wäre ein Ausschluss von Hochrisiko-Zwecken durch den Betreiber unerheblich. Unternehmen sollten deshalb bereits bei der Beschaffung solcher KI-Systeme darauf achten, was die bestimmungsgemäßen Zwecke des KI-Systems sind, um ggf. auszuschließen, dass sie ein HRKIS verwenden.

Folgende Ausnahmetatbestande gibt es in Art. 6 Abs. 3 KI-VO:

• Das KI-System ist zur Durchführung eng gefasster Verfahrensaufgaben bestimmt: z.B. Sortierung von eingehenden Bewerbungen in vordefinierte Kategorien, ohne eine Bewertung der Geeignetheit von Bewerbern vorzunehmen.
• Das KI-System ist zur Ergebnisverbesserung von abgeschlossenen menschlichen Tätigkeiten bestimmt: Hierzu gehört z.B. die KI-basierte Rechtschreibkorrektur von bereits erstellten Texten.
• Das KI-System ist zur Erkennung von Entscheidungsmustern oder Abweichungen von früheren Entscheidungsmustern bestimmt, ohne eine menschliche Bewertung zu ersetzen oder zu beeinflussen: Als Beispiel nennt die Europäische Kommission ein KI-System, das die von einem Beamten durchgeführte Antragsprüfung nach deren Abschluss analysiert, um Entscheidungsmuster oder Abweichungen zu früheren Antragsprüfungen zum Zwecke der Qualitätsprüfung zu erkennen. Das KI-System darf allerdings keine Empfehlungen zu laufenden Fällen abgeben oder die Leistung von Mitarbeitern bewerten.
• Das KI-System ist zur Durchführung einer vorbereitenden Aufgabe für eine Bewertung bestimmt. Sofern das System allerdings eine Empfehlung abgibt oder eine Einschätzung vornimmt, ist dies nach Ansicht der Europäischen Kommission nicht mehr als vorbereitende Aufgabe anzusehen, sodass die Ausnahme nicht einschlägig ist. Als Beispiel nennt die Europäische Kommission ein KI-System, dass einem menschlichen Bearbeiter Hinweise auf einschlägige Rechtsvorschriften gibt, die für den Entscheidungsprozess relevant sind.

Die Ausnahmen sind hingegen nicht anwendbar, wenn das KI-System ein Profiling natürlicher Personen vornimmt. Hierfür ist insbesondere maßgeblich, dass personenbezogene Daten durch das KI-System verarbeitet werden und dass das System persönliche Aspekte einer natürlichen Person bewerten soll. Dies wäre nach Ansicht der Europäischen Kommission z.B. dann der Fall, wenn die persönlichen Merkmale von Personalverantwortlichen bewertet werden. Die Prüfung, ob eine Ausnahme nach Art. 6 Abs. 3 KI-VO vorliegt, ist vom Anbieter durchzuführen und muss dokumentiert werden, Art. 6 Abs. 4 KI-VO. Zudem muss das System auch dann gemäß Art. 49 Abs. 2 KI-VO in der EU-Datenbank nach Art. 71 KI-VO.

Empfehlungen für die Praxis

Die Leitlinien sind noch nicht final, sondern befinden sich derzeit im Abstimmungsprozess. Deshalb kann sich der Inhalt noch ändern, weshalb das weitere Verfahren beobachtet werden sollte. Dennoch bieten die Leitlinien auch in ihrer Entwurfsfassung schon wichtige Anhaltspunkte dafür, worauf es nach Ansicht der Europäischen Kommission bei der Bestimmung eines HRKIS ankommt. Auch wenn die Leitlinien nach ihrer Veröffentlichung keinen verbindlichen Charakter haben, bieten sie bei der Frage, ob ein KI-System im Einzelfall als HRKIS gilt, eine wichtige Argumentationsgrundlage. Aufsichtsbehörden werden sich auf die Vorgaben sicherlich stützen und auch Gerichte dürften die Leitlinien in ihren Entscheidungen sicherlich miteinfließen lassen. Unternehmen, die KI-Systeme als Anbieter entwickeln oder sie als Betreiber nutzen, sollten sich deshalb mit den Leitlinien auseinandersetzen.