In seinem Tätigkeitsbericht für das Jahr 2024 hat sich der Landesbeauftragte für den Datenschutz und Informationsfreiheit Baden-Württemberg (LfDI BaWü) unter anderem auch zum Thema Künstliche Intelligenz (KI) geäußert.

Insbesondere wird im Tätigkeitsbericht der Einsatz von KI in Schulen thematisiert (siehe S. 112 ff.). Die dort genannten Vorgaben lassen sich zum Großteil jedoch auch auf andere Sachverhalte anwenden.

Keine Entscheidungsfindung durch KI

Zunächst weist der LfDI BaWü darauf hin, dass rechtlich relevante Entscheidungen nicht ausschließlich auf Basis einer KI getroffen werden dürfen, was bereits aus Art. 22 DSGVO folgt. Allerdings ist auch bei sogenannten „Automation Bias“ Vorsicht geboten. Darunter zu verstehen ist der Umstand, dass Menschen dazu neigen, die Ergebnisse einer KI unkritisch oder ungeprüft zu übernehmen. Insofern wären Korrekturvorschläge oder ein Vorschlag zur Notenvergabe ggf. schon als maßgebliche Beeinflussung anzusehen und würden damit unter Art. 22 DSGVO fallen. Denn der Grat zwischen einem unverbindlichen Vorschlag und einer konkreten Vorgabe ist schmal und der Nachweis schwierig. Aus unserer Sicht sollte deshalb eine initiale Entscheidung stets von einem Menschen getroffen und erst in einem zweiten Schritt mithilfe der KI kritisch hinterfragt werden, um einen Verstoß gegen Art. 22 DSGVO zu verhindern.

Verwendung von Hochrisiko KI-Systemen

Zudem weist der LfDI BaWü darauf hin, dass es sich bei dem Einsatz von KI-Systemen zur Bewertung von Lernergebnissen gemäß Art. 6 Abs. 2 i.V.m. Anhang III Nr. 3 KI-VO um Hochrisiko-KI-Systeme handelt. Auch ist im Hinblick auf Art. 25 Abs. 1 lit. c KI-VO Vorsicht für Betreiber von sogenannten KI-Systemen mit allgemeinem Verwendungszweck geboten. Denn der Einsatz solcher KI-Systeme für die in Anhang III genannten Zwecke (z.B. Bewertung von Schülern oder auch Bewertung von Beschäftigten) führt dazu, dass der Betreiber eines KI-Systems mit allgemeinem Verwendungszweck zum Anbieter wird und dann die entsprechenden Pflichten zu erfüllen hat.

Keine Verarbeitung von Daten Minderjähriger

Da es sich bei den betroffenen Personen im Schulbereich überwiegend um Minderjährige handeln wird, betont der LfDI BaWü die hohen datenschutzrechtlichen Schutzerfordernisse und empfiehlt, auf eine Verarbeitung personenbezogener Daten zu verzichten, da die Sicherstellung von Betroffenenrechten aktuell technisch nicht ausreichend umgesetzt werden kann, weshalb vor allem auch ein Training von KI-Modellen mit solchen Daten unterlassen werden sollte. Diese Vorgabe sollte ebenfalls allgemein und nicht nur für den Kontext Schule verstanden werden. Denn für Verantwortliche dürfte sowohl das Einholen einer Einwilligung aufgrund von Art. 7 und 8 DSGVO als auch die berechtigten Interessen als Rechtsgrundlage wegen der hohen Schutzbedürftigkeit von Minderjährigen nur schwer zu begründen sein.

Kein Verbot von KI-Systemen in der Schule

Trotz der Vorgaben und Einschränkungen weist der LfDI BaWü auch darauf hin, dass es KI-Systeme gibt, die unproblematisch im Schulbereich eingesetzt werden können. Das gilt vor allem für solche Systeme, die Schüler lediglich beim Lernen unterstützen, ohne eine Bewertung vorzunehmen. Hingegen sind adaptive Lernsysteme zur Steuerung des Lernprozesses, etwa durch Analyse des Lernverhaltens und darauf basierende personalisierte Lernempfehlungen, nach Anhang III Nr. 3b KI-VO als Hochrisiko-KI-Systeme einzustufen. Dementsprechend sollte stets geprüft werden, ob der Einsatz nach der KI-VO tatsächlich als unproblematisch eingestuft werden kann oder ob unter den Voraussetzungen von Art. 6 Abs. 2 und 3 i.V.m. Anhang III Nr. 3 KI-VO nicht doch ein Hochrisiko-KI-System im Einzelfall vorliegt.

Generell gilt nach dem risikobasierten Ansatz der KI-VO für Anbieter und Betreiber, dass es durchaus viele KI-Systeme gilt, die kein besonderes Risiko darstellen und dementsprechend kaum Regelungen nach der KI-VO unterliegen.

Ungeachtet dessen gilt sowohl für den schulischen Bereich als auch für den generellen Einsatz von KI die Pflicht zur Sicherstellung von KI-Kompetenz nach Art. 4 KI-VO, um KI-Systeme sachkundig einsetzen zu können.

Anforderungen bzgl. Auftragsverarbeitung und Drittstaatentransfer

Sofern Schulen externe KI-Systeme im Rahmen einer Auftragsverarbeitung verwenden, ist nach Ansicht des LfDI BaWü sicherzustellen, dass keine personenbezogenen Daten für eigene Zwecke des Anbieters verarbeitet werden, was bereits aus Art. 28 Abs. 10 DSGVO folgt. Auch diese Anforderung gilt für sämtliche Verwendungen von KI-Systemen auf Basis einer Auftragsverarbeitung, sodass zum Beispiel Betreiber stets darauf achten sollten, dass sich Anbieter in den Vertragsbedingungen kein Recht zur Verwendung personenbezogener Daten zu Trainingszwecken einräumen.

In Bezug auf eine mögliche Verarbeitung in Drittstaaten gilt, dass diesbezüglich die Anforderungen in den Art. 44 ff. DSGVO zu beachten sind.

Rechtsgrundlage für den öffentlichen Bereich

Im Hinblick auf die Verwendung von KI-Systemen in Schulen weist der LfDI BaWü darauf hin, dass aufgrund der Eingriffstiefe eine spezielle Ermächtigungsgrundlage erforderlich sei und eine Generalklausel, wie § 4 LDSG Baden-Württemberg grundsätzlich nicht ausreiche. Zudem seien spezielle Vorgaben des nationalen (Landes-)Rechts zu beachten, wie etwa § 115b Abs. 9 Schulgesetz Baden-Württemberg. Danach sei der Einsatz automatisierter, anpassungsfähiger Verfahren zum Zweck der technischen Unterstützung und Förderung des individuellen Lernweges nach der Rechtsverordnung der obersten Schulaufsichtsbehörde zulässig. Hierunter fällt allerdings weder die Feststellung noch die Bewertung der Leistung der Schüler.

An anderer Stelle im Tätigkeitsbericht (siehe S. 15) weist der LfDI BaWü noch darauf hin, dass z.B. die Bundesländer Schleswig-Holstein (IT-Einsatz-Gesetz) und Hamburg (Verwaltungsdigitalisierungsgesetz) gesonderte Rechtsgrundlagen für den Einsatz von KI-Systemen in der öffentlichen Verwaltung geschaffen haben. Dass der Einsatz von KI-Systemen zur Datenverarbeitung im öffentlichen Bereich kompliziert ist, wird an anderer Stelle im Tätigkeitsbericht deutlich. Beim Thema Videoüberwachung im Schwimmbad (siehe S. 109 f.) kann die Aufzeichnung der Videoaufnahmen zwar auf § 18 Abs. 1 LDSG BaWü gestützt werden. Nach Ansicht des LfDI BaWü kann die weitere Verarbeitung der Aufnahme durch ein KI-System zur Erkennung kritischer Situationen (z.B. Gefahr des Ertrinkens) nicht darauf gestützt werden.

Transkription von Online-Veranstaltungen

Der LfDI BaWü berichtet ferner von einer Beratungsanfrage zur Nutzung einer Anwendung, die gesprochene Inhalte in Echtzeit aufzeichnet und automatisch in einen geschriebenen Text umwandelt (siehe S. 134 f.). Nach Ansicht des LfDI BaWü wird der Verwender eines solchen Tools regelmäßig Verantwortlicher i.S.d. Art. 4 Nr. 7 DSGVO sein, während der Anbieter Auftragsverarbeiter nach Art. 4 Nr. 7 DSGVO sein wird. Dass eine Nutzung der personenbezogenen Daten zu eigenen (Trainings-)Zwecken unterbleibt, ist auch hier zu beachten und wenn möglich, vertraglich und technisch (z.B. Deaktivierung des KI-Trainingsmodus) sicherzustellen. Weiterhin müssen die betroffenen Personen vor der Datenverarbeitung über den Einsatz des KI-Tools und über den Zweck der Aufnahme und Transkription informiert werden, z.B. bereits mit der Einladung zur Veranstaltung und durch ein Pop-up-Fenster während des Meetings vor Beginn der Aufzeichnung. Als Rechtsgrundlage kommen die Einwilligung sowie die berechtigten Interessen in Betracht, wobei Ersteres vor allem dann die passende Legitimation ist, wenn es um die Verarbeitung besonderer Kategorien personenbezogener Daten geht. Eine Einwilligung wird auch vor dem Hintergrund von § 201 StGB notwendig sein, da die unbefugte Aufzeichnung des nichtöffentlich gesprochenen Wortes strafbar ist. Diesbezüglich reicht jedoch nach Ansicht des LfDI BaWü eine zumindest stillschweigende oder mutmaßliche Einwilligung aus.

Fazit

Der Tätigkeitsbericht des LfDI BaWü zeigt, dass die Aufsichtsbehörden den Einsatz von Künstlicher Intelligenz als datenschutzrechtliches Thema aktiv verfolgen sowie Unternehmen und öffentlichen Stellen beratend zur Seite stehen. Aus den Tätigkeitsberichten und Stellungnahmen lassen sich wertvolle Hinweise und allgemeine Maßstäbe für die Praxis entnehmen, die bei der Umsetzung des eigenen KI-Projekts herangezogen werden können.