Sollen Polizeibehörden Gesichtserkennung einsetzen können, wenn sie mit einem Schild davor gewarnt haben? Macht es für Empfänger:innen von Sozialhilfe einen Unterschied, ob sie mit einem KI-System Probleme kriegen oder mit klassischer Software? Die Zivilgesellschaft hätte dazu gerne mehr Klarheit von der EU-Kommission.
Die EU-Kommission soll dafür sorgen, dass die Verbote aus der europäischen KI-Verordnung möglichst umfangreich ausgelegt werden. Das fordert eine Koalition aus zivilgesellschaftlichen Organisationen in einer heute veröffentlichten Stellungnahme. Sie bezieht sich auf Leitlinien, an denen die Kommission momentan noch arbeitet.
Diese Leitlinien sollen dafür sorgen, dass auch „einfachere“ Systeme von den Regeln der KI-Verordnung betroffen sind, fordern die Organisationen. Die Kommission soll auch klarstellen, welche Arten von Systemen die verbotenen „inakzeptablen“ Risiken für Grundrechte haben. Außerdem sollen Grundrechte die zentrale Basis dafür sein, wie die KI-Verordnung praktisch umgesetzt wird.
Arbeit an Details läuft weiter
Die Europäische Union hat lange an ihren Regeln für Künstliche Intelligenz gefeilt. Intensiv diskutiert wurde etwa die Frage, welche Einsätze von KI in Europa ganz verboten werden sollten. Dabei ging es etwa um die biometrische Gesichtserkennung oder das sogenannte „Predictive Policing“. Die fertige KI-Verordnung schränkt beide Praktiken zwar ein, verbietet sie aber nicht ganz.
Die Verordnung selbst ist seit bald einem Jahr beschlossen und trat auch schon vor einigen Monaten in Kraft. Aber Obacht: Bei EU-Gesetzen heißt das nicht, dass alle ihre Regeln auch direkt gelten.
Zuvor gibt es noch einiges fertigzustellen. Zum Beispiel die sogenannten „Praxisleitfäden“, die genaue Regeln für KI-Modelle mit allgemeinem Verwendungszweck wie GPT-4 festlegen sollen. An denen arbeiten gerade die Anbieter solcher Modelle, andere Unternehmen und Vertreter:innen der Zivilgesellschaft unter Aufsicht der EU-Kommission. Bis April soll es einen fertigen Text geben.
Die Verbote gelten ab dem 2. Februar. Bis dahin will die EU-Kommission noch Leitlinien veröffentlichen, die Unternehmen dabei helfen sollen, sie einzuhalten. Außerdem will sie noch klarstellen, was genau denn ein KI-System überhaupt ist – und welche Systeme deshalb von der KI-Verordnung betroffen sein werden.
Ergebnis soll zählen, nicht die Art der Software
Auf diese Leitlinien bezieht sich nun die zivilgesellschaftliche Koalition, an der unter anderem European Digital Rights (EDRi), Access Now, AlgorithmWatch und Article 19 beteiligt sind. Caterina Rodelli von Access Now hält die Leitlinien für ein „zentrales Werkzeug“, um mangelhafte Menschenrechtsregeln der Verordnung noch auszubessern.
Die erste Forderung der Koalition bezieht sich auf „einfachere“ Software. „Wir sind besorgt, dass Entwickler:innen vielleicht die Definition von KI und die Einstufung von Hochrisiko-KI-Systemen ausnutzen können, um die Verpflichtungen der KI-Verordnung zu umgehen“, schreiben die Organisation. Unternehmen könnten ihre KI-Systeme zu normaler, regelbasierter Software umwandeln und so nicht mehr vom Gesetz betroffen sein, obwohl es die gleichen Risiken geben würde.
Die Organisationen fordern deshalb, dass sich Gesetze an möglichem Schaden orientieren sollten, nicht an den genutzten technischen Mitteln. Sie beziehen sich auf das Beispiel des niederländischen SyRI-Systems. Dieses System beschuldigte Empfänger:innen von Sozialhilfe fälschlicherweise des Betrugs und beeinträchtigte so Tausende von Familien. Der Skandal führte 2021 zum Sturz der damaligen niederländischen Regierung.
Dabei wirkte das zugrundeliegende System einfach und erklärbar, betont das Statement. Die Auswirkungen auf eine Vielzahl an Personen waren trotzdem verheerend.
Mehr Systeme einbeziehen
Die Koalition fordert außerdem, dass die Leitlinien marginalisierte Gruppen besser schützen sollen. Dafür soll die Kommission ausdehnen, welche Fälle unter die verbotenen „inakzeptablen“ Risiken für die Grundrechte fallen.
So soll das Verbot von „Social Scoring“ etwa auf Anwendungen ausgedehnt werden, die heute in Europa schon gang und gäbe sind: Etwa für Empfänger:innen von Sozialhilfe, wie im niederländischen Fall, oder für Migrant:innen. Die Leitlinien sollten deshalb etwa Daten schützen, die über Bande Informationen wie die Ethnie oder den sozioökonomischen Status preisgeben könnten, wie zum Beispiel die Postleitzahl.
Das Verbot für „Predictive Policing“ soll eine weite Bandbreite an Systemen einbeziehen, die kriminalisiertes Verhalten vorhersagen sollen. Im Verbot des allgemeinen Scrapens von Gesichtsbildern sehen die Organisationen einige Schlupflöcher, die sie gerne geschlossen haben würden. Außerdem soll eine Definition einer Gesichtsbild-Datenbank gelöscht werden, weil durch diese Anbieter wie Pimeyes oder Clearview außen vor bleiben würden.
Löcher schließen bei der Gesichtserkennung
Bei den Verhandlungen zur KI-Verordnung wollte das Europäische Parlament ein umfassendes Verbot von Systemen zur Emotionserkennung durchsetzen, ist damit aber gescheitert. Die Leitlinien sollen nun zumindest klar zwischen echten medizinischen Geräten wie Herzmonitoren und Geräten wie „Aggressionsdetektoren“ unterscheiden, fordern die Organisationen – denn medizinische Geräte sind von den Verboten ausgenommen.
Außerdem sollen die Leitlinien die Regeln für automatisierte Gesichtserkennung verschärfen. Auch in Deutschland gab es schon Forderungen, einige der in der KI-Verordnung dafür offen gelassenen Schlupflöcher zu schließen. Auf europäischer Ebene fordert die zivilgesellschaftliche Koalition nun, dass die Entwicklung von Gesichtserkennungssystemen für den Export unter das Verbot fallen soll. Zudem soll es nicht ausreichen, wenn Behörden nur mit einem Schild auf Zonen hinweisen, in denen Gesichtserkennung genutzt wird. Videoaufzeichnungen sollen erst nach 24 Stunden biometrisch ausgewertet werden dürfen.
In Zukunft bitte mehr Zeit
Eine Menge Wünsche für die Leitlinien – die Koalition hat aber auch noch einige Kritik für deren Entstehen übrig. Der Prozess sei nicht vorher angekündigt worden, habe kurze Fristen gelassen, es sei kein Entwurf veröffentlicht worden, schreiben sie. Außerdem seien manche der Fragen suggestiv formuliert gewesen. So habe die Kommission etwa nur nach Systemen gefragt, die aus der Definition von KI ausgeschlossen werden sollten, und nicht nach Systemen, für die die Regeln gelten sollten, bemängeln die Organisationen.
Das Statement fordert deshalb die Kommission auf, in Zukunft die Zivilgesellschaft besser einzubeziehen. „Die EU-Kommission muss Interessengruppen mit begrenzten Ressourcen eine Stimme geben, und dafür muss sie längere Zeiträume für so umfassende Befragungen vorsehen“, so Nikolett Aszodi von AlgorithmWatch.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.