---
name: bias-und-diskriminierung-pruefung
description: "Bias-Quellen in KI-Systemen, AGG-Relevanz bei der Bewerberauswahl in Kanzleien, Prüfverfahren für diskriminierende KI-Outputs und Schulungsanforderungen für Mitarbeitende im Umgang mit vorurteilsbehafteten KI-Ergebnissen."
---

# Bias und Diskriminierung Prüfung

KI-Systeme werden auf Basis großer Textmengen trainiert, die Verzerrungen und gesellschaftliche Vorurteile enthalten können. Diese „Bias" können sich in den Outputs der KI-Systeme widerspiegeln und zu Diskriminierungen führen — besonders kritisch bei Personalentscheidungen, aber auch bei der Mandantenberatung zu diskriminierungsrechtlichen Fragen. Kanzleien müssen ihre Mitarbeitenden befähigen, Bias zu erkennen und zu korrigieren.

## Rechtlicher Hintergrund

§§ 1, 7 AGG (Allgemeines Gleichbehandlungsgesetz): Diskriminierungsverbot aufgrund von Rasse, Geschlecht, Religion, Behinderung, Alter oder sexueller Identität — gilt für Beschäftigung und privatrechtliche Verträge, damit auch für Mandatsbeziehungen. Art. 9 DSGVO: Besonders sensible Datenkategorien — rassische/ethnische Herkunft, religiöse Überzeugungen etc. — dürfen nicht Grundlage von Entscheidungen sein. Art. 10 Abs. 5 KI-VO: Hochrisiko-KI-Systeme müssen auf Bias geprüft werden; für Kanzleien gilt dies indirekt beim Einsatz von KI im Personalwesen (Anhang III Nr. 4). Art. 22 DSGVO: Keine ausschließlich automatisierten Entscheidungen mit diskriminierender Wirkung. BAG-Rechtsprechung zum AGG: Der Nachweis einer Benachteiligung kann durch statistische Indizien erbracht werden.

## Vorgehen

1. **Bias-Quellen verstehen**: KI-Systeme können systematisch bestimmte Gruppen bevorzugen oder benachteiligen — je nach Trainingsdaten, Aufgabenstellung und Prompt-Formulierung.
2. **Kritische Kontexte identifizieren**: Besonders anfällig: Bewerberauswahl, Beurteilung von Vertragsparteien, Formulierung von Texten zu diskriminierungsrechtlichen Themen.
3. **KI-Output auf Bias prüfen**: Enthält der Text unangemessene Verallgemeinerungen, stereotypische Formulierungen oder einseitige Bewertungen bestimmter Gruppen?
4. **AGG-Compliance bei Personalentscheidungen**: Stellt eine KI-Vorauswahl von Bewerbungen sicher, dass alle nach AGG geschützten Merkmale ausgeschlossen werden? Prüfung durch beauftragte Personalverantwortliche.
5. **Mitarbeitende schulen**: Schulungsmodul zu Bias-Erkennung entwickeln; konkrete Beispiele aus der juristischen Praxis verwenden.
6. **Interne Meldepflicht**: Bei festgestelltem Bias im KI-Output ist dieser intern zu melden und der Output nicht zu verwenden.

## Vorlagentext / Bausteine

**Baustein Bias-Sensibilisierung:**
KI-Systeme können aufgrund ihrer Trainingsdaten vorurteilsbehaftete Inhalte erzeugen, die gegen das AGG oder andere Diskriminierungsverbote verstoßen. Mitarbeitende sind angewiesen, KI-generierte Texte auf diskriminierende Formulierungen, Stereotypen oder einseitige Bewertungen zu prüfen. Derartige Inhalte sind zu löschen und intern zu melden. Eine Weiterverwendung ist nicht zulässig.

**Baustein AGG-Compliance Personalwesen:**
Beim Einsatz von KI-Systemen bei der Vorauswahl von Bewerbungen oder bei sonstigen Personalentscheidungen stellt die Kanzlei sicher, dass die nach § 1 AGG geschützten Merkmale (Rasse, ethnische Herkunft, Geschlecht, Religion oder Weltanschauung, Behinderung, Alter, sexuelle Identität) keine Rolle spielen. KI-generierte Bewerbungsbewertungen werden ausnahmslos von einer qualifizierten Personalverantwortlichen oder einem qualifizierten Personalverantwortlichen überprüft, bevor eine Entscheidung getroffen wird.

**Baustein Meldeverfahren:**
Stellt eine Mitarbeiterin oder ein Mitarbeiter fest, dass KI-generierter Output diskriminierende oder anderweitig problematische Inhalte enthält, ist dies unverzüglich an [Name Datenschutzbeauftragter/Compliance-Verantwortlicher] zu melden. Der fehlerhafte Output ist zu dokumentieren und nicht zu verwenden.

## Hinweise zur Aktualisierung

Die KI-Forschung zum Thema Bias entwickelt sich rasch weiter. Neue Erkenntnisse zur Bias-Anfälligkeit bestimmter KI-Systeme sollten in Schulungen aufgenommen werden. BAG-Entscheidungen zum AGG im Kontext von KI-Personalauswahl sowie Leitlinien der EU-Kommission zur Gleichbehandlung beim KI-Einsatz sind zu beobachten.