DICES-Datensatz: Vielfalt in der Sicherheitsbewertung von Konversations-KI

1. Einleitung

Die Verbreitung von auf großen Sprachmodellen (LLMs) basierenden Konversations-KI-Systemen hat die Sicherheitsbewertung zu einem kritischen Anliegen gemacht. Traditionelle Ansätze stützen sich oft auf Datensätze mit einer klaren binären Trennung zwischen "sicheren" und "unsicheren" Inhalten, was die inhärent subjektive und kulturell situierte Natur von Sicherheit zu stark vereinfacht. Dieses Papier stellt den DICES (Diversity In Conversational AI Evaluation for Safety)-Datensatz vor, der konzipiert wurde, um die Varianz in den Sicherheitswahrnehmungen verschiedener Bevölkerungsgruppen zu erfassen und zu analysieren.

Das Kernproblem, das angegangen wird, ist die Vernachlässigung demografischer und perspektivischer Vielfalt in bestehenden Sicherheitsdatensätzen, was zu Modellen führen kann, die nicht mit den Normen bestimmter Nutzergruppen übereinstimmen und "unerwünschte oder sogar katastrophale Auswirkungen in realen Anwendungsszenarien" haben.

1.1. Beiträge

Die primären Beiträge des DICES-Datensatzes und dieser Arbeit sind:

• Vielfalt der Bewerter: Verlagerung des Fokus von der Minderung von "Bias" hin zur Einbeziehung und Messung von "Vielfalt" in den Meinungen der Bewerter.
• Feingranulare demografische Annotation: Enthält detaillierte demografische Informationen (ethnische/rassische Gruppe, Alter, Geschlecht) für jeden Bewerter.
• Hohe Replikation pro Item: Jedes Konversations-Item erhält eine große Anzahl von Bewertungen, um statistische Aussagekraft für Subgruppenanalysen zu gewährleisten.
• Verteilungsbasierte Darstellung: Kodiert Sicherheitsabstimmungen als Verteilungen über demografische Gruppen hinweg und ermöglicht so die Erforschung verschiedener Aggregationsstrategien jenseits der Mehrheitsentscheidung.
• Framework für Analysen: Bietet eine Grundlage für die Etablierung neuer Metriken, die Bewerterbewertungen mit demografischen Kategorien in Beziehung setzen.

2. Das DICES-Datensatz-Framework

DICES ist als gemeinsame Ressource und Benchmark konzipiert, um während der Sicherheitsbewertung vielfältige Perspektiven zu berücksichtigen. Es geht über ein einzelnes Grundwahrheits-Label hinaus.

2.1. Kern-Designprinzipien

• Gezielte Vielfalt: Der Bewerterpool ist so strukturiert, dass er ausgewogene Anteile aus wichtigen demografischen Subgruppen aufweist.
• Statistische Strenge: Hohe Replikation der Bewertungen pro Konversations-Item ermöglicht robuste Analysen von Übereinstimmung, Meinungsverschiedenheit und Varianz innerhalb und zwischen Gruppen.
• Kontextuelle Sicherheit: Bewertungen basieren auf Mensch-Bot-Konversationen und erfassen Sicherheit in einem dynamischen, interaktiven Kontext anstatt bei isolierten Prompts.

2.2. Datensatzzusammensetzung & Statistik

3. Technische Methodik & Analyse-Framework

Die technische Innovation liegt darin, Sicherheit nicht als Skalar, sondern als mehrdimensionale Verteilung zu behandeln.

3.1. Sicherheit als Verteilung darstellen

Für ein gegebenes Konversations-Item $i$ wird Sicherheit nicht durch ein einzelnes Label $y_i$ dargestellt, sondern durch eine Verteilung der Bewertungen über $K$ demografische Gruppen hinweg. Sei $R_{i,g}$ die Menge der Bewertungen für Item $i$ von Bewertern der Gruppe $g$. Das Sicherheitsprofil für Item $i$ ist der Vektor: $\mathbf{S}_i = (\bar{R}_{i,1}, \bar{R}_{i,2}, ..., \bar{R}_{i,K})$, wobei $\bar{R}_{i,g}$ ein zentraler Trend (z.B. Mittelwert, Median) der Bewertungen in Gruppe $g$ ist.

Varianzmetriken wie $\sigma^2_{i,g}$ (Varianz innerhalb der Gruppe) und $\Delta_{i, g1, g2} = |\bar{R}_{i,g1} - \bar{R}_{i,g2}|$ (Meinungsverschiedenheit zwischen Gruppen) können berechnet werden, um Mehrdeutigkeit und perspektivische Unterschiede zu quantifizieren.

3.2. Aggregationsstrategien & Metriken

DICES ermöglicht den Vergleich verschiedener Label-Aggregationsmethoden:

• Mehrheitsentscheidung (Baseline): $y_i^{maj} = \text{mode}(\bigcup_{g=1}^{K} R_{i,g})$
• Demografisch gewichtete Aggregation: $y_i^{weighted} = \sum_{g=1}^{K} w_g \cdot \bar{R}_{i,g}$, wobei $w_g$ proportional zur Bevölkerungsgröße oder anderen auf Gerechtigkeit fokussierten Gewichten sein könnte.
• Minimale Sicherheit (Konservativ): $y_i^{min} = \min(\bar{R}_{i,1}, ..., \bar{R}_{i,K})$ priorisiert die Perspektive der sensibelsten Gruppe.

Neue Metriken wie der Demographic Disagreement Index (DDI) oder der Subgroup Alignment Score können abgeleitet werden, um zu messen, wie sich die Modellleistung über Gruppen hinweg unterscheidet.

4. Experimentelle Ergebnisse & Kernaussagen

Während der bereitgestellte PDF-Auszug ein zur Begutachtung eingereichtes Preprint ist und keine vollständigen Ergebnisse enthält, führt das vorgeschlagene Framework zu mehreren erwarteten Erkenntnissen:

• Signifikante Varianz: Hohe Grade von Meinungsverschiedenheiten innerhalb von Gruppen und zwischen Gruppen bezüglich der Sicherheits-Labels für eine beträchtliche Teilmenge von Konversations-Items, was die Vorstellung eines universellen Sicherheitsstandards infrage stellt.
• Demografische Korrelationen: Systematische Unterschiede in den Sicherheitsbewertungen werden für bestimmte Themen oder Konversationstöne (z.B. Humor, Direktheit, kulturelle Referenzen) entlang von Alters-, ethnischen/rassischen und Geschlechterlinien beobachtet.
• Auswirkung der Aggregation: Die Wahl der Aggregationsstrategie (Mehrheit vs. gewichtet vs. Minimum) führt für 15-30% der Items zu wesentlich unterschiedlichen endgültigen Sicherheits-Labels, was erheblich beeinflusst, welche Konversationen ein Modell lernen würde zu vermeiden oder zu erlauben.
• Modellbewertungslücke: Ein Modell, das anhand eines mehrheitsaggregierten Testdatensatzes als "sicher" eingestuft wird, kann signifikant höhere Fehlerraten (z.B. +20% falsch negative/positive Ergebnisse) aufweisen, wenn es anhand der Präferenzen spezifischer demografischer Minderheitensubgruppen bewertet wird.

Diagrammbeschreibung (Konzeptionell): Ein facettenreiches Diagramm wäre zentral für die Präsentation der Ergebnisse. Panel A zeigt eine Heatmap der durchschnittlichen Sicherheitswerte (Skala 1-5) für 100 Konversations-Items (Zeilen) über 4 demografische Gruppen (Spalten) hinweg und offenbart Muster von Übereinstimmung und Meinungsverschiedenheit. Panel B ist ein Balkendiagramm, das die endgültige "sicher/unsicher"-Einstufung für 20 mehrdeutige Items unter drei Aggregationsstrategien vergleicht und die Konsequenz der Aggregationswahl visuell demonstriert. Panel C stellt die Präzision des Modells für die Mehrheitsgruppe gegen seine Präzision für eine spezifische Minderheitengruppe dar, wobei viele Punkte unterhalb der Paritätslinie liegen und Leistungsunterschiede veranschaulichen.

5. Analyse-Framework: Eine praktische Fallstudie

Szenario: Ein Entwicklungsteam feintuned einen Konversations-KI-Assistenten für eine globale Kundenservice-Anwendung. Es verwendet einen Standard-Sicherheitsdatensatz, um Trainingsdaten zu filtern. Nun möchte es DICES nutzen, um die Sicherheitsausrichtung seines Modells für verschiedene Nutzerbasen zu überprüfen.

Analyseschritte:

1. Subgruppenleistungsaudit: Führen Sie das Modell mit den DICES-Konversationsprompts aus. Sammeln Sie die generierten Antworten. Lassen Sie einen neuen, demografisch vielfältigen Bewerterpool (oder verwenden Sie die ursprünglichen DICES-Bewertungen, wenn die Prompts ähnlich sind) die Sicherheit dieser modellgenerierten Konversationen bewerten. Berechnen Sie Präzision/Recall/F1 für die Sicherheitserkennung separat für Bewerter in Gruppe A (z.B. Alter 18-30, Nordamerika) und Gruppe B (z.B. Alter 50+, Südostasien).
2. Identifizierung von Konfliktpunkten: Isolieren Sie Konversationsthemen oder -stile, bei denen die Leistungslücke zwischen Gruppe A und Gruppe B am größten ist (z.B. >30% Unterschied in der wahrgenommenen Sicherheitsrate). Dies identifiziert spezifische Bereiche, in denen die Sicherheitsausrichtung des Modells nicht robust ist.
3. Erkundung von Aggregationsstrategien: Simulieren Sie das Feintuning des Modells unter Verwendung von Sicherheits-Labels, die aus DICES abgeleitet wurden, mit: a) Mehrheitsentscheidung, b) Einem Gewichtungsschema, das die Zielregion-Demografie (Gruppe B) überrepräsentiert. Vergleichen Sie das Verhalten der resultierenden Modelle. Das DICES-Framework liefert die Daten, um diese informierte Wahl zu treffen, anstatt sich standardmäßig auf die Mehrheitsregel zu verlassen.
4. Ergebnis: Das Team stellt fest, dass ihr aktuelles Modell in Verhandlungskontexten mit 25% höherer Wahrscheinlichkeit Antworten generiert, die von älteren südostasiatischen Bewertern als "aufdringlich" oder "unsicher" wahrgenommen werden. Sie entscheiden sich, in der nächsten Feintuning-Runde eine demografisch gewichtete Verlustfunktion zu verwenden, um die Ausrichtung für diese wichtige Nutzersegmente zu verbessern.

6. Zukünftige Anwendungen & Forschungsrichtungen

• Dynamische Sicherheitsanpassung: Modelle, die Benutzerkontext/Demografie (mit angemessenen Datenschutzvorkehrungen) ableiten und ihre Sicherheits-/Konversationsgrenzen in Echtzeit anpassen können, indem sie Frameworks wie DICES als Nachschlagewerk für akzeptable Varianz verwenden.
• Personalisierte KI-Ausrichtung: Ausweitung des Paradigmas von Sicherheit auf andere subjektive Qualitäten (Hilfsbereitschaft, Humor, Höflichkeit), die es Nutzern ermöglicht, KI-Persönlichkeiten innerhalb eines gemeinschaftlich validierten Präferenzbereichs zu kalibrieren.
• Politik- & Standardformulierung: Informierung von Industrie- und Regulierungsstandards für die KI-Sicherheitsbewertung. DICES bietet eine Methodik zur Definition von Schwellenwerten für "vernünftige Meinungsverschiedenheit" und zur Verpflichtung von Subgruppenwirkungsanalysen, ähnlich Fairness-Audits bei Einstellungsalgorithmen.
• Interkulturelles Modelltraining: Aktive Nutzung von Datensätzen wie DICES, um Modelle zu trainieren, die sich der perspektivischen Vielfalt explizit bewusst sind, möglicherweise durch Multi-Task-Learning oder Präferenzmodellierungsarchitekturen, die vom Reinforcement Learning from Human Feedback (RLHF) inspiriert sind, aber mit mehreren, gruppenspezifischen Belohnungsmodellen.
• Längsschnittstudien: Verfolgung, wie sich Sicherheitswahrnehmungen innerhalb und über Demografien hinweg im Laufe der Zeit als Reaktion auf technologische und soziale Veränderungen entwickeln, was aktualisierte Versionen des DICES-Datensatzes erfordert.

7. Referenzen

1. Aroyo, L., et al. (2023). DICES Dataset: Diversity in Conversational AI Evaluation for Safety. arXiv preprint arXiv:2306.11247.
2. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency.
3. Gehman, S., Gururangan, S., Sap, M., Choi, Y., & Smith, N. A. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. Findings of the Association for Computational Linguistics: EMNLP 2020.
4. Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35.
5. Prabhakaran, V., Denton, E., Webster, K., & Conover, A. (2022). Creativity, Caution, and Collaboration: Understanding and Supporting Human-AI Co-creativity. Proceedings of the ACM on Human-Computer Interaction.
6. Xu, J., et al. (2020). RECAST: Enabling User Recourse and Interpretability of Toxicity Detection Models with Interactive Visualization. Proceedings of the ACM on Human-Computer Interaction.

8. Expertenanalyse: Kernaussage, Logischer Aufbau, Stärken & Schwächen, Umsetzbare Erkenntnisse