Jeu de données DICES : Diversité dans l'évaluation de la sécurité des IA conversationnelles

1. Introduction

La prolifération des systèmes d'IA conversationnelle basés sur les grands modèles de langage (LLM) a fait de l'évaluation de la sécurité une préoccupation majeure. Les approches traditionnelles s'appuient souvent sur des jeux de données avec une séparation binaire claire entre contenu « sûr » et « non sûr », ce qui simplifie à l'excès la nature intrinsèquement subjective et culturellement située de la sécurité. Cet article présente le jeu de données DICES (Diversity In Conversational AI Evaluation for Safety), conçu pour capturer et analyser la variance des perceptions de la sécurité au sein de populations humaines diverses.

Le problème central abordé est la négligence de la diversité démographique et perspective dans les jeux de données de sécurité existants, ce qui peut conduire à des modèles en décalage avec les normes de groupes d'utilisateurs spécifiques et avoir « des effets indésirables voire désastreux dans des contextes réels ».

1.1. Contributions

Les principales contributions du jeu de données DICES et de ce travail sont :

• Diversité des évaluateurs : Passe de l'atténuation des « biais » à l'intégration et à la mesure de la « diversité » des opinions des évaluateurs.
• Annotation démographique fine : Inclut des informations démographiques détaillées (groupe racial/ethnique, âge, genre) pour chaque évaluateur.
• Réplication élevée par item : Chaque élément de conversation reçoit un grand nombre d'évaluations pour garantir une puissance statistique suffisante pour l'analyse par sous-groupes.
• Représentation basée sur la distribution : Encode les votes de sécurité sous forme de distributions entre groupes démographiques, permettant d'explorer différentes stratégies d'agrégation au-delà du vote majoritaire.
• Cadre pour l'analyse : Fournit une base pour établir de nouvelles métriques croisant les évaluations des évaluateurs avec les catégories démographiques.

2. Le cadre du jeu de données DICES

DICES est conçu comme une ressource partagée et un benchmark pour respecter les perspectives diverses lors de l'évaluation de la sécurité. Il va au-delà d'une étiquette de vérité unique.

2.1. Principes de conception fondamentaux

• Diversité intentionnelle : Le panel d'évaluateurs est structuré pour avoir des proportions équilibrées provenant de sous-groupes démographiques clés.
• Rigueur statistique : La réplication élevée des évaluations par élément de conversation permet une analyse robuste de l'accord, du désaccord et de la variance au sein et entre les groupes.
• Sécurité contextuelle : Les évaluations sont basées sur des conversations humain-bot, capturant la sécurité dans un contexte interactif dynamique plutôt que sur des invites isolées.

2.2. Composition et statistiques du jeu de données

3. Méthodologie technique et cadre d'analyse

L'innovation technique réside dans le traitement de la sécurité non pas comme un scalaire mais comme une distribution multidimensionnelle.

3.1. Représenter la sécurité comme une distribution

Pour un élément de conversation donné $i$, la sécurité est représentée non pas par une seule étiquette $y_i$ mais par une distribution des évaluations à travers $K$ groupes démographiques. Soit $R_{i,g}$ l'ensemble des évaluations pour l'item $i$ provenant des évaluateurs du groupe $g$. Le profil de sécurité pour l'item $i$ est le vecteur : $\mathbf{S}_i = (\bar{R}_{i,1}, \bar{R}_{i,2}, ..., \bar{R}_{i,K})$, où $\bar{R}_{i,g}$ est une tendance centrale (par ex., moyenne, médiane) des évaluations dans le groupe $g$.

Des métriques de variance comme $\sigma^2_{i,g}$ (variance intra-groupe) et $\Delta_{i, g1, g2} = |\bar{R}_{i,g1} - \bar{R}_{i,g2}|$ (désaccord inter-groupes) peuvent être calculées pour quantifier l'ambiguïté et la différence perspective.

3.2. Stratégies d'agrégation et métriques

DICES permet de comparer différentes méthodes d'agrégation d'étiquettes :

• Vote majoritaire (référence) : $y_i^{maj} = \text{mode}(\bigcup_{g=1}^{K} R_{i,g})$
• Agrégation pondérée démographiquement : $y_i^{weighted} = \sum_{g=1}^{K} w_g \cdot \bar{R}_{i,g}$, où $w_g$ pourrait être proportionnel à la taille de la population ou à d'autres poids axés sur l'équité.
• Sécurité minimale (conservatrice) : $y_i^{min} = \min(\bar{R}_{i,1}, ..., \bar{R}_{i,K})$ privilégie la perspective du groupe le plus sensible.

De nouvelles métriques comme l'Indice de Désaccord Démographique (IDD) ou le Score d'Alignement des Sous-groupes peuvent être dérivées pour mesurer comment la performance du modèle varie entre les groupes.

4. Résultats expérimentaux et principales conclusions

Bien que l'extrait PDF fourni soit une prépublication en cours d'examen et ne contienne pas les résultats complets, le cadre proposé conduit à plusieurs conclusions anticipées :

• Variance significative : Des niveaux élevés de désaccord intra-groupe et inter-groupes sur les étiquettes de sécurité pour un sous-ensemble substantiel d'éléments de conversation, remettant en cause la notion d'un standard universel de sécurité.
• Corrélats démographiques : Des différences systématiques dans les évaluations de sécurité sont observées selon l'âge, la race/l'origine ethnique et le genre pour des sujets spécifiques ou des tons conversationnels (par ex., humour, franchise, références culturelles).
• Impact de l'agrégation : Le choix de la stratégie d'agrégation (majoritaire vs pondérée vs minimale) conduit à des étiquettes de sécurité finales matériellement différentes pour 15 à 30 % des items, impactant significativement les conversations qu'un modèle serait entraîné à éviter ou à autoriser.
• Écart d'évaluation des modèles : Un modèle jugé « sûr » par un ensemble de test agrégé majoritairement peut présenter des taux d'erreur significativement plus élevés (par ex., +20 % de faux négatifs/positifs) lorsqu'il est évalué par rapport aux préférences de sous-groupes démographiques minoritaires spécifiques.

Description du graphique (conceptuel) : Un graphique à multiples facettes serait central pour présenter les résultats. Le panneau A montre une carte thermique des scores de sécurité moyens (échelle 1-5) pour 100 éléments de conversation (lignes) à travers 4 groupes démographiques (colonnes), révélant des schémas d'alignement et de désaccord. Le panneau B est un diagramme à barres comparant la décision finale « sûr/non sûr » pour 20 items ambigus sous trois stratégies d'agrégation, démontrant visuellement la conséquence du choix d'agrégation. Le panneau C trace la précision du modèle pour le groupe majoritaire contre sa précision pour un groupe minoritaire spécifique, avec de nombreux points en dessous de la ligne de parité, illustrant les disparités de performance.

5. Cadre d'analyse : une étude de cas pratique

Scénario : Une équipe de développement affine un assistant d'IA conversationnelle pour une application mondiale de service client. Elle utilise un jeu de données de sécurité standard pour filtrer les données d'entraînement. Elle souhaite maintenant utiliser DICES pour auditer l'alignement de sécurité de son modèle pour différentes bases d'utilisateurs.

Étapes d'analyse :

1. Audit de performance par sous-groupe : Exécuter le modèle sur les invites de conversation de DICES. Collecter ses réponses générées. Faire évaluer la sécurité de ces conversations générées par le modèle par un nouveau panel d'évaluateurs démographiquement diversifié (ou utiliser les évaluations originales de DICES si les invites sont similaires). Calculer la précision/rappel/F1 pour la détection de sécurité séparément pour les évaluateurs du Groupe A (par ex., 18-30 ans, Amérique du Nord) et du Groupe B (par ex., 50+ ans, Asie du Sud-Est).
2. Identifier les points chauds de désaccord : Isoler les sujets ou styles de conversation où l'écart de performance entre le Groupe A et le Groupe B est le plus grand (par ex., différence >30 % dans le taux de sécurité perçu). Cela identifie les domaines spécifiques où l'alignement de sécurité du modèle n'est pas robuste.
3. Explorer les stratégies d'agrégation : Simuler le réglage fin du modèle en utilisant des étiquettes de sécurité dérivées de DICES avec : a) le vote majoritaire, b) un schéma de pondération qui sur-représente la démographie régionale cible (Groupe B). Comparer le comportement des modèles résultants. Le cadre DICES fournit les données pour faire ce choix éclairé plutôt que de se rabattre par défaut sur la règle majoritaire.
4. Résultat : L'équipe découvre que son modèle actuel a 25 % plus de chances de générer des réponses perçues comme « insistantes » ou « non sûres » par les évaluateurs plus âgés d'Asie du Sud-Est dans des contextes de négociation. Elle décide d'utiliser une fonction de perte pondérée démographiquement lors du prochain cycle de réglage fin pour améliorer l'alignement pour ce segment d'utilisateurs clé.

6. Applications futures et axes de recherche

• Adaptation dynamique de la sécurité : Modèles capables d'inférer le contexte/démographie de l'utilisateur (avec des garanties de confidentialité appropriées) et d'adapter leurs garde-fous de sécurité/conversation en temps réel, en utilisant des cadres comme DICES comme référence pour la variance acceptable.
• Alignement d'IA personnalisé : Étendre le paradigme de la sécurité à d'autres qualités subjectives (utilité, humour, politesse) permettant aux utilisateurs de calibrer les personnalités de l'IA dans une gamme de préférences validée par la communauté.
• Formulation de politiques et normes : Informer les normes industrielles et réglementaires pour l'évaluation de la sécurité de l'IA. DICES fournit une méthodologie pour définir des seuils de « désaccord raisonnable » et pour exiger des évaluations d'impact par sous-groupe, similaires aux audits d'équité dans les algorithmes de recrutement.
• Entraînement de modèles interculturels : Utiliser activement des jeux de données comme DICES pour entraîner des modèles explicitement conscients de la diversité perspective, potentiellement via un apprentissage multi-tâches ou des architectures de modélisation des préférences inspirées de l'apprentissage par renforcement à partir de retours humains (RLHF) mais avec plusieurs modèles de récompense spécifiques aux groupes.
• Études longitudinales : Suivre l'évolution des perceptions de la sécurité au sein et entre les démographies au fil du temps en réponse aux changements technologiques et sociaux, nécessitant des versions mises à jour du jeu de données DICES.

7. Références

1. Aroyo, L., et al. (2023). DICES Dataset: Diversity in Conversational AI Evaluation for Safety. arXiv preprint arXiv:2306.11247.
2. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency.
3. Gehman, S., Gururangan, S., Sap, M., Choi, Y., & Smith, N. A. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. Findings of the Association for Computational Linguistics: EMNLP 2020.
4. Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35.
5. Prabhakaran, V., Denton, E., Webster, K., & Conover, A. (2022). Creativity, Caution, and Collaboration: Understanding and Supporting Human-AI Co-creativity. Proceedings of the ACM on Human-Computer Interaction.
6. Xu, J., et al. (2020). RECAST: Enabling User Recourse and Interpretability of Toxicity Detection Models with Interactive Visualization. Proceedings of the ACM on Human-Computer Interaction.

8. Analyse d'expert : Idée centrale, logique, forces & faiblesses, pistes d'action