Conjunto de Dados DICES: Diversidade na Avaliação de Segurança de IA Conversacional

1. Introdução

A proliferação de sistemas de IA conversacional baseados em Modelos de Linguagem de Grande Escala (LLMs) tornou a avaliação de segurança uma preocupação crítica. As abordagens tradicionais frequentemente dependem de conjuntos de dados com uma separação binária clara entre conteúdo "seguro" e "inseguro", o que simplifica excessivamente a natureza inerentemente subjetiva e culturalmente situada da segurança. Este artigo apresenta o conjunto de dados DICES (Diversidade na Avaliação de IA Conversacional para Segurança), projetado para capturar e analisar a variação nas percepções de segurança entre diversas populações humanas.

O problema central abordado é a negligência da diversidade demográfica e perspectival nos conjuntos de dados de segurança existentes, o que pode levar a modelos desalinhados com as normas de grupos de usuários específicos e ter "efeitos indesejados ou até desastrosos em cenários do mundo real".

1.1. Contribuições

As principais contribuições do conjunto de dados DICES e deste trabalho são:

• Diversidade dos Avaliadores: Muda o foco de mitigar "viés" para abraçar e medir a "diversidade" nas opiniões dos avaliadores.
• Anotação Demográfica Granular: Inclui informações demográficas detalhadas (grupo racial/étnico, idade, gênero) para cada avaliador.
• Alta Replicação por Item: Cada item de conversa recebe um grande número de avaliações para garantir poder estatístico para análise de subgrupos.
• Representação Baseada em Distribuição: Codifica os votos de segurança como distribuições entre grupos demográficos, permitindo a exploração de diferentes estratégias de agregação além do voto majoritário.
• Estrutura para Análise: Fornece uma base para estabelecer novas métricas que cruzam as avaliações dos avaliadores com categorias demográficas.

2. A Estrutura do Conjunto de Dados DICES

O DICES é construído como um recurso e referência compartilhados para respeitar diversas perspectivas durante a avaliação de segurança. Ele vai além de um único rótulo de verdade absoluta.

2.1. Princípios Centrais de Design

• Diversidade Intencional: O grupo de avaliadores é estruturado para ter proporções equilibradas de subgrupos demográficos-chave.
• Rigor Estatístico: A alta replicação de avaliações por item de conversa permite uma análise robusta de concordância, discordância e variância dentro e entre grupos.
• Segurança Contextual: As avaliações são baseadas em conversas humano-bot, capturando a segurança em um contexto dinâmico e interativo, e não em prompts isolados.

2.2. Composição e Estatísticas do Conjunto de Dados

3. Metodologia Técnica e Estrutura de Análise

A inovação técnica reside em tratar a segurança não como um escalar, mas como uma distribuição multidimensional.

3.1. Representando a Segurança como uma Distribuição

Para um determinado item de conversa $i$, a segurança é representada não por um único rótulo $y_i$, mas por uma distribuição de avaliações entre $K$ grupos demográficos. Seja $R_{i,g}$ o conjunto de avaliações para o item $i$ de avaliadores no grupo $g$. O perfil de segurança para o item $i$ é o vetor: $\mathbf{S}_i = (\bar{R}_{i,1}, \bar{R}_{i,2}, ..., \bar{R}_{i,K})$, onde $\bar{R}_{i,g}$ é uma tendência central (ex.: média, mediana) das avaliações no grupo $g$.

Métricas de variância como $\sigma^2_{i,g}$ (variância intra-grupo) e $\Delta_{i, g1, g2} = |\bar{R}_{i,g1} - \bar{R}_{i,g2}|$ (discordância inter-grupos) podem ser calculadas para quantificar ambiguidade e diferença perspectival.

3.2. Estratégias de Agregação e Métricas

O DICES permite a comparação de diferentes métodos de agregação de rótulos:

• Voto Majoritário (Linha de Base): $y_i^{maj} = \text{moda}(\bigcup_{g=1}^{K} R_{i,g})$
• Agregação Ponderada Demograficamente: $y_i^{weighted} = \sum_{g=1}^{K} w_g \cdot \bar{R}_{i,g}$, onde $w_g$ pode ser proporcional ao tamanho da população ou a outros pesos focados em equidade.
• Segurança Mínima (Conservadora): $y_i^{min} = \min(\bar{R}_{i,1}, ..., \bar{R}_{i,K})$ prioriza a perspectiva do grupo mais sensível.

Novas métricas como o Índice de Discordância Demográfica (DDI) ou a Pontuação de Alinhamento de Subgrupo podem ser derivadas para medir como o desempenho do modelo varia entre grupos.

4. Resultados Experimentais e Principais Conclusões

Embora o excerto do PDF fornecido seja um pré-print em revisão e não contenha resultados completos, a estrutura proposta leva a várias conclusões antecipadas:

• Variância Significativa: Altos níveis de discordância intra-grupo e inter-grupos sobre os rótulos de segurança para um subconjunto substancial de itens de conversa, desafiando a noção de um padrão universal de segurança.
• Correlatos Demográficos: Diferenças sistemáticas nas avaliações de segurança são observadas entre linhas de idade, raça/etnia e gênero para tópicos específicos ou tons conversacionais (ex.: humor, objetividade, referências culturais).
• Impacto da Agregação: A escolha da estratégia de agregação (majoritária vs. ponderada vs. mínima) leva a rótulos de segurança finais materialmente diferentes para 15-30% dos itens, impactando significativamente quais conversas um modelo seria treinado para evitar ou permitir.
• Lacuna na Avaliação do Modelo: Um modelo considerado "seguro" por um conjunto de teste agregado por maioria pode mostrar taxas de erro significativamente mais altas (ex.: +20% falsos negativos/positivos) quando avaliado contra as preferências de subgrupos demográficos minoritários específicos.

Descrição do Gráfico (Conceitual): Um gráfico multifacetado seria central para apresentar os resultados. O Painel A mostra um mapa de calor das pontuações médias de segurança (escala 1-5) para 100 itens de conversa (linhas) em 4 grupos demográficos (colunas), revelando padrões de alinhamento e discordância. O Painel B é um gráfico de barras comparando a classificação final "seguro/inseguro" para 20 itens ambíguos sob três estratégias de agregação, demonstrando visualmente a consequência da escolha de agregação. O Painel C traça a precisão do modelo para o grupo majoritário contra sua precisão para um grupo minoritário específico, com muitos pontos caindo abaixo da linha de paridade, ilustrando disparidades de desempenho.

5. Estrutura de Análise: Um Estudo de Caso Prático

Cenário: Uma equipe de desenvolvimento está ajustando um assistente de IA conversacional para uma aplicação global de atendimento ao cliente. Eles usam um conjunto de dados de segurança padrão para filtrar os dados de treinamento. Agora querem usar o DICES para auditar o alinhamento de segurança do seu modelo para diferentes bases de usuários.

Etapas de Análise:

1. Auditoria de Desempenho por Subgrupo: Execute o modelo nos prompts de conversa do DICES. Colete suas respostas geradas. Tenha um novo grupo de avaliadores demograficamente diverso (ou use as avaliações originais do DICES se os prompts forem semelhantes) para avaliar a segurança dessas conversas geradas pelo modelo. Calcule precisão/revocação/F1 para detecção de segurança separadamente para avaliadores do Grupo A (ex.: idades 18-30, América do Norte) e Grupo B (ex.: idades 50+, Sudeste Asiático).
2. Identificando Pontos de Discordância: Isole tópicos ou estilos de conversa onde a lacuna de desempenho entre o Grupo A e o Grupo B é maior (ex.: diferença >30% na taxa de segurança percebida). Isso identifica áreas específicas onde o alinhamento de segurança do modelo não é robusto.
3. Explorando Estratégias de Agregação: Simule o ajuste fino do modelo usando rótulos de segurança derivados do DICES usando: a) Voto majoritário, b) Um esquema de ponderação que super-representa o grupo demográfico regional alvo (Grupo B). Compare o comportamento dos modelos resultantes. A estrutura do DICES fornece os dados para fazer essa escolha informada, em vez de recorrer por padrão à regra da maioria.
4. Resultado: A equipe descobre que seu modelo atual tem 25% mais probabilidade de gerar respostas percebidas como "insistentes" ou "inseguras" por avaliadores mais velhos do Sudeste Asiático em contextos de negociação. Eles decidem usar uma função de perda ponderada demograficamente durante o próximo ciclo de ajuste fino para melhorar o alinhamento para esse segmento-chave de usuários.

6. Aplicações Futuras e Direções de Pesquisa

• Adaptação Dinâmica de Segurança: Modelos que podem inferir contexto/demografia do usuário (com salvaguardas de privacidade apropriadas) e adaptar suas proteções de segurança/conversação em tempo real, usando estruturas como o DICES como referência para variação aceitável.
• Alinhamento de IA Personalizado: Estender o paradigma da segurança para outras qualidades subjetivas (utilidade, humor, educação) permitindo que os usuários calibrem personalidades de IA dentro de uma faixa de preferências validada pela comunidade.
• Formulação de Políticas e Padrões: Informar padrões industriais e regulatórios para avaliação de segurança de IA. O DICES fornece uma metodologia para definir limites de "discordância razoável" e para exigir avaliações de impacto em subgrupos, semelhante a auditorias de imparcialidade em algoritmos de contratação.
• Treinamento de Modelos Interculturais: Usar ativamente conjuntos de dados como o DICES para treinar modelos que são explicitamente conscientes da diversidade perspectival, potencialmente através de aprendizado multitarefa ou arquiteturas de modelagem de preferência inspiradas no Aprendizado por Reforço com Feedback Humano (RLHF), mas com múltiplos modelos de recompensa específicos por grupo.
• Estudos Longitudinais: Acompanhar como as percepções de segurança dentro e entre grupos demográficos evoluem ao longo do tempo em resposta a mudanças tecnológicas e sociais, exigindo versões atualizadas do conjunto de dados DICES.

7. Referências

1. Aroyo, L., et al. (2023). DICES Dataset: Diversity in Conversational AI Evaluation for Safety. arXiv preprint arXiv:2306.11247.
2. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency.
3. Gehman, S., Gururangan, S., Sap, M., Choi, Y., & Smith, N. A. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. Findings of the Association for Computational Linguistics: EMNLP 2020.
4. Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35.
5. Prabhakaran, V., Denton, E., Webster, K., & Conover, A. (2022). Creativity, Caution, and Collaboration: Understanding and Supporting Human-AI Co-creativity. Proceedings of the ACM on Human-Computer Interaction.
6. Xu, J., et al. (2020). RECAST: Enabling User Recourse and Interpretability of Toxicity Detection Models with Interactive Visualization. Proceedings of the ACM on Human-Computer Interaction.

8. Análise de Especialista: Ideia Central, Fluxo Lógico, Pontos Fortes e Fracos, Insights Acionáveis