DICES 数据集：对话式人工智能安全评估的多样性

1. 引言

基于大语言模型（LLMs）构建的对话式人工智能系统日益普及，使得安全评估成为一个关键问题。传统方法通常依赖于在“安全”与“不安全”内容之间有明确二元划分的数据集，这过度简化了安全性固有的主观性和文化情境性。本文介绍了DICES（对话式AI安全评估多样性）数据集，旨在捕捉和分析不同人群在安全感知上的差异。

其解决的核心问题是现有安全数据集忽视了人口统计学和观点多样性，这可能导致模型与特定用户群体的规范不一致，并在“现实世界环境中产生不良甚至灾难性的后果”。

1.1. 主要贡献

DICES 数据集及本项工作的主要贡献包括：

• 评估者多样性： 将焦点从缓解“偏见”转向接纳和衡量评估者意见的“多样性”。
• 细粒度人口统计学标注： 包含每位评估者的详细人口统计学信息（种族/民族群体、年龄、性别）。
• 高重复标注项： 每个对话项都获得大量评分，以确保子群分析具有统计效力。
• 基于分布的表示： 将安全投票编码为跨人口统计学群体的分布，从而能够探索超越多数投票的不同聚合策略。
• 分析框架： 为建立结合评估者评分与人口统计学类别的新度量指标提供了基础。

2. DICES 数据集框架

DICES 被构建为一个共享资源和基准，旨在安全评估过程中尊重多样化的观点。它超越了单一标准答案标签的范畴。

2.1. 核心设计原则

• 有意的多样性： 评估者池的结构设计旨在使关键人口统计学子群的比例保持平衡。
• 统计严谨性： 每个对话项的高重复评分允许对组内和组间的一致性、分歧和方差进行稳健分析。
• 情境化安全： 评分基于人机对话，捕捉动态交互情境中的安全性，而非孤立提示下的安全性。

2.2. 数据集构成与统计信息

3. 技术方法与分析框架

其技术创新在于将安全性视为一个多维分布，而非标量。

3.1. 将安全性表示为分布

对于给定的对话项 $i$，安全性不是由单一标签 $y_i$ 表示，而是由跨越 $K$ 个人口统计学群体的评分分布表示。令 $R_{i,g}$ 为来自群体 $g$ 的评估者对项目 $i$ 的评分集合。项目 $i$ 的安全概况是向量：$\mathbf{S}_i = (\bar{R}_{i,1}, \bar{R}_{i,2}, ..., \bar{R}_{i,K})$，其中 $\bar{R}_{i,g}$ 是群体 $g$ 内评分的集中趋势（例如，均值、中位数）。

可以计算方差度量指标，如 $\sigma^2_{i,g}$（组内方差）和 $\Delta_{i, g1, g2} = |\bar{R}_{i,g1} - \bar{R}_{i,g2}|$（组间分歧），以量化模糊性和观点差异。

3.2. 聚合策略与度量指标

DICES 支持比较不同的标签聚合方法：

• 多数投票（基线）： $y_i^{maj} = \text{mode}(\bigcup_{g=1}^{K} R_{i,g})$
• 人口统计学加权聚合： $y_i^{weighted} = \sum_{g=1}^{K} w_g \cdot \bar{R}_{i,g}$，其中 $w_g$ 可以与人口规模成正比，或采用其他关注公平性的权重。
• 最小安全（保守）： $y_i^{min} = \min(\bar{R}_{i,1}, ..., \bar{R}_{i,K})$ 优先考虑最敏感群体的观点。

可以推导出新的度量指标，如人口统计学分歧指数（DDI）或子群对齐分数，以衡量模型性能在不同群体间的变化。

4. 实验结果与关键发现

虽然提供的PDF摘要是正在评审中的预印本，未包含完整结果，但所提出的框架指向了几个预期的发现：

• 显著方差： 对于相当一部分对话项，在安全标签上存在高度的组内和组间分歧，挑战了通用安全标准的概念。
• 人口统计学相关性： 在特定话题或对话语气（例如，幽默、直率、文化引用）上，观察到安全评分在年龄、种族/民族和性别线上存在系统性差异。
• 聚合策略的影响： 聚合策略（多数投票 vs. 加权 vs. 最小安全）的选择导致15-30%的项产生实质不同的最终安全标签，显著影响模型将被训练为规避或允许哪些对话。
• 模型评估差距： 一个被多数聚合测试集判定为“安全”的模型，当针对特定少数人口统计学子群的偏好进行评估时，可能显示出显著更高的错误率（例如，假阴性/假阳性率增加20%）。

图表描述（概念性）： 一个多层面图表将是呈现结果的核心。图A显示了100个对话项（行）在4个人口统计学群体（列）上的平均安全分数（1-5分制）热力图，揭示了对齐和分歧的模式。图B是一个条形图，比较了20个模糊项在三种聚合策略下的最终“安全/不安全”判定，直观展示了聚合选择带来的后果。图C绘制了模型在多数群体上的精确率与在特定少数群体上的精确率的关系，许多点落在平等线以下，说明了性能差异。

5. 分析框架：一个实用案例研究

场景： 一个开发团队正在为全球客户服务应用微调一个对话式AI助手。他们使用标准安全数据集来过滤训练数据。现在他们希望使用DICES来审计其模型针对不同用户群体的安全对齐情况。

分析步骤：

1. 子群性能审计： 在DICES对话提示上运行模型。收集其生成的回复。让一个新的、人口统计学多样化的评估者池（或如果提示相似，则使用DICES的原始评分）评估这些模型生成对话的安全性。分别计算针对群体A（例如，18-30岁，北美）和群体B（例如，50岁以上，东南亚）评估者的安全检测精确率/召回率/F1分数。
2. 识别分歧热点： 找出群体A和群体B之间性能差距最大的对话话题或风格（例如，感知安全率差异大于30%）。这精确定位了模型安全对齐不稳健的具体领域。
3. 探索聚合策略： 模拟使用从DICES衍生的安全标签微调模型，分别采用：a) 多数投票，b) 一种过度代表目标区域人口统计学（群体B）的加权方案。比较所得模型的行为。DICES框架提供了数据，以便做出明智选择，而非默认采用多数规则。
4. 结果： 团队发现他们当前的模型在谈判情境下，被东南亚年长评估者感知为“咄咄逼人”或“不安全”的可能性高出25%。他们决定在下一次微调周期中使用人口统计学加权的损失函数，以改善针对该关键用户群体的对齐。

6. 未来应用与研究展望

• 动态安全适应： 模型能够推断用户情境/人口统计学信息（在适当的隐私保护措施下），并实时调整其安全/对话护栏，使用像DICES这样的框架作为可接受方差的参考。
• 个性化AI对齐： 将范式从安全性扩展到其他主观品质（有帮助性、幽默感、礼貌性），允许用户在社区验证的偏好范围内校准AI个性。
• 政策与标准制定： 为AI安全评估的行业和监管标准提供信息。DICES提供了一种方法来定义“合理分歧”阈值，并强制要求进行子群影响评估，类似于招聘算法中的公平性审计。
• 跨文化模型训练： 积极使用像DICES这样的数据集来训练模型，使其明确意识到观点多样性，可能通过多任务学习或受人类反馈强化学习（RLHF）启发的偏好建模架构实现，但使用多个、特定于群体的奖励模型。
• 纵向研究： 追踪人口统计学内部和跨群体间的安全感知如何随着技术和社会变化而演变，这需要DICES数据集的更新版本。

7. 参考文献

1. Aroyo, L., et al. (2023). DICES Dataset: Diversity in Conversational AI Evaluation for Safety. arXiv preprint arXiv:2306.11247.
2. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency.
3. Gehman, S., Gururangan, S., Sap, M., Choi, Y., & Smith, N. A. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. Findings of the Association for Computational Linguistics: EMNLP 2020.
4. Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35.
5. Prabhakaran, V., Denton, E., Webster, K., & Conover, A. (2022). Creativity, Caution, and Collaboration: Understanding and Supporting Human-AI Co-creativity. Proceedings of the ACM on Human-Computer Interaction.
6. Xu, J., et al. (2020). RECAST: Enabling User Recourse and Interpretability of Toxicity Detection Models with Interactive Visualization. Proceedings of the ACM on Human-Computer Interaction.

8. 专家分析：核心洞见、逻辑脉络、优势与不足、可操作建议