选择语言

DICES 数据集：对话式人工智能安全评估中的多样性

介绍DICES数据集，该数据集通过纳入人口统计多样性、细粒度评分者信息及用于分析方差和模糊性的统计功效，来评估对话式AI的安全性。
agi-friend.com | PDF Size: 0.4 MB
评分： 4.5/5
★ ★ ★ ★ ★
您的评分
您已经为此文档评过分
PDF文档封面 - DICES 数据集：对话式人工智能安全评估中的多样性
查看PDF文档 下载PDF 翻译PDF
首页 » 文档 » DICES 数据集：对话式人工智能安全评估中的多样性

1. 引言

基于大语言模型（LLMs）构建的对话式人工智能系统日益普及，使得安全性评估成为一个关键问题。传统方法通常依赖于在“安全”和“不安全”内容之间有明确二元划分的数据集，这本质上过度简化了安全性的主观性和文化情境性。由谷歌研究院、伦敦城市大学和剑桥大学的研究人员提出的DICES（对话式AI安全评估多样性）数据集，通过提供一个能够捕捉人类对AI安全性固有差异、模糊性和观点多样性的资源，弥补了这一空白。

DICES的设计遵循三个核心原则：1）包含评分者的细粒度人口统计信息（例如，种族/民族群体、年龄、性别）；2）每个对话条目具有高重复评分次数以确保统计功效；3）将评分者的投票编码为跨人口统计维度的分布，以便探索不同的聚合策略。这种设计超越了单一的“真实标准”，而是将安全性视为一个多维度、依赖于人群的建构。

1.1. 主要贡献

DICES数据集及相关研究的主要贡献如下：

  • 将评分者多样性作为核心特征： 将焦点从缓解“偏见”转向接纳和分析评分者意见的“多样性”。
  • 提供细粒度分析框架： 提供了一种数据集结构，允许深入探索安全感知如何与人口统计类别相互交织。
  • 建立细致评估基准： 将DICES确立为一个共享资源，用于以尊重多元观点的方式评估对话式AI系统，超越单一的安全分数。

2. 核心见解与逻辑脉络

核心见解： 主流AI安全评估的根本缺陷不在于缺乏数据，而在于缺乏代表性和可分解的数据。将安全性视为一项客观的二元分类任务是危险的过度简化，它抹杀了文化细微差别，并可能导致系统仅对主流人群“安全”。DICES正确地指出，安全性是一种社会建构，其评估必须是统计性的，而非确定性的。

逻辑脉络： 本文的论证极为清晰：1）当前LLM的安全微调依赖于简化的数据集。2）这种简化忽略了主观差异，这对于安全性——一个具有社会情境性的概念——尤其成问题。3）因此，我们需要一类新的数据集，通过人口统计多样性和高评分者重复率来明确捕捉这种差异。4）DICES提供了这种数据集，使得分析能够揭示哪些群体认为哪些内容不安全，以及不安全到什么程度。这一逻辑脉络有力地拆解了通用安全标准的迷思，并用一个理解安全格局的框架取而代之。

3. 优势与不足

优势：

  • 范式转换的设计： 从二元标签转向人口统计分布是其杀手锏。它迫使该领域正视安全性的多元性。
  • 统计严谨性： 每个条目的高重复率对于有意义的人口统计分析至关重要，DICES在这方面做得很好。它提供了超越轶事证据所需的统计功效。
  • 对模型开发具有可操作性： 它不仅诊断问题，还提供了一种可以直接指导更细致微调和评估指标的结构（分布），类似于不确定性量化如何改进模型校准。

不足与开放性问题：

  • “人口统计瓶颈”： 虽然包含了关键的人口统计维度，但所选类别（种族、年龄、性别）只是一个起点。它忽略了交叉性（例如，年轻的非裔女性）以及其他维度，如社会经济地位、残障状况或文化地理背景，这些对于完整图景同样至关重要。
  • 操作化挑战： 论文在如何操作方面着墨不多。模型开发者究竟应如何使用这些分布？是根据平均值微调？还是众数？或者开发一个能够根据推断的用户人口统计信息调整其安全过滤器的系统？从丰富数据到工程实践的这一步是下一个需要攀登的悬崖。
  • 静态快照： 关于安全性的社会规范在不断演变。一个数据集，无论多么多样，都是一个静态快照。该框架缺乏明确路径来持续、动态地更新这些安全感知，这也是其他静态伦理数据集面临的挑战。

4. 可操作的见解

对于AI从业者和产品负责人：

  1. 立即审计： 使用DICES框架（分布，而非平均值）来审计您当前的安全分类器。您很可能会发现它们仅与一小部分人口统计群体的观点一致。这是一种声誉和产品风险。
  2. 重新定义您的指标： 停止报告单一的“安全分数”。报告一个安全画像：“该模型的输出与A群体的安全感知有X%的一致性，在Y和Z话题上与B群体存在分歧。”透明度建立信任。
  3. 投资于自适应安全： 最终目标不是一个绝对安全的模型，而是能够理解上下文（包括用户上下文）的模型。研究投资应从单一的安全过滤器转向情境感知且可能用户个性化的安全机制，确保模型行为对其受众是恰当的。斯坦福以人为本人工智能研究所（HAI）等机构在AI伦理价值对齐方面的研究强调，对齐必须是多元人类价值的对齐，而非单一标准。

5. 技术框架与数据集设计

DICES数据集围绕人机对话构建，这些对话由大量按人口统计分层抽取的评分者进行安全性评分。其关键创新在于数据结构：不是存储单一标签（例如，“不安全”），而是每个对话条目都与一个按人口统计分桶细分的多维评分数组相关联。

对于给定对话 $c_i$，数据集不提供 $label(c_i) \in \{0, 1\}$。相反，它提供一组评分者响应 $R_i = \{r_{i,1}, r_{i,2}, ..., r_{i,N}\}$，其中每个响应 $r_{i,j}$ 是一个元组 $(v_{i,j}, d_{i,j})$。这里，$v_{i,j}$ 是安全判定（例如，李克特量表或二元判定），$d_{i,j}$ 是编码评分者人口统计属性的向量（例如，$d_{i,j} = [\text{性别}=G1, \text{年龄}=A2, \text{民族}=E3]$）。

5.1. 评分者分布的数学表示

核心分析能力来自于将这些个体评分聚合成分布。对于特定的人口统计切片 $D_k$（例如，“亚裔，30-39岁，女性”），我们可以计算对话 $c_i$ 的安全分数分布：

$P(\text{分数} = s | c_i, D_k) = \frac{|\{r \in R_i : v(r)=s \land d(r) \in D_k\}|}{|\{r \in R_i : d(r) \in D_k\}|}$

这不仅允许计算平均安全分数 $\mu_{i,k}$，更重要的是，可以计算方差（$\sigma^2_{i,k}$）、模糊性（例如，分布的熵 $H(P)$）以及不同人口统计群体之间的差异（例如，KL散度 $D_{KL}(P_{i,k} || P_{i,l})$）。这种数学形式化对于超越简单平均至关重要。

6. 实验结果与分析

虽然提供的PDF摘要是正在评审中的预印本，未包含完整的实验结果，但所描述的数据集支持通常以图表形式呈现的几种关键分析：

  • 图表1：人口统计分歧热力图： 一种矩阵可视化，展示在具有争议性的对话话题样本上，不同人口统计群体（例如，群体A：50岁以上白人男性 vs. 群体B：18-29岁西班牙裔女性）之间安全分数分布的成对差异（例如，詹森-香农距离）。此图表将生动地突显感知分歧最强烈的地方。
  • 图表2：模糊性与共识散点图： 根据每个对话条目的平均安全分数（x轴）及其总评分分布的熵（y轴）进行绘图。这将把普遍被视为安全/不安全的条目（低熵，高共识）与高度模糊的条目（高熵）区分开来。
  • 图表3：模型性能分解条形图： 比较标准安全分类器在根据不同人口统计群体定义的“真实标准”进行评估时的性能（例如，F1分数）。对某些群体的性能显著下降表明模型的对齐存在偏差。

DICES的强大之处在于它生成了创建这些图表所需的数据，将评估从单一数字转变为多维度的仪表盘。

7. 分析框架：示例案例研究

场景： 一个对话式AI在响应用户提示时生成一个笑话。训练数据和标准安全评估将其标记为“安全”（幽默）。

基于DICES的分析：

  1. 数据检索： 在DICES数据集中查询涉及相关主题的幽默或笑话的类似对话条目。
  2. 分布分析： 检查安全评分分布。您可能会发现：
    • $P(\text{不安全} | \text{年龄}=18-29) = 0.15$
    • $P(\text{不安全} | \text{年龄}=60+) = 0.65$
    • $P(\text{不安全} | \text{民族}=E1) = 0.20$
    • $P(\text{不安全} | \text{民族}=E2) = 0.55$
  3. 解读： 这个笑话的“安全性”不是一个事实，而是人口统计的函数。模型的输出虽然在技术上符合宽泛的“安全”规则，但存在被老年人和民族群体E2的成员视为冒犯的高风险。
  4. 行动： 简单化的方法是屏蔽所有笑话。而基于DICES的细致方法可以是：a) 将此类内容标记为“高人口统计方差”；b) 开发一个用户上下文模块，允许模型调整其幽默风格；或 c) 提供透明度说明：“此回复使用了幽默。对幽默的感知因文化和年龄组而异。”

这个案例研究说明了DICES如何将问题从“这安全吗？”转变为“对谁安全，在什么条件下安全？”

8. 未来应用与研究方向

DICES框架为未来的工作开辟了几个关键方向：

  • 个性化与自适应安全模型： 逻辑终点不是一刀切的安全过滤器，而是能够推断相关用户上下文（在适当的隐私保护下）并相应调整其安全阈值或内容生成策略的模型。这与机器学习中更广泛的个性化趋势（如推荐系统中所见）相一致。
  • 动态与持续评估： 开发方法以近实时地持续更新像DICES这样的安全感知数据集，捕捉不断演变的社会规范和新兴争议，类似于语言模型本身的持续更新。
  • 交叉性分析工具： 扩展人口统计框架以更好地捕捉交叉性身份，超越独立类别，理解属于多个少数群体的个体的复合体验。
  • 与基于人类反馈的强化学习（RLHF）集成： 使用来自DICES等数据集的分解后的人类反馈来训练对人口统计对齐敏感的价值模型，防止针对单一、可能狭隘的“好”或“安全”对话概念进行优化。这解决了标准RLHF中一个已知的局限性，正如Anthropic和DeepMind关于可扩展监督的研究所强调的那样。
  • 全球扩展： 将数据收集扩展到真正的全球层面，涵盖非西方文化和语言，以对抗许多AI安全资源中普遍存在的以英语为中心的偏见。

9. 参考文献

  1. Aroyo, L., Taylor, A. S., Díaz, M., Homan, C. M., Parrish, A., Serapio-García, G., Prabhakaran, V., & Wang, D. (2023). DICES Dataset: Diversity in Conversational AI Evaluation for Safety. arXiv preprint arXiv:2306.11247.
  2. Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models. Stanford Center for Research on Foundation Models (CRFM).
  3. Gehman, S., Gururangan, S., Sap, M., Choi, Y., & Smith, N. A. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP).
  4. Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems (NeurIPS).
  5. Stanford Institute for Human-Centered AI (HAI). (2023). The AI Index Report 2023. Stanford University.
  6. Weidinger, L., et al. (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
  7. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). （作为处理非配对、多模态数据的框架——CycleGAN——的示例被引用，类似于DICES处理多样、未对齐的人类判断）。