DICES 데이터셋: 대화형 AI 안전성 평가를 위한 다양성

1. 서론

대규모 언어 모델(LLM) 기반 대화형 AI 시스템의 확산으로 안전성 평가는 중요한 관심사가 되었습니다. 기존의 접근 방식은 종종 '안전한' 콘텐츠와 '안전하지 않은' 콘텐츠를 명확히 이분법적으로 구분하는 데이터셋에 의존하는데, 이는 안전성의 본질적으로 주관적이고 문화적으로 위치한 특성을 지나치게 단순화합니다. 본 논문은 다양한 인구 집단 간 안전성 인식의 차이를 포착하고 분석하기 위해 설계된 DICES (대화형 AI 안전성 평가를 위한 다양성) 데이터셋을 소개합니다.

해결하고자 하는 핵심 문제는 기존 안전성 데이터셋에서 인구통계학적 및 관점적 다양성이 간과되어, 특정 사용자 집단의 규범과 맞지 않으며 "실제 환경에서 원하지 않거나 심지어 재앙적인 결과"를 초래할 수 있는 모델을 만들 수 있다는 점입니다.

1.1. 기여

DICES 데이터셋과 본 연구의 주요 기여는 다음과 같습니다:

• 평가자 다양성: 평가자 의견에서 '편향'을 완화하는 데서 벗어나 '다양성'을 수용하고 측정하는 데 초점을 전환합니다.
• 세분화된 인구통계학적 주석: 각 평가자에 대한 상세한 인구통계학적 정보(인종/민족 그룹, 연령, 성별)를 포함합니다.
• 항목별 높은 반복 평가: 각 대화 항목은 많은 수의 평가를 받아 하위 그룹 분석을 위한 통계적 검정력을 보장합니다.
• 분포 기반 표현: 안전성 투표를 인구통계학적 그룹 간 분포로 인코딩하여, 다수결 이상의 다양한 집계 전략 탐색을 가능하게 합니다.
• 분석 프레임워크: 평가자 등급과 인구통계학적 범주를 교차하는 새로운 지표를 설정하기 위한 기반을 제공합니다.

2. DICES 데이터셋 프레임워크

DICES는 안전성 평가 과정에서 다양한 관점을 존중하기 위한 공유 자원 및 벤치마크로 구축되었습니다. 이는 단일 정답 레이블을 넘어서는 접근법입니다.

2.1. 핵심 설계 원칙

• 의도적 다양성: 평가자 풀은 주요 인구통계학적 하위 그룹에서 균형 잡힌 비율을 갖도록 구성됩니다.
• 통계적 엄밀성: 대화 항목당 높은 평가 반복은 그룹 내 및 그룹 간 합의, 불일치, 분산에 대한 강력한 분석을 가능하게 합니다.
• 맥락적 안전성: 평가는 인간-봇 대화를 기반으로 하여, 고립된 프롬프트가 아닌 역동적이고 상호작용적인 맥락에서의 안전성을 포착합니다.

2.2. 데이터셋 구성 및 통계

3. 기술적 방법론 및 분석 프레임워크

기술적 혁신은 안전성을 스칼라 값이 아닌 다차원 분포로 취급하는 데 있습니다.

3.1. 안전성을 분포로 표현하기

주어진 대화 항목 $i$에 대해, 안전성은 단일 레이블 $y_i$가 아닌 $K$개의 인구통계학적 그룹에 걸친 평가 분포로 표현됩니다. $R_{i,g}$를 그룹 $g$의 평가자로부터 항목 $i$에 대한 평가 집합이라고 하겠습니다. 항목 $i$에 대한 안전성 프로파일은 벡터입니다: $\mathbf{S}_i = (\bar{R}_{i,1}, \bar{R}_{i,2}, ..., \bar{R}_{i,K})$, 여기서 $\bar{R}_{i,g}$는 그룹 $g$ 내 평가의 중심 경향성(예: 평균, 중앙값)입니다.

모호성과 관점적 차이를 정량화하기 위해 $\sigma^2_{i,g}$ (그룹 내 분산) 및 $\Delta_{i, g1, g2} = |\bar{R}_{i,g1} - \bar{R}_{i,g2}|$ (그룹 간 불일치)와 같은 분산 지표를 계산할 수 있습니다.

3.2. 집계 전략 및 지표

DICES는 다양한 레이블 집계 방법의 비교를 가능하게 합니다:

• 다수결 (기준선): $y_i^{maj} = \text{mode}(\bigcup_{g=1}^{K} R_{i,g})$
• 인구통계학적 가중 집계: $y_i^{weighted} = \sum_{g=1}^{K} w_g \cdot \bar{R}_{i,g}$, 여기서 $w_g$는 인구 규모 또는 기타 형평성 중심 가중치에 비례할 수 있습니다.
• 최소 안전성 (보수적): $y_i^{min} = \min(\bar{R}_{i,1}, ..., \bar{R}_{i,K})$ 가장 민감한 그룹의 관점을 우선시합니다.

인구통계학적 불일치 지수 (DDI) 또는 하위 그룹 정렬 점수와 같은 새로운 지표를 도출하여 모델 성능이 그룹 간에 어떻게 변하는지 측정할 수 있습니다.

4. 실험 결과 및 주요 발견

제공된 PDF 발췌문은 심사 중인 프리프린트이며 완전한 결과를 포함하고 있지 않지만, 제안된 프레임워크는 다음과 같은 몇 가지 예상되는 발견으로 이어집니다:

• 상당한 분산: 상당 부분의 대화 항목에 대해 안전성 레이블에 대한 그룹 내 및 그룹 간 높은 수준의 불일치가 관찰되어, 보편적 안전성 기준이라는 개념에 도전합니다.
• 인구통계학적 상관관계: 특정 주제나 대화적 어조(예: 유머, 직설성, 문화적 언급)에 대해 연령, 인종/민족, 성별에 걸쳐 안전성 평가의 체계적인 차이가 관찰됩니다.
• 집계 방식의 영향: 집계 전략(다수결 대 가중치 대 최소값)의 선택은 항목의 15-30%에 대해 실질적으로 다른 최종 안전성 레이블을 초래하며, 모델이 피하거나 허용하도록 학습될 대화에 상당한 영향을 미칩니다.
• 모델 평가 격차: 다수결로 집계된 테스트 세트에 의해 '안전한' 것으로 간주된 모델은 특정 소수 인구통계학적 하위 그룹의 선호도에 대해 평가할 때 상당히 높은 오류율(예: +20% 위음성/위양성)을 보일 수 있습니다.

차트 설명 (개념적): 다면적 차트는 결과를 제시하는 데 중심이 될 것입니다. 패널 A는 4개의 인구통계학적 그룹(열)에 걸친 100개의 대화 항목(행)에 대한 평균 안전성 점수(1-5 척도)의 히트맵을 보여주며, 정렬과 불일치의 패턴을 드러냅니다. 패널 B는 세 가지 집계 전략 하에서 20개의 모호한 항목에 대한 최종 '안전/불안전' 판정을 비교하는 막대 그래프로, 집계 선택의 결과를 시각적으로 보여줍니다. 패널 C는 다수 그룹에 대한 모델의 정밀도를 특정 소수 그룹에 대한 정밀도에 대해 도표로 나타내며, 많은 점들이 동등선 아래에 떨어져 성능 격차를 설명합니다.

5. 분석 프레임워크: 실제 사례 연구

시나리오: 개발팀이 글로벌 고객 서비스 애플리케이션을 위한 대화형 AI 어시스턴트를 미세 조정하고 있습니다. 그들은 표준 안전성 데이터셋을 사용하여 학습 데이터를 필터링합니다. 이제 DICES를 사용하여 서로 다른 사용자 기반에 대한 모델의 안전성 정렬을 감사하고 싶습니다.

분석 단계:

1. 하위 그룹 성능 감사: DICES 대화 프롬프트에서 모델을 실행합니다. 생성된 응답을 수집합니다. 새롭고 인구통계학적으로 다양한 평가자 풀(또는 프롬프트가 유사하다면 DICES의 원래 평가를 사용)을 통해 이러한 모델 생성 대화의 안전성을 평가하도록 합니다. 그룹 A(예: 18-30세, 북미)와 그룹 B(예: 50세 이상, 동남아시아)의 평가자에 대해 안전성 탐지의 정밀도/재현율/F1 점수를 별도로 계산합니다.
2. 불일치 핫스팟 식별: 그룹 A와 그룹 B 간 성능 격차가 가장 큰(예: 인지된 안전성 비율에서 >30% 차이) 대화 주제나 스타일을 분리합니다. 이는 모델의 안전성 정렬이 강력하지 않은 특정 영역을 정확히 지적합니다.
3. 집계 전략 탐색: DICES를 사용하여 파생된 안전성 레이블을 사용하여 모델을 미세 조정하는 것을 시뮬레이션합니다: a) 다수결, b) 목표 지역 인구통계(그룹 B)를 과대 대표하는 가중치 체계. 결과 모델의 행동을 비교합니다. DICES 프레임워크는 다수결에 의존하기보다는 정보에 기반한 선택을 할 수 있는 데이터를 제공합니다.
4. 결과: 팀은 현재 모델이 협상 맥락에서 나이 든 동남아시아 평가자들이 '강압적'이거나 '안전하지 않다'고 인식할 응답을 생성할 가능성이 25% 더 높다는 것을 발견합니다. 그들은 다음 미세 조정 주기 동안 인구통계학적 가중 손실 함수를 사용하여 해당 주요 사용자 세그먼트에 대한 정렬을 개선하기로 결정합니다.

6. 향후 응용 및 연구 방향

• 동적 안전성 적응: 적절한 개인정보 보호 장치와 함께 사용자 맥락/인구통계를 추론하고, DICES와 같은 프레임워크를 허용 가능한 분산에 대한 참조로 사용하여 실시간으로 안전성/대화 가드레일을 조정할 수 있는 모델.
• 개인화된 AI 정렬: 안전성에서 다른 주관적 품질(도움, 유머, 예의)로 패러다임을 확장하여 사용자가 커뮤니티 검증된 선호도 범위 내에서 AI 성격을 조정할 수 있도록 합니다.
• 정책 및 표준 수립: AI 안전성 평가를 위한 산업 및 규제 표준에 정보를 제공합니다. DICES는 '합리적 불일치' 임계값을 정의하고, 채용 알고리즘의 공정성 감사와 유사하게 하위 그룹 영향 평가를 의무화하는 방법론을 제공합니다.
• 교차 문화 모델 학습: DICES와 같은 데이터셋을 적극적으로 사용하여 관점적 다양성을 명시적으로 인지하는 모델을 훈련합니다. 이는 다중 작업 학습 또는 인간 피드백 강화 학습(RLHF)에서 영감을 받았지만 다중의 그룹별 보상 모델을 갖는 선호도 모델링 아키텍처를 통해 가능할 수 있습니다.
• 종단 연구: 기술적 및 사회적 변화에 대한 응답으로 인구통계학 내 및 간의 안전성 인식이 시간이 지남에 따라 어떻게 진화하는지 추적하며, 이는 DICES 데이터셋의 업데이트된 버전을 필요로 합니다.

7. 참고문헌

1. Aroyo, L., et al. (2023). DICES Dataset: Diversity in Conversational AI Evaluation for Safety. arXiv preprint arXiv:2306.11247.
2. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency.
3. Gehman, S., Gururangan, S., Sap, M., Choi, Y., & Smith, N. A. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. Findings of the Association for Computational Linguistics: EMNLP 2020.
4. Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35.
5. Prabhakaran, V., Denton, E., Webster, K., & Conover, A. (2022). Creativity, Caution, and Collaboration: Understanding and Supporting Human-AI Co-creativity. Proceedings of the ACM on Human-Computer Interaction.
6. Xu, J., et al. (2020). RECAST: Enabling User Recourse and Interpretability of Toxicity Detection Models with Interactive Visualization. Proceedings of the ACM on Human-Computer Interaction.

8. 전문가 분석: 핵심 통찰, 논리적 흐름, 강점 및 한계, 실행 가능한 통찰