대화형 AI를 위한 상식 추론: 최신 기술 동향 조사

1. 서론

본 조사 논문은 최신 대화형 AI 시스템에 상식 추론을 통합하는 중요한 과제를 다룹니다. BERT, GPT, T5와 같은 트랜스포머 기반 모델들은 언어 구문과 맥락적 의미론을 이해하는 데 있어 놀라운 성공을 거두었지만, 인간이 당연시 여기는 세계에 대한 지식인 상식 지식이 필요한 작업에서는 여전히 어려움을 겪고 있습니다. 본 논문은 이러한 격차가 진정으로 자연스럽고 일관된 대화 시스템 개발을 크게 저해한다고 주장합니다.

기계 지능을 위한 상식의 중요성은 오랫동안 인식되어 왔지만, 이러한 지식을 체계화하고 통합하는 보편적인 방법론은 여전히 찾기 어렵습니다. 본 조사는 상식 추론과 대화형 AI의 교차점에 초점을 맞추어 관련 데이터셋, 방법론 및 평가 벤치마크를 검토합니다.

2. 대화형 AI 문제에서의 상식 추론

상식 추론은 대화형 AI의 다양한 측면에서 매우 중요합니다. 본 논문은 상식이 부족할 때 가장 명확하게 드러나는 몇 가지 핵심 문제 영역을 식별합니다.

3. 상식 통합 방법

본 조사는 상식을 대화형 AI 모델에 통합하는 주요 접근법을 세 가지 전략으로 분류합니다.

4. 벤치마크 및 평가 지표

대화에서의 상식 추론을 평가하는 것은 복잡합니다. 본 논문은 여러 벤치마크를 논의합니다:

• 작업 특화 벤치마크: 특정 추론 능력(예: PIQA의 물리적 추론, SocialIQA의 사회적 추론)을 평가하기 위한 전용 데이터셋입니다.
• 통합 대화 벤치마크: 더 넓은 대화 작업 내에서의 평가로, 모델의 응답이 상식적 사실과 일관되는지 테스트하는 Commonsense Dialogue 데이터셋과 같은 것들이 있습니다.
• 인간 평가: 궁극적으로, 인간이 판단하는 대화의 자연스러움과 일관성은 주관적이지만 여전히 중요한 지표로 남아 있습니다.

일반적인 자동 평가 지표로는 객관식 질문 정확도, 응답 품질을 위한 BLEU/ROUGE, 사실적 일관성이나 추론 타당성을 측정하기 위해 설계된 새로운 지표 등이 있습니다.

5. 최신 모델에 대한 예비 관찰

본 논문은 두 가지 선도적인 오픈 대화 모델인 BlenderBot 3와 LaMDA에 대한 예비 분석을 제시합니다. 고급 기능에도 불구하고, 두 모델 모두 상식 추론에서 상당한 실패를 보입니다. 예시는 다음과 같습니다:

• 기본 물리 법칙을 위반하는 응답 생성(예: 물체가 동시에 두 장소에 있을 수 있다고 제안).
• 암묵적인 사회적 신호나 규범을 이해하지 못함.
• 단일 대화 차례 내에서 사실적으로 일관되지 않은 진술 생성.

이러한 관찰은 사용자 신뢰와 상호작용의 자연스러움에 대한 인식을 직접적으로 훼손하기 때문에, 이 분야에 대한 집중적인 연구의 필요성을 강력하게 시사합니다.

6. 기술적 세부사항 및 수학적 공식화

지식 그래프의 통합은 종종 검색 증강 생성 프레임워크를 포함합니다. 대화 맥락 $C$와 지식 그래프 $\mathcal{K}$가 주어졌을 때, 모델의 목표는 다음을 최대화하는 응답 $R$을 생성하는 것으로 구성될 수 있습니다:

$P(R | C, \mathcal{K}) = \sum_{k \in \mathcal{K}_C} P(k | C) \cdot P(R | C, k)$

여기서 $\mathcal{K}_C$는 맥락 $C$를 기반으로 $\mathcal{K}$에서 검색된 관련 지식 트리플의 부분집합입니다. $P(k | C)$ 항은 검색 모델이 지식 트리플 $k$를 선택할 확률을 나타내며, $P(R | C, k)$는 주어진 맥락과 선택된 지식에 대한 응답의 확률입니다. COMET과 같은 모델은 $(head, relation, tail)$ 형식으로 포맷된 지식 그래프 트리플에서 트랜스포머(예: GPT-2)를 미세 조정함으로써 이를 구현하여, 새로운 $(head, relation)$ 질의에 대해 그럴듯한 $tail$ 완성을 생성할 수 있게 합니다.

7. 분석 프레임워크: 사례 연구

시나리오: 챗봇의 간단한 서사 이해 평가.

사용자 입력: "오렌지 주스를 한 잔 따라 마시려고 했는데, 전화가 울렸어요. 돌아왔을 때 컵은 비어 있었어요."

분석 프레임워크:

1. 지식 검색: 시스템은 관련 상식적 사실을 검색해야 합니다: 액체는 섭취될 수 있다. 애완동물(예: 고양이)은 액체를 마실 수 있다. 사람들은 전화를 받는다.
2. 추론 생성: COMET과 같은 모델을 사용하여 "방치된 주스 컵" 사건에 대한 가능한 추론을 생성합니다: "만약 X가 음료를 방치한다면, 애완동물이 그것을 마실 수 있다" (ATOMIC 관계: xEffect).
3. 가설 점수화: 추론된 설명 중 어느 것이 맥락과 물리적 타당성에 가장 잘 맞는지 평가합니다("누군가 마셨다", "증발했다", "애완동물이 마셨다"). 올바른 추론은 일반적인 가정 내 사건에 대한 명시되지 않은 세계 지식에 의존합니다.
4. 응답 구성: 일관된 후속 질문이나 진술 생성: "아이고, 고양이가 마신 건가요?" vs. 그럴듯하지 않은 것: "기체로 변했나요?"

이 프레임워크는 검색에서 추론, 그리고 맥락 통합으로 이동하는 데 필요한 다단계 추론을 강조합니다.

8. 향후 응용 및 연구 방향

상식을 인지하는 대화형 AI의 발전 경로는 다음과 같은 몇 가지 핵심 방향을 포함합니다:

• 다중 모달 상식: OpenAI의 CLIP과 DALL-E와 같은 모델이 선도한 것처럼, 시각적, 청각적, 감각적 지식을 언어와 통합합니다. 향후 대화 에이전트는 대화에서 묘사된 장면에 대해 추론해야 할 수 있습니다.
• 동적 지식 그래프: 정적 KG을 넘어, 인간이 그렇듯이 상호작용으로부터 지속적으로 상식 지식을 학습하고 업데이트할 수 있는 시스템으로 이동합니다.
• 인과적 추론: 상식의 핵심 구성 요소인 인과 관계에 대한 모델의 이해를 심화합니다. 주데아 펄의 인과적 계층 구조 연구는 연관성에서 개입 및 반사실적 추론으로의 이동이 강건한 AI에 중요함을 시사합니다.
• 개인화 및 문화적 상식: 개인, 공동체 및 문화에 따라 변하는 상식적 규범을 이해하는 모델 개발.
• 신경-기호 통합: 트랜스포머와 같은 신경망의 패턴 인식 강점과 기호 AI 시스템의 명시적, 논리적 추론 능력을 결합합니다. MIT의 확률적 기호 모델에서 탐구된 이 하이브리드 접근법은 다루기 쉽고 해석 가능한 상식 추론을 위한 유망한 경로입니다.

9. 참고문헌

• Richardson, C., & Heck, L. (2023). Commonsense Reasoning for Conversational AI: A Survey of the State of the Art. Workshop on Knowledge Augmented Methods for NLP, AAAI 2023.
• Speer, R., Chin, J., & Havasi, C. (2017). ConceptNet 5.5: An Open Multilingual Graph of General Knowledge. Proceedings of AAAI.
• Sap, M., et al. (2019). ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning. Proceedings of AAAI.
• Bosselut, A., et al. (2019). COMET: Commonsense Transformers for Automatic Knowledge Graph Construction. Proceedings of ACL.
• Gao, J., et al. (2018). Neural Approaches to Conversational AI. Foundations and Trends® in Information Retrieval.
• Pearl, J., & Mackenzie, D. (2018). The Book of Why: The New Science of Cause and Effect. Basic Books.
• Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of ICML (CLIP).