Cette étude aborde le défi crucial de l'intégration du raisonnement de sens commun dans les systèmes d'IA conversationnelle de pointe. Bien que les modèles basés sur des transformateurs comme BERT, GPT et T5 aient obtenu un succès remarquable dans la compréhension de la syntaxe du langage et de la sémantique contextuelle, ils peinent encore avec les tâches nécessitant des connaissances de sens commun – des connaissances sur le monde que les humains tiennent généralement pour acquises. L'article soutient que cet écart entrave significativement le développement de systèmes de dialogue véritablement naturels et cohérents.
L'importance du sens commun pour l'intelligence machine est reconnue depuis longtemps, mais un schéma universel pour codifier et intégrer cette connaissance reste insaisissable. Cette étude se concentre sur l'intersection du raisonnement de sens commun et de l'IA conversationnelle, passant en revue les ensembles de données, les méthodologies et les référentiels d'évaluation pertinents.
Le raisonnement de sens commun est crucial dans divers aspects de l'IA conversationnelle. L'article identifie plusieurs domaines problématiques clés où son absence est la plus apparente.
Les modèles doivent inférer des intentions non énoncées, résoudre des ambiguïtés et comprendre le contexte implicite. Par exemple, comprendre que "Je cours au magasin" implique un mode de transport et une intention d'achat, et pas seulement un mouvement physique.
Générer des réponses cohérentes, pertinentes et socialement appropriées nécessite la connaissance des normes sociales, des lois physiques et des comportements humains typiques. Un modèle dépourvu de sens commun pourrait générer des réponses physiquement impossibles ou socialement gênantes.
Aider les utilisateurs avec des tâches (par exemple, réserver un voyage, dépanner) nécessite de raisonner sur des séquences d'actions, des relations de cause à effet et les propriétés des objets dans le monde.
L'étude catégorise les approches principales en trois stratégies majeures pour incorporer le sens commun dans les modèles d'IA conversationnelle.
Cette approche consiste à entraîner davantage (affiner) de grands modèles de langage pré-entraînés sur des ensembles de données spécialement conçus pour des tâches de raisonnement de sens commun. Des ensembles de données comme SocialIQA, CommonsenseQA et PIQA sont utilisés pour adapter les modèles à raisonner sur les interactions sociales, les propriétés conceptuelles et l'intuition physique.
Cette méthode intègre explicitement des sources de connaissances externes structurées. L'article met en lumière deux graphes de connaissances (GC) majeurs :
Les modèles sont conçus pour récupérer et raisonner sur les informations de ces GC pendant le traitement du dialogue. Le modèle COMET, un réseau neuronal basé sur un transformateur entraîné sur ConceptNet et ATOMIC, est cité comme un exemple clé capable de générer de nouvelles inférences de sens commun.
Une approche émergente consiste à entraîner les modèles non seulement à produire une réponse, mais aussi à générer une explication en langage naturel qui justifie la réponse en utilisant le sens commun. Cela vise à rendre le processus de raisonnement du modèle plus transparent et potentiellement plus robuste.
Évaluer le raisonnement de sens commun dans le dialogue est complexe. L'article discute de plusieurs référentiels :
Les métriques automatiques courantes incluent la précision sur des questions à choix multiples, BLEU/ROUGE pour la qualité des réponses, et de nouvelles métriques conçues pour mesurer la cohérence factuelle ou la plausibilité du raisonnement.
L'article présente une analyse préliminaire de deux modèles de dialogue ouvert de premier plan : BlenderBot 3 et LaMDA. Malgré leurs capacités avancées, les deux modèles présentent des échecs significatifs dans le raisonnement de sens commun. Les exemples incluent :
Ces observations motivent fortement la nécessité d'une recherche ciblée dans ce domaine, car de tels échecs sapent directement la confiance des utilisateurs et le caractère naturel perçu des interactions.
Même les modèles conversationnels les plus avancés (BlenderBot3, LaMDA) présentent des lacunes critiques en matière de sens commun, le soulignant comme une frontière fondamentale, et non comme un défi périphérique.
L'intégration des graphes de connaissances implique souvent un cadre de génération augmentée par récupération. Étant donné un contexte de dialogue $C$ et un graphe de connaissances $\mathcal{K}$, l'objectif du modèle peut être formulé comme la génération d'une réponse $R$ qui maximise :
$P(R | C, \mathcal{K}) = \sum_{k \in \mathcal{K}_C} P(k | C) \cdot P(R | C, k)$
Où $\mathcal{K}_C$ est un sous-ensemble de triplets de connaissances pertinents récupérés depuis $\mathcal{K}$ en fonction du contexte $C$. Le terme $P(k | C)$ représente la probabilité du modèle de récupération de sélectionner le triplet de connaissances $k$, et $P(R | C, k)$ est la probabilité de la réponse étant donné le contexte et la connaissance sélectionnée. Des modèles comme COMET implémentent cela en affinant un transformateur (par exemple, GPT-2) sur des triplets de graphes de connaissances formatés comme $(tête, relation, queue)$, lui permettant de générer des complétions $queue$ plausibles pour de nouvelles requêtes $(tête, relation)$.
Scénario : Évaluer la compréhension d'un chatbot d'un récit simple.
Entrée Utilisateur : "Je me suis versé un verre de jus d'orange, mais ensuite le téléphone a sonné. Quand je suis revenu, le verre était vide."
Cadre d'Analyse :
Ce cadre met en lumière le raisonnement en plusieurs étapes requis, passant de la récupération à l'inférence, puis à l'intégration contextuelle.
La voie à suivre pour une IA conversationnelle consciente du sens commun implique plusieurs axes clés :
Idée Fondamentale : L'étude de Richardson et Heck expose une vérité fondamentale, mais souvent sous-estimée, dans l'IA moderne : nos modèles de langage les plus sophistiqués sont des appareilleurs de motifs brillants opérant dans un vide sémantique. Ils ont maîtrisé le "comment" du langage mais manquent du "pourquoi" – le modèle du monde fondamental qui ancre le sens. Ce n'est pas un simple bogue technique ; c'est une faille architecturale qui limite l'utilité et la fiabilité de l'IA dans les applications réelles. Comme le notent les auteurs, même les modèles phares comme LaMDA et BlenderBot3 échouent sur des tâches de raisonnement humain triviales, un écart qui fait écho aux limitations observées dans d'autres domaines de l'IA, comme les modèles de vision par ordinateur qui manquent de compréhension physique malgré leur prouesse perceptuelle.
Flux Logique, Forces et Faiblesses : La force de l'article réside dans sa taxonomie claire – catégorisant les approches en Affinage, Ancrage par GC et Explications. Ce cadre segmente utilement un paysage de recherche chaotique. L'accent mis sur les Graphes de Connaissances comme ConceptNet et ATOMIC est approprié ; ils représentent la tentative la plus concrète de capturer l'essence du sens commun. Cependant, l'étude met aussi involontairement en lumière la faiblesse centrale du domaine : une dépendance à des bases de connaissances fragiles, statiques et inévitablement incomplètes. ConceptNet, bien que précieux, est un instantané de la réalité consensuelle, manquant de la nature dynamique, contextuelle et souvent contradictoire de la connaissance du monde réel. L'approche du modèle COMET de générer des connaissances est une astuce intelligente, mais elle risque de produire des "faits" plausibles mais incorrects (hallucinations), échangeant un problème contre un autre. La discussion sur les référentiels révèle en outre un méta-problème : nous manquons de métriques automatiques robustes pour évaluer la profondeur du raisonnement, nous rabattant souvent sur la précision des questions à choix multiples ou des scores de similarité superficiels, qui sont de mauvais substituts à une véritable compréhension.
Perspectives Actionnables : La voie à suivre ne consiste pas seulement à mettre à l'échelle les paradigmes existants. Premièrement, le domaine doit prioriser le raisonnement causal et contrefactuel, dépassant la simple corrélation. Comme le soutient le travail de Judea Pearl, comprendre le "et si" et le "pourquoi" est le fondement d'une intelligence robuste. Deuxièmement, nous avons besoin d'une transition vers l'intégration neuro-symbolique. Les approches purement neuronales sont gourmandes en données et opaques ; les systèmes purement symboliques sont fragiles. Les modèles hybrides, qui exploitent les réseaux neuronaux pour la perception et l'appariement de motifs aux côtés de moteurs symboliques pour la déduction logique, offrent une voie prometteuse, bien que difficile sur le plan computationnel. Des institutions comme le CSAIL du MIT font des progrès ici. Enfin, l'évaluation doit évoluer. Nous avons besoin de référentiels qui testent les chaînes de raisonnement, exigent une justification et pénalisent les contradictions, passant des tâches à un seul tour à des récits de dialogue en plusieurs étapes qui exposent les incohérences logiques. L'avenir de l'IA conversationnelle ne se limite pas à un meilleur chat ; il s'agit de construire des machines qui partagent notre compréhension du monde, un objectif qui reste hors de portée mais qui est désormais plus clairement défini grâce à des études comme celle-ci.