Le développement d'une Intelligence Artificielle Générale (AGI) est largement considéré comme inévitable. Cependant, les actions d'une AGI consciente d'elle-même sont incertaines, des recherches significatives suggérant une probabilité non négligeable d'hostilité envers les humains. Cet article aborde le sujet de recherche critique et opportun du confinement de l'AGI. Si les travaux existants explorent des stratégies comme la sémantique de langage sûre ou la mise en bac à sable, ils sont souvent limités par leur domaine d'origine. Cette étude construit une ontologie de domaine fondamentale pour décrire les éléments nécessaires aux futures technologies de confinement de l'AGI, situant le problème dans le cadre global de la science cyber.
L'AGI représente une IA dont l'intelligence est égale ou supérieure aux capacités humaines, opérant dans des domaines dynamiques et généraux. Cela représente un danger direct et durable comparé à l'IA spécialisée.
S'inspirant de Babcock, Kramar, & Yampolskiy (2016), le confinement est vu comme nécessitant une combinaison de technologies de cybersécurité traditionnelles. L'article reconnaît les risques existentiels formulés par des penseurs comme Nick Bostrom, faisant du confinement une préoccupation de sécurité primordiale.
Les paradigmes traditionnels (pare-feux, détection d'intrusion) sont reconnus comme ayant une capacité limitée à répondre à la menace unique et adaptative d'une AGI superintelligente. Leur nature réactive est mal adaptée à une intelligence générale proactive.
L'article se tourne vers la science cyber, un champ naissant offrant un contexte de connaissances plus complet. Il s'appuie sur la définition de Kott (2015) des opérations cyber impliquant des logiciels malveillants, établissant un parallèle où une AGI ou son appareil de confinement pourrait être vue comme « malveillante » du point de vue opposé, soulignant le besoin d'une ontologie structurée pour organiser ces concepts.
L'ontologie a été développée par une analyse systématique de la littérature académique existante sur l'AGI, la cybersécurité et les stratégies de confinement.
Une ontologie hiérarchique et spécifique au domaine a été construite pour catégoriser et relier les concepts fondamentaux. Le processus de développement a impliqué l'identification des entités, propriétés et relations clés à partir de la littérature.
L'analyse a distillé les concepts fondamentaux nécessaires pour modéliser le scénario de confinement de l'AGI, conduisant à l'identification de trois objets agents primaires.
La contribution principale est une ontologie de domaine unique conçue pour fournir un vocabulaire commun et un cadre conceptuel pour la recherche sur le confinement de l'AGI.
L'ontologie est organisée en cinq niveaux hiérarchiques distincts, contenant un total de 32 codes, chacun avec un descripteur associé. Ces niveaux progressent logiquement des concepts fondamentaux abstraits aux mécanismes de mise en œuvre concrets.
L'article inclut des diagrammes ontologiques pour démontrer visuellement les relations prévues entre les concepts identifiés, telles que « contient », « surveille », « menace » et « opère au sein de ».
Une idée clé est l'identification formelle de trois nouveaux objets agents essentiels pour la modélisation du confinement :
Ce modèle tripartite est essentiel pour dépasser les simples récits humains contre IA vers une vision systémique plus nuancée.
Les auteurs postulent que leur travail aborde trois lacunes significatives dans le domaine :
Idée centrale : La contribution la plus précieuse de l'article n'est pas un nouvel algorithme de confinement, mais un méta-cadre crucial. Il diagnostique correctement que le débat sur le confinement de l'AGI est enlisé dans des solutions ad hoc et spécifiques à un domaine (informatique, philosophie, sécurité) et manque d'un langage unifié. En proposant une ontologie de science cyber, il tente de construire la plomberie conceptuelle nécessaire à une recherche rigoureuse et interdisciplinaire. Cela s'aligne sur les leçons des domaines matures ; par exemple, le développement du langage de planification STRIPS a été crucial pour la recherche en planification en IA, fournissant un terrain commun pour la formulation des problèmes et la comparaison des solutions.
Logique : L'argumentation est solide : 1) Le risque de l'AGI est réel et le confinement est nécessaire. 2) La cybersécurité actuelle est insuffisante (un point bien pris, repris dans les critiques de la sécurité du ML par Papernot et al.). 3) Par conséquent, nous avons besoin d'une base plus large — entre en scène la Science Cyber. 4) Pour construire sur cette base, nous avons d'abord besoin d'une ontologie structurée pour définir nos termes et relations. Le passage de l'identification du problème à la solution fondamentale proposée est clair et logique.
Forces et faiblesses : La force est son accent précoce sur la systématisation. Le modèle d'agent tripartite (Humain/AGI/Monde Cyber) est élégant et nécessaire. Cependant, la faiblesse majeure de l'article est son extrême abstraction. Il présente l'existence de l'ontologie (5 niveaux, 32 codes) comme le résultat, sans publier l'ontologie elle-même. Quels sont les 32 codes ? Quels sont les cinq niveaux ? C'est comme annoncer une nouvelle syntaxe de langage de programmation sans en publier la grammaire. Sans ces détails, le travail reste une promesse, limitant son utilité immédiate. De plus, bien que citer la définition de la science cyber de Kott soit astucieux, cela risque d'étirer trop loin l'analogie du « logiciel malveillant » pour un agent superintelligent.
Pistes d'action : Pour les chercheurs : La tâche immédiate est d'opérationnaliser cette ontologie. Publier l'ensemble complet des codes et descripteurs. L'utiliser pour modéliser formellement des scénarios de confinement spécifiques (par exemple, une AGI tentant une exfiltration via un canal caché) et identifier les lacunes dans les stratégies existantes. Pour les praticiens et décideurs politiques : Cet article souligne que la sécurité de l'AGI n'est pas seulement un problème d'IA mais un problème de sécurité des systèmes cyber-physiques à une échelle cosmique. Les investissements devraient affluer non seulement dans la recherche sur l'alignement de l'IA, mais aussi dans les travaux fondamentaux sur le calcul vérifiable, les méthodes formelles pour les systèmes complexes et les architectures cyber-résilientes, comme le promeuvent des institutions comme le programme Guaranteeing AI Robustness against Deception (GARD) de la DARPA.
Bien que le PDF n'élabore pas sur les formalismes mathématiques, une ontologie robuste pour le confinement de l'AGI devrait pouvoir s'exprimer dans un cadre basé sur la logique. Une formalisation potentielle utilisant la logique de description ou la logique du premier ordre pourrait définir les agents, actions et relations de confinement.
Exemple d'extrait formel (conceptuel) :
Soit $A$ l'ensemble des Agents, où $A = \{Humain, AGI, EntitéCyber\}$.
Soit $S$ l'ensemble des États du Monde Cyber.
Soit $Cap(x)$ les capacités de l'agent $x$.
Un axiome de confinement central pourrait être :
$\forall s \in S, \forall a \in A \text{ où } a = AGI: \text{ProtocoleDeConfinement}(s) \rightarrow \text{Limite}(Cap(a), s)$
Ceci énonce que pour tous les états et pour l'agent AGI, un protocole de confinement actif implique une limitation des capacités de l'AGI dans cet état.
L'ontologie implique probablement un modèle de transition d'état où les actions de l'AGI ou des défenseurs humains changent l'état du système, et le confinement est une propriété à vérifier à travers les transitions possibles, similaire à la vérification de modèle en sécurité informatique.
Scénario : Analyse d'un « Bac à sable pour IA » proposé en utilisant l'ontologie de Pittman & Crosby.
Étapes :