1. 引言

通用人工智能（AGI）的发展被广泛认为是不可避免的。然而，具有自我意识的AGI的行为具有不确定性，大量研究表明其存在对人类产生敌意的非微不足道的可能性。本文探讨了AGI安全围堵这一及时且关键的研究课题。虽然现有工作探索了诸如安全语言语义和沙箱等策略，但它们往往受限于其起源领域。本研究构建了一个基础领域本体论，用以描述未来AGI围堵技术所需的要素，并将该问题置于网络科学的综合框架之中。

2. 背景与动机

AGI代表智能达到或超越人类能力、能在动态、通用范围内运作的人工智能。与狭义AI相比，这构成了直接且持续的危险。

2.1 AGI安全围堵问题

受Babcock、Kramar和Yampolskiy（2016）的启发，围堵被视为需要结合传统网络安全技术。本文认识到Nick Bostrom等思想家所阐述的存在性风险，这使得围堵成为至关重要的安全问题。

2.2 传统网络安全的局限性

传统范式（防火墙、入侵检测）被认为在应对超级智能AGI这种独特、自适应的威胁方面能力有限。其被动性特质不适合应对主动的、通用智能体。

2.3 网络科学的视角

本文转向网络科学，这是一个新兴领域，提供了更全面的知识背景。它借鉴了Kott（2015）对涉及恶意软件的网空行动的定义，并进行了类比：从对立视角看，AGI或其围堵装置可被视为“恶意”的，这凸显了需要一个结构化的本体论来组织这些构成要素。

3. 方法论：本体论构建

该本体论是通过对AGI、网络安全和围堵策略的现有学术文献进行系统分析而构建的。

3.1 本体论结构与层级

构建了一个分层的、领域特定的本体论，用于分类和关联核心概念。构建过程包括从文献中识别关键实体、属性和关系。

3.2 核心构成要素与智能体对象

分析提炼了建模AGI围堵场景所需的基本构成要素，从而识别出三个主要的智能体对象。

4. 提出的本体论

核心贡献是一个单一的领域本体论，旨在为AGI围堵研究提供通用的词汇表和概念框架。

4.1 五层结构

该本体论组织为五个不同的层级，共包含32个代码，每个代码都有相关的描述符。这些层级从抽象的基础概念到具体的实施机制，逻辑递进。

本体论概要

  • 层级数： 5
  • 总代码数： 32
  • 主要智能体对象： 3（人类、AGI、网络世界）

4.2 关键关系与图示

本文包含本体论图示，以可视化方式展示已识别构成要素之间的预期关系，例如“包含”、“监控”、“威胁”和“在…内运作”。

4.3 新型智能体对象：人类、AGI、网络世界

一个关键洞见是正式识别了三个对建模围堵至关重要的新型智能体对象：

  • 人类： 防御者、政策制定者和潜在目标。
  • AGI： 被围堵的实体，拥有通用智能和能动性。
  • 网络世界： 交互和围堵发生的数字环境和基础设施。

这种三方模型对于超越简单的人机对抗叙事，转向更细致的系统视角至关重要。

5. 解决的关键空白

作者认为他们的工作解决了该领域的三个重大空白：

  1. 识别和排列基本构成要素： 提供了结构化的词汇表。
  2. 将AGI围堵置于网络科学之中： 将讨论从孤立的技术修补转向系统性的学科。
  3. 发展科学严谨性： 为可检验的假设和形式化模型奠定了基础。

6. 分析视角：核心洞见、逻辑脉络、优势与缺陷、可操作见解

核心洞见： 本文最有价值的贡献并非新的围堵算法，而是一个关键的元框架。它正确地诊断出，AGI围堵的争论深陷于特定领域（计算机科学、哲学、安全）的临时解决方案中，缺乏统一的语言。通过提出一个网络科学本体论，它试图为严谨的跨学科研究构建必要的概念管道。这与成熟领域的经验教训相符；例如，STRIPS规划语言的发展对AI规划研究至关重要，为问题表述和解决方案比较提供了共同基础。

逻辑脉络： 论证是合理的：1）AGI风险真实存在，需要围堵。2）当前的网络安全不足（这是一个被广泛接受的观点，Papernot等人对机器学习安全的批评也呼应了这一点）。3）因此，我们需要一个更广泛的基础——网络科学。4）要在这个基础上构建，我们首先需要一个结构化的本体论来定义我们的术语和关系。从问题识别到提出基础解决方案的脉络清晰且合乎逻辑。

优势与缺陷： 优势在于其具有前瞻性地关注系统化。三方智能体模型（人类/AGI/网络世界）优雅且必要。然而，本文的主要缺陷在于其极高的抽象性。它将本体论的存在（5个层级，32个代码）作为结果呈现，却没有公布本体论本身。32个代码是什么？五个层级是什么？这好比宣布了一种新的编程语言语法，却没有发布语法规则。没有这些细节，这项工作仍是一张空头支票，限制了其即时效用。此外，虽然引用Kott的网络科学定义很巧妙，但对于超级智能体而言，将“恶意软件”的类比延伸得过远存在风险。

可操作见解： 对于研究人员：当前任务是操作化这个本体论。发布完整的代码集和描述符。用它来形式化建模特定的围堵场景（例如，AGI试图通过侧信道外泄数据），并识别现有策略的空白。对于从业者和政策制定者：本文强调，AGI安全不仅是一个AI问题，更是一个宇宙尺度的信息物理系统安全问题。投资不仅应流向AI对齐研究，还应流向可验证计算、复杂系统形式化方法以及网络弹性架构等基础工作，正如DARPA的保障人工智能抗欺骗鲁棒性（GARD）等项目所倡导的那样。

7. 技术细节与数学框架

虽然PDF文件没有详细阐述数学形式化，但一个稳健的AGI围堵本体论应该可以用基于逻辑的框架来表达。使用描述逻辑或一阶逻辑的潜在形式化可以定义智能体、行动和围堵关系。

示例形式化片段（概念性）：
令 $A$ 为智能体集合，其中 $A = \{Human, AGI, CyberEntity\}$。
令 $S$ 为网络世界的状态集合。
令 $Cap(x)$ 表示智能体 $x$ 的能力。
一个核心围堵公理可能是：
$\forall s \in S, \forall a \in A \text{ where } a = AGI: \text{ContainmentProtocol}(s) \rightarrow \text{Limits}(Cap(a), s)$
这表明对于所有状态和AGI智能体，活跃的围堵协议意味着在该状态下对AGI能力的限制。

该本体论可能暗示了一个状态转移模型，其中AGI或人类防御者的行动改变了系统状态，而围堵是需要跨可能转移进行验证的属性，类似于计算机安全中的模型检验。

8. 分析框架：示例案例研究

场景： 使用Pittman & Crosby本体论分析一个提议的“AI沙箱”。

步骤：

  1. 映射实体：
    • 智能体（AGI）： 沙箱中的AI模型。
    • 智能体（人类）： 操作沙箱的研究团队。
    • 智能体（网络世界）： 沙箱环境（虚拟化网络、模拟API、资源限制）。
  2. 识别本体论代码： 应用本体论32个描述符中的相关代码。例如：
    • 层级1（元）：围堵目标
    • 层级2（战略）：防止数据外泄
    • 层级3（战术）：资源配额强制执行、网络分段
    • 层级4（操作）：系统调用拦截
    • 层级5（实施）：内核模块
  3. 评估关系： 沙箱是否强制执行网络世界智能体与AGI智能体能力之间的“限制”关系？它是否为人类智能体提供了对AGI状态的“监控”关系？本体论突出了关键关系是否缺失（例如，没有机制让AGI在不破坏围堵的情况下发出对更多资源的合法需求信号）。
  4. 差距分析： 该框架迫使人们提问：“此设计中哪些本体论层级薄弱或缺失？”一个在层级5（实施）上很强但在层级1（元/目标）上不明确的沙箱，在战术上合理但在战略上缺乏方向。

9. 未来应用与研究方向

  • 标准化与基准测试： 该本体论可演变为一个标准（类似于网络安全的MITRE ATT&CK），用于分类围堵策略，并根据通用智能体的威胁模型对其覆盖范围进行基准测试。
  • 形式化验证： 将本体论与形式化方法工具集成，以证明围堵架构的属性。加州大学伯克利分校机器学习安全倡议的研究可以与此本体论框架相结合。
  • 仿真与训练： 构建高保真仿真环境（“AGI围堵测试场”），在其中基于不同本体论的围堵策略将接受具有各种能力和目标的模拟AGI智能体的压力测试。
  • 政策与治理： 通过提供清晰的围堵机制分类及其保障措施，为AGI开发的国际治理框架提供信息，类似于国际原子能机构使用保障类别的方式。
  • 与AI对齐的交叉融合： 将技术围堵本体论与价值对齐理论（例如，协作逆强化学习）联系起来，以开发结合外部限制与内部价值约束的综合安全方法。

10. 参考文献

  1. Pittman, J. M., & Crosby, C. (2018). A Cyber Science Based Ontology for Artificial General Intelligence Containment. arXiv preprint arXiv:1801.09317.
  2. Babcock, J., Kramar, J., & Yampolskiy, R. V. (2016). The AGI Containment Problem. In Proceedings of the 9th International Conference on Artificial General Intelligence (AGI 2016).
  3. Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press.
  4. Kott, A. (Ed.). (2015). Cyber Defense and Situational Awareness. Springer.
  5. Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., & Mané, D. (2016). Concrete Problems in AI Safety. arXiv preprint arXiv:1606.06565.
  6. Papernot, N., McDaniel, P., Goodfellow, I., Jha, S., Celik, Z. B., & Swami, A. (2017). Practical Black-Box Attacks against Machine Learning. In Proceedings of the 2017 ACM on Asia Conference on Computer and Communications Security.
  7. Russell, S., Dewey, D., & Tegmark, M. (2015). Research Priorities for Robust and Beneficial Artificial Intelligence. AI Magazine, 36(4).
  8. DARPA. (n.d.). Guaranteeing AI Robustness against Deception (GARD). Retrieved from https://www.darpa.mil/program/guaranteeing-ai-robustness-against-deception