Развитие искусственного общего интеллекта (ИОИ) широко считается неизбежным. Однако действия самоосознающего ИОИ непредсказуемы, и значительная часть исследований указывает на существенную вероятность его враждебности по отношению к человеку. Данная статья посвящена своевременной и критически важной исследовательской теме — сдерживанию ИОИ. Хотя существующие работы исследуют такие стратегии, как безопасная семантика языков и песочницы, они часто ограничены рамками своей исходной области. В данном исследовании строится фундаментальная доменная онтология для описания необходимых элементов будущих технологий сдерживания ИОИ, помещая проблему в комплексную структуру кибернауки.
ИОИ представляет собой ИИ с интеллектом на уровне человеческого или выше, способный действовать в динамичных, общих областях. По сравнению со специализированным ИИ это создаёт прямую и постоянную опасность.
Вдохновлённые работой Babcock, Kramar, & Yampolskiy (2016), авторы рассматривают сдерживание как задачу, требующую комбинации традиционных технологий кибербезопасности. Статья признаёт экзистенциальные риски, сформулированные такими мыслителями, как Ник Бостром, что делает сдерживание вопросом первостепенной безопасности.
Признаётся, что традиционные парадигмы (брандмауэры, системы обнаружения вторжений) обладают ограниченной способностью противостоять уникальной, адаптивной угрозе со стороны сверхразумного ИОИ. Их реактивный характер плохо подходит для проактивного общего интеллекта.
Статья обращается к кибернауке — зарождающейся области, предлагающей более всеобъемлющий контекст знаний. Она использует определение киберопераций Котта (2015), включающее вредоносное программное обеспечение, проводя параллель, согласно которой ИОИ или его механизм сдерживания могут рассматриваться как «вредоносные» с противоположной точки зрения, что подчёркивает необходимость структурированной онтологии для организации этих конструкций.
Онтология была разработана путём систематического анализа существующей академической литературы по ИОИ, кибербезопасности и стратегиям сдерживания.
Была построена иерархическая, предметно-ориентированная онтология для категоризации и установления связей между ключевыми концепциями. Процесс разработки включал выявление ключевых сущностей, свойств и взаимосвязей из литературы.
Анализ позволил выделить фундаментальные конструкции, необходимые для моделирования сценария сдерживания ИОИ, что привело к идентификации трёх основных объектов-агентов.
Основной вклад — единая доменная онтология, предназначенная для предоставления общего словаря и концептуальной основы для исследований в области сдерживания ИОИ.
Онтология организована в пять различных иерархических уровней, содержащих в общей сложности 32 кода, каждый с соответствующим дескриптором. Эти уровни логически развиваются от абстрактных фундаментальных концепций к конкретным механизмам реализации.
Статья включает диаграммы онтологии, чтобы наглядно продемонстрировать предполагаемые взаимосвязи между выявленными конструкциями, такие как «содержит», «мониторит», «угрожает» и «функционирует внутри».
Ключевое понимание — формальная идентификация трёх новых объектов-агентов, критически важных для моделирования сдерживания:
Эта трёхчастная модель необходима для перехода от упрощённых нарративов «человек против ИИ» к более нюансированному системному взгляду.
Авторы утверждают, что их работа устраняет три значительных пробела в данной области:
Ключевая идея: Наиболее ценным вкладом статьи является не новый алгоритм сдерживания, а важнейший мета-фреймворк. Она верно диагностирует, что дебаты о сдерживании ИОИ увязли в ситуативных, узкоспециальных решениях (информатика, философия, безопасность) и испытывают недостаток единого языка. Предлагая онтологию на основе кибернауки, она пытается построить концептуальную инфраструктуру, необходимую для строгих междисциплинарных исследований. Это согласуется с уроками зрелых областей; например, разработка языка планирования STRIPS была ключевой для исследований в области планирования ИИ, предоставив общую основу для формулировки проблем и сравнения решений.
Логика: Аргументация убедительна: 1) Риск ИОИ реален, и сдерживание необходимо. 2) Современная кибербезопасность недостаточна (обоснованный тезис, отражённый, например, в критике безопасности машинного обучения Papernot и др.). 3) Следовательно, нам нужен более широкий фундамент — здесь вступает Кибернаука. 4) Чтобы строить на этом фундаменте, нам сначала нужна структурированная онтология для определения наших терминов и взаимосвязей. Переход от идентификации проблемы к предлагаемому фундаментальному решению ясен и логичен.
Сильные и слабые стороны: Сильная сторона — её прозорливый фокус на систематизации. Трёхчастная модель агентов (Человек/ИОИ/Кибермир) элегантна и необходима. Однако главный недостаток статьи — её крайняя абстрактность. Она представляет факт существования онтологии (5 уровней, 32 кода) как результат, не публикуя саму онтологию. Каковы эти 32 кода? Каковы пять уровней? Это похоже на анонс нового синтаксиса языка программирования без публикации его грамматики. Без этих деталей работа остаётся обещанием, ограничивая её непосредственную полезность. Кроме того, хотя ссылка на определение кибернауки Котта остроумна, она рискует чрезмерно растянуть аналогию с «вредоносным ПО» применительно к сверхразумному агенту.
Практические выводы: Для исследователей: Непосредственная задача — операционализировать эту онтологию. Опубликовать полный набор кодов и дескрипторов. Использовать её для формального моделирования конкретных сценариев сдерживания (например, попытка ИОИ осуществить утечку данных через побочный канал) и выявления пробелов в существующих стратегиях. Для практиков и политиков: Эта статья подчёркивает, что безопасность ИОИ — это не только проблема ИИ, но и проблема безопасности киберфизических систем космического масштаба. Инвестиции должны направляться не только в исследования по согласованию ИИ, но и в фундаментальные работы по верифицируемым вычислениям, формальным методам для сложных систем и киберустойчивым архитектурам, как это продвигается такими организациями, как программа DARPA «Гарантирование устойчивости ИИ к обману (GARD)».
Хотя PDF-версия не раскрывает математические формализмы, надёжная онтология для сдерживания ИОИ должна быть выразима в рамках логического аппарата. Возможная формализация с использованием логики описаний или логики первого порядка могла бы определить агентов, действия и отношения сдерживания.
Пример формального фрагмента (концептуальный):
Пусть $A$ — множество Агентов, где $A = \{Human, AGI, CyberEntity\}$.
Пусть $S$ — множество Состояний Кибермира.
Пусть $Cap(x)$ обозначает возможности агента $x$.
Основная аксиома сдерживания может выглядеть так:
$\forall s \in S, \forall a \in A \text{ где } a = AGI: \text{ContainmentProtocol}(s) \rightarrow \text{Limits}(Cap(a), s)$
Это утверждает, что для всех состояний и для агента ИОИ активный протокол сдерживания подразумевает ограничение возможностей ИОИ в этом состоянии.
Онтология, вероятно, подразумевает модель переходов состояний, где действия ИОИ или защитников-людей изменяют состояние системы, а сдерживание — это свойство, которое должно проверяться на всех возможных переходах, аналогично верификации моделей в компьютерной безопасности.
Сценарий: Анализ предлагаемой «Песочницы для ИИ» с использованием онтологии Pittman & Crosby.
Шаги: