1. Введение и основная теза

Данный анализ, основанный на работе Герберта Л. Ройтблата, представляет контринтуитивный и критический взгляд на преобладающий нарратив о скором появлении искусственного общего интеллекта (ИОИ). Центральная теза утверждает, что современные и перспективные модели генеративного ИИ (GenAI), включая большие языковые модели (LLM), в принципе не способны достичь ИОИ из-за фундаментального ограничения, названного «антропогенным долгом». Этот долг означает их сильную, непреодолимую зависимость от человеческого вклада для структурирования задач, проектирования архитектуры и курирования обучающих данных. В статье утверждается, что реальный риск от ИИ исходит не от сверхразума, а от неправильного использования его внутренних ограничений в сочетании с человеческой доверчивостью.

2. Концепция антропогенного долга

Антропогенный долг — это ключевая концептуальная структура, объясняющая, почему современный ИИ не находится на пути к общему интеллекту.

2.1 Определение и компоненты

Антропогенный долг включает три критических зависимости:

  • Хорошо структурированные задачи: Люди должны формулировать задачи таким образом, чтобы ИИ мог их обработать.
  • Проектирование архитектуры: Структура нейронной сети (например, Transformer) — это человеческое изобретение.
  • Курируемые обучающие данные: Огромные наборы данных собираются, фильтруются и размечаются людьми.

Этот долг означает, что системы ИИ не создают новых парадигм решения проблем, а оптимизируются в рамках границ, заданных человеком.

2.2 Человеческий вклад как костыль

Успех моделей вроде GPT-4 часто неправильно интерпретируется. Ройтблат утверждает, что они успешны, потому что люди уже решили ключевые интеллектуальные задачи, оставив модели выполнять «простые вычисления», такие как градиентный спуск. Модель — это мощный аппликатор паттернов, а не определитель или решатель проблем в общем смысле.

3. Фундаментальные барьеры на пути к ИОИ

3.1 Ограничение обучения языковым паттернам

Современный GenAI сводит каждую задачу к задаче обучения языковым паттернам. Будь то программирование, генерация изображений или рассуждение, базовый механизм — это предсказание следующего токена (слова, патча пикселей) на основе статистических корреляций в обучающих данных. Такой подход принципиально ограничен для задач, требующих нелингвистического, абстрактного или нового рассуждения, не запечатлённого в предыдущем человеческом выражении.

3.2 Отсутствие истинной автономии

ИОИ требует автономии — способности ставить собственные цели, определять новые задачи и приобретать навыки без явных инструкций. Как отмечают Лу и др. (2024), LLM лишь следуют инструкциям. Им не хватает внутреннего стремления или способности к автономному овладению навыками — краеугольного камня общего интеллекта.

3.3 Проблема типологии задач

Критическим барьером является неспособность распознать множественные типы задач. Некоторые проблемы, такие как «инсайт-задачи» (например, задача о девяти точках), не могут быть решены путём инкрементальной оптимизации или сопоставления паттернов из данных. Они требуют переструктурирования пространства задачи — способности, отсутствующей в современных системах обучения на основе градиентов.

4. Ошибочные парадигмы оценки

4.1 Неадекватность бенчмарков

Бенчмарки вроде ARC-AGI недостаточны для измерения общности. Прохождение теста не раскрывает, как он был пройден. Модель может использовать узкий, специфичный для теста трюк (например, запоминание) или общий принцип рассуждения. Бенчмарки измеряют производительность, а не базовую общность способности.

4.2 Ошибка утверждения консеквента

В статье подчёркивается ключевая логическая ошибка в оценке ИИ: утверждение консеквента. Форма такова: Если сущность обладает ИОИ, она пройдёт тест T. Сущность проходит тест T. Следовательно, она обладает ИОИ. Это ошибка. Успех в задаче логически не подразумевает использование общего интеллекта, так как тот же результат может быть произведён множеством разных (и менее способных) механизмов.

5. Хайп вокруг ИОИ против реальности

Ключевые метрики в дебатах об ИОИ

  • 88% – Оценочная доля необходимых возможностей ИОИ, уже достигнутых (Томпсон, 2025).
  • 33 000+ – Подписей под открытым письмом Института «Будущее жизни» о приостановке разработки LLM (2023).
  • 2025 – Год Саммита действий по искусственному интеллекту в Париже.

5.1 Прогнозы и заявления

Ландшафт отмечен смелыми прогнозами лидеров индустрии (Алтман, 2025; Лейке и Сатсквер, 2023) о скором появлении ИОИ, часто квантифицированными (например, «88% возможностей»). Им противопоставлены символические предупреждения вроде «часов безопасности ИИ».

5.2 Растущие опасения и регуляторный ответ

Прогнозы вызвали значительную озабоченность. Заявление Центра безопасности ИИ (2023) приравнивает риск ИИ к пандемиям и ядерной войне. Отчёт Гладстона (Харрис и др., 2024), заказанный Госдепартаментом США, предупреждает о рисках, «подобных ОМУ», вызванных конкуренцией лабораторий. Это стимулировало регуляторные усилия, такие как предлагаемый в Калифорнии закон SB-1047 с его мандатом «аварийного отключения», хотя он и был наложен вето.

6. Технический анализ и математический аппарат

Ограничение современных моделей можно частично понять через призму их цели оптимизации. Стандартная LLM обучается максимизировать вероятность следующего токена $x_t$ при заданном контексте $x_{

$$\mathcal{L}_{LLM} = -\sum_{t} \log P(x_t | x_{

где $\theta$ — параметры модели. Эта цель заставляет модель становиться экспертом по интерполяции внутри многообразия обучающих данных. Однако ИОИ требует экстраполяции и абстракции — решения задач вне выпуклой оболочки обучающих примеров. Барьер «инсайт-задачи» можно смоделировать как поиск решения $s^*$ в пространстве $S$, где путь от задачи $p$ к $s^*$ требует недифференцируемого преобразования $T$, не выученного из данных:

$$s^* = T(p), \quad \text{где } \nabla_\theta T \text{ не определён или равен нулю.}$$

Обучение на основе градиентов ($\theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L}$) не может обнаружить такое $T$. Это согласуется с аргументами классического ИИ, такими как «Проблема заземления символов» (Харнад, 1990), которая ставит под вопрос, как семантика может возникать из чисто синтаксических манипуляций.

Рисунок: Разрыв между интерполяцией и экстраполяцией

Концептуальная диаграмма: Двумерная плоскость представляет пространство возможных задач и решений. Плотное облако точек представляет обучающие данные (предоставленные человеком задачи и решения). Современные модели GenAI преуспевают в поиске решений внутри этого облака (интерполяция). Красный «X» отмечает «инсайт-задачу» — её решение лежит вне облака. Ни один гладкий градиентный путь не ведёт от облака к «X»; достижение его требует скачкообразного, разрывного изменения в рассуждении, чего градиентный спуск достичь не может. Это визуально представляет антропогенный долг: модель ограничена облаком данных, предоставленных человеком.

7. Аналитическая структура: Матрица возможностей ИОИ

Чтобы выйти за рамки ошибочного бенчмаркинга, мы предлагаем качественную оценочную матрицу. Вместо вопроса «Прошёл ли он тест?» мы спрашиваем: «Какова природа его способности?» Для любой задачи T оцениваем по двум осям:

  1. Общность метода (G): Является ли метод решения специфичным для T (G=0), применимым к классу задач (G=1) или не зависящим от домена (G=2)?
  2. Автономность в формулировке задачи (A): Была ли задача полностью определена человеком (A=0), частично уточнена системой (A=1) или самостоятельно обнаружена/определена системой (A=2)?

Пример (Бенчмарк ARC-AGI): Модель, которая запоминает решения для конкретных паттернов головоломок ARC, получает оценку (G=0, A=0). Модель, которая выучивает общую эвристику визуального рассуждения, применимую к невиданным головоломкам ARC, получает (G=1, A=0). Система, которая не только решает головоломки ARC, но и самостоятельно идентифицирует новый класс абстрактных головоломок на рассуждение, приблизится к (G=2, A=2). Современные SOTA-модели, вероятно, работают в квадранте (G=0/1, A=0). Истинный ИОИ требует стабильной работы на уровне (G=2, A=2). Эта структура делает ошибку утверждения консеквента явной: высокий балл теста подтверждает только производительность, а не высокие оценки G или A.

8. Перспективы и направления исследований

Достижение ИОИ потребует смены парадигм, а не просто масштабирования текущих архитектур.

  • Модели мира и воплощённое познание: Исследования должны выйти за рамки пассивного предсказания текста к активным агентам, которые строят внутренние модели мира через взаимодействие, как видно в достижениях робототехники и симуляции (например, SIMA от DeepMind). Это снижает зависимость от курируемых лингвистических данных.
  • Нейро-символические гибриды: Интеграция силы распознавания паттернов нейронных сетей с явным, композиционным рассуждением символьного ИИ (как исследуется в лаборатории MIT-IBM Watson) может преодолеть барьер «инсайт-задач».
  • Самонаправленные цели обучения: Разработка алгоритмов внутренней мотивации, позволяющих системам генерировать собственные учебные цели, выходя за рамки определённых человеком функций потерь. Это зарождающаяся область исследований ИИ.
  • Новая наука оценки: Создание бенчмарков, которые явно тестируют общность (G) и автономность (A), возможно, через открытые, автоматически генерируемые наборы испытаний, исследующие навыки метаобучения и формулировки задач.

Самое непосредственное «применение» этого анализа — в политике и инвестициях: регулирование должно фокусироваться на конкретных, краткосрочных вредах от предвзятых или ненадёжных систем, а не на спекулятивном захвате ИОИ. Инвестиции должны направляться на фундаментальные исследования, снижающие антропогенный долг, а не просто на масштабирование данных и параметров.

9. Перспектива критического аналитика

Ключевая идея: Индустрия ИИ страдает от тяжёлого случая «близорукости вывода». Мы заворожены беглым текстом и потрясающими изображениями, принимая статистическую мощь за понимание. «Антропогенный долг» Ройтблата — идеальный термин для этой скрытой зависимости. Это слон в серверной комнате. Каждый «прорыв» при ближайшем рассмотрении оказывается свидетельством человеческой изобретательности в курировании данных и формулировке задач, а не машинно-рождённого интеллекта. Реальная история — не в силе ИИ, а в огромном, часто невидимом, человеческом труде, который заставляет его выглядеть мощным.

Логический поток: Аргумент разрушительно прост и логически безупречен. 1) Определить цель (ИОИ как автономное, общее решение проблем). 2) Изучить инструмент (GenAI как сопоставитель паттернов на человеческих данных). 3) Выявить несоответствие (основная работа инструмента зависит от человеческой предобработки). 4) Диагностировать ошибку (путаница вывода инструмента с требованиями цели). 5) Обнажить системный изъян (методы оценки, которые не могут отличить запоминание от понимания). Это не философия; это базовая инженерная ответственность.

Сильные стороны и недостатки: Сила — в её фундаментальной критике. Она атакует предпосылку всего нарратива «ИОИ близок», ставя под вопрос саму архитектуру надежды. Её недостаток, возможно, в том, что она не полностью вовлекается в контраргумент об эмерджентности — возможности того, что качественно новые способности (вроде рассуждения по цепочке мыслей) возникают при масштабировании способами, которые мы ещё не понимаем. Однако статья правильно парирует, что эмерджентность — не магия; она всё ещё ограничена целью обучения $\mathcal{L}_{LLM}$. Нельзя получить автономность из функции потерь, в которой для неё нет члена.

Практические выводы: Для регуляторов: Игнорируйте научно-фантастический хайп. Регулируйте то, что перед вами: конфиденциальность данных, алгоритмическую предвзятость, вытеснение рабочей силы и экологическую стоимость обучения. «Аварийное отключение» для модели, которая не может завязать свои шнурки, — это спектакль безопасности. Для инвесторов: Относитесь с глубоким скептицизмом к любой компании, чья оценка основана на достижении ИОИ. Делайте ставку на компании, решающие конкретные, ценные проблемы с помощью надёжного ИИ, а не на тех, кто продаёт ИОИ-пустышку. Для исследователей: Прекратите гонку за лидерскими досками бенчмарков. Начинайте проектировать эксперименты, которые намеренно пытаются разрушить иллюзию понимания вашей модели. Стремитесь к архитектурам, минимизирующим антропогенный долг. Путь вперёд лежит не через больше тех же данных, а через принципиально иные принципы обучения. Часы тикают не в обратном отсчёте до ИОИ; они тикают до момента, когда мы осознаем, что оптимизировали не ту функцию.

10. Ссылки

  1. Ройтблат, Г. Л. (Исходный PDF). Некоторые вещи, которые нужно знать о достижении искусственного общего интеллекта.
  2. Шолле, Ф. (2019). Об измерении интеллекта. arXiv препринт arXiv:1911.01547.
  3. Лу, Ю., и др. (2024). [Ссылка на LLM, следующие инструкциям].
  4. Харрис, Дж., Харрис, Т., и Бил, Б. (2024). Отчёт Гладстона. Госдепартамент США.
  5. Центр безопасности ИИ. (2023). Заявление о риске ИИ. https://www.safe.ai/work/statement-on-ai-risk
  6. Институт «Будущее жизни». (2023). Приостановить гигантские эксперименты с ИИ: Открытое письмо. https://futureoflife.org/open-letter/pause-giant-ai-experiments/
  7. Харнад, С. (1990). Проблема заземления символов. Physica D: Нелинейные явления, 42(1-3), 335–346.
  8. Чжу, Дж., и др. (2017). Непарный перевод изображение-в-изображение с использованием согласованных по циклу состязательных сетей. Труды Международной конференции IEEE по компьютерному зрению (ICCV). (CycleGAN как пример обучения без парных, курируемых человеком данных — маленький шаг в снижении одной формы антропогенного долга).
  9. DeepMind. (2024). SIMA: Универсальный агент ИИ для 3D-виртуальных сред. https://www.deepmind.com/sima (Пример исследований, движущихся к воплощённым агентам, строящим модели мира).