이 분석은 Herbert L. Roitblat의 연구를 바탕으로, 인공 일반 지능(AGI)의 임박한 도래를 둘러싼 주류 담론에 대한 반대적이고 비판적인 시각을 제시합니다. 핵심 논지는 현재와 가까운 미래의 생성형 AI(GenAI) 모델, 대규모 언어 모델(LLM)을 포함하여, "인류 기원 부채"라고 명명된 근본적 제약으로 인해 AGI를 달성하는 것이 근본적으로 불가능하다는 것입니다. 이 부채는 문제 구조화, 아키텍처 설계, 선별된 학습 데이터에 대한 AI의 심각하고 불가피한 인간 입력 의존성을 의미합니다. 본 논문은 AI의 실제 위험은 초지능에서 비롯되는 것이 아니라, 그 고유한 한계와 인간의 경솔함이 결합되어 오용될 때 발생한다고 주장합니다.
인류 기원 부채는 현대 AI가 일반 지능으로 가는 길에 있지 않은 이유를 설명하는 핵심 개념적 프레임워크입니다.
인류 기원 부채는 세 가지 중요한 의존성을 포함합니다:
이 부채는 AI 시스템이 새로운 문제 해결 패러다임을 창조하는 것이 아니라, 인간이 정의한 경계 내에서 최적화를 수행한다는 것을 의미합니다.
GPT-4와 같은 모델의 성공은 종종 오해됩니다. Roitblat은 인간이 이미 핵심 지적 과제를 해결했기 때문에, 모델이 경사 하강법과 같은 "단순한 계산"을 수행하는 데 성공한다고 주장합니다. 이 모델은 강력한 패턴 적용자이지, 일반적인 의미에서 문제 정의자나 해결자가 아닙니다.
현재 GenAI는 모든 문제를 언어 패턴 학습 문제로 취급합니다. 코딩, 이미지 생성, 추론이든 상관없이, 근본적인 메커니즘은 학습 데이터의 통계적 상관관계를 기반으로 다음 토큰(단어, 픽셀 패치)을 예측하는 것입니다. 이 접근법은 비언어적, 추상적, 또는 이전 인간 표현에 담기지 않은 새로운 추론을 요구하는 문제에 대해 본질적으로 제한적입니다.
AGI는 자율성—자체 목표 설정, 새로운 문제 정의, 명시적 지시 없이 기술 습득 능력—을 요구합니다. Lu 외(2024)가 지적했듯이, LLM은 단지 지시를 따를 뿐입니다. 그들은 일반 지능의 초석인 자율적 기술 숙달을 위한 내재적 동기나 능력이 부족합니다.
중요한 장벽은 다중 문제 유형을 인식하지 못하는 것입니다. "통찰 문제"(예: 9점 문제)와 같은 일부 문제는 점진적 최적화나 데이터의 패턴 매칭으로 해결될 수 없습니다. 그들은 문제 공간의 재구조화를 요구하는데, 이는 현재 경사 기반 학습 시스템에 부재한 능력입니다.
ARC-AGI와 같은 벤치마크는 일반성을 측정하기에 불충분합니다. 테스트를 통과한다고 해서 어떻게 통과했는지 알 수 없습니다. 모델은 좁고 테스트 특화적인 속임수(예: 암기)나 일반적인 추론 원리를 사용했을 수 있습니다. 벤치마크는 성능을 측정할 뿐, 역량의 근본적인 일반성을 측정하지는 않습니다.
본 논문은 AI 평가에서의 핵심 논리적 오류인 결과 긍정의 오류를 강조합니다. 그 형식은 다음과 같습니다: 어떤 개체가 AGI를 가지고 있다면, 테스트 T를 통과할 것이다. 그 개체는 테스트 T를 통과했다. 따라서, 그 개체는 AGI를 가지고 있다. 이것은 오류입니다. 작업 성공은 논리적으로 일반 지능의 사용을 의미하지 않습니다. 동일한 출력은 여러 다른(그리고 덜 능력 있는) 메커니즘에 의해 생성될 수 있기 때문입니다.
이 분야는 산업계 리더들(Altman, 2025; Leike & Sutskever, 2023)의 단기 AGI에 대한 대담한 예측(예: "역량의 88%")과 "AI 안전 시계"와 같은 상징적 경고가 대비되는 특징을 보입니다.
예측들은 상당한 우려를 불러일으켰습니다. Center for AI Safety(2023) 성명은 AI 위험을 팬데믹과 핵전쟁에 비유합니다. 미국 국무부가 의뢰한 Gladstone Report(Harris 외, 2024)는 연구실 경쟁에 의해 추동되는 "대량살상무기와 유사한" 위험을 경고합니다. 이는 거부권이 행사되었지만, 캘리포니아의 제안된 SB-1047 법안과 같은 "킬 스위치" 의무화 같은 규제적 노력을 촉발시켰습니다.
현재 모델의 한계는 그 최적화 목표를 통해 부분적으로 이해될 수 있습니다. 표준 LLM은 주어진 문맥 $x_{ $$\mathcal{L}_{LLM} = -\sum_{t} \log P(x_t | x_{ 여기서 $\theta$는 모델 파라미터입니다. 이 목표는 모델이 학습 데이터 매니폴드 내에서 보간 전문가가 되도록 강제합니다. 그러나 AGI는 외삽과 추상화—학습 예제의 볼록 껍질 외부에 있는 문제 해결—를 요구합니다. "통찰 문제" 장벽은 공간 $S$에서 해결책 $s^*$를 찾는 것으로 모델링될 수 있으며, 여기서 문제 $p$에서 $s^*$로의 경로는 데이터에서 학습되지 않은 비미분 가능한 변환 $T$를 요구합니다: $$s^* = T(p), \quad \text{where } \nabla_\theta T \text{ is undefined or zero.}$$ 경사 기반 학습($\theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L}$)은 그러한 $T$를 발견할 수 없습니다. 이는 순수 구문 조작에서 의미론이 어떻게 발생할 수 있는지 의문을 제기하는 "기호 접지 문제"(Harnad, 1990)와 같은 고전 AI의 주장과 일치합니다. 개념도: 2D 평면은 가능한 문제와 해결책의 공간을 나타냅니다. 점들의 밀집 구름은 학습 데이터(인간이 제공한 문제와 해결책)를 나타냅니다. 현재 GenAI 모델은 이 구름 내에서 해결책을 찾는 데(보간) 탁월합니다. 빨간색 "X"는 "통찰 문제"를 표시합니다—그 해결책은 구름 외부에 있습니다. 구름에서 "X"로 이끄는 부드러운 경사 경로는 없습니다; 도달하기 위해서는 추론의 불연속적 도약이 필요하며, 이는 경사 하강법이 달성할 수 없는 것입니다. 이것은 인류 기원 부채를 시각적으로 나타냅니다: 모델은 인간이 제공한 데이터 구름에 갇혀 있습니다.
그림: 보간 vs 외삽 간극
오류 투성이의 벤치마킹을 넘어서기 위해, 우리는 정성적 평가 매트릭스를 제안합니다. "테스트를 통과했는가?" 대신 "그 역량의 본질은 무엇인가?"라고 묻습니다. 모든 작업 T에 대해 두 축을 따라 평가합니다:
사례 예시 (ARC-AGI 벤치마크): 특정 ARC 퍼즐 패턴에 대한 해결책을 암기하는 모델은 (G=0, A=0) 점수를 받습니다. 보지 못한 ARC 퍼즐에 적용 가능한 일반적인 시각 추론 휴리스틱을 학습하는 모델은 (G=1, A=0) 점수를 받습니다. ARC 퍼즐을 해결할 뿐만 아니라 자체적으로 새로운 종류의 추상 추론 퍼즐 클래스를 식별하는 시스템은 (G=2, A=2)에 접근할 것입니다. 현재 최첨단(SOTA) 모델은 아마도 (G=0/1, A=0) 사분면에서 작동할 것입니다. 진정한 AGI는 (G=2, A=2)에서 일관되게 작동하는 것을 요구합니다. 이 프레임워크는 결과 긍정의 오류를 명시적으로 만듭니다: 높은 테스트 점수는 성능만을 확인할 뿐, 높은 G나 A 점수를 확인하지는 않습니다.
AGI 달성은 현재 아키텍처의 단순한 확장이 아닌 패러다임 전환을 요구할 것입니다.
이 분석의 가장 즉각적인 "적용"은 정책과 투자에 있습니다: 규제는 추측성 AGI 점령이 아닌, 편향되거나 신뢰할 수 없는 시스템으로부터의 구체적이고 단기적인 해악에 초점을 맞춰야 합니다. 투자는 단순히 데이터와 파라미터를 확장하는 것이 아닌, 인류 기원 부채를 줄이는 기초 연구로 향해야 합니다.
핵심 통찰: AI 산업은 심각한 "출력 근시안"에 시달리고 있습니다. 우리는 유창한 텍스트와 놀라운 이미지에 매료되어 통계적 능력을 이해력으로 오해하고 있습니다. Roitblat의 "인류 기원 부채"는 이 숨겨진 의존성을 위한 완벽한 용어입니다. 서버실 안의 코끼리입니다. 모든 "돌파구"는 검토해보면, 기계 탄생 지능이 아닌 데이터 큐레이션과 문제 구성에서의 인간 창의성에 대한 증거입니다. 진짜 이야기는 AI의 힘이 아니라, 그것을 강력해 보이게 만드는 거대하고 종종 보이지 않는 인간 노동입니다.
논리적 흐름: 이 주장은 압도적으로 단순하고 논리적으로 완벽합니다. 1) 목표 정의(자율적, 일반 문제 해결로서의 AGI). 2) 도구 검토(인간 데이터에 대한 패턴 매처로서의 GenAI). 3) 불일치 식별(도구의 핵심 작동이 인간 사전 처리에 의존적). 4) 오류 진단(도구의 출력을 목표의 요구사항과 혼동). 5) 체계적 결함 폭로(암기와 이해를 구별할 수 없는 평가 방법). 이것은 철학이 아닙니다; 기본적인 엔지니어링 책임입니다.
강점과 결함: 강점은 그 기초적 비판에 있습니다. 희망의 아키텍처 자체를 의심함으로써 "AGI가 가깝다"는 전체 서사를 공격합니다. 그 결함은 아마도, 규모에서 질적으로 새로운 능력(예: 사고의 연쇄 추론)이 우리가 아직 이해하지 못하는 방식으로 나타날 가능성인 창발성에 대한 반론과 완전히 맞서지 않는다는 점일 것입니다. 그러나 논문은 올바르게 반박합니다: 창발성은 마법이 아닙니다; 그것은 여전히 훈련 목표 $\mathcal{L}_{LLM}$에 의해 제한됩니다. 그것을 위한 항이 없는 손실 함수에서 자율성이 창발될 수는 없습니다.
실행 가능한 통찰: 정책 입안자들에게: 공상과학적 과대 선전은 무시하십시오. 눈앞에 있는 것—데이터 프라이버시, 알고리즘 편향, 노동 대체, 훈련의 환경 비용—을 규제하십시오. 스스로 신발 끈을 묶을 수 없는 모델을 위한 "킬 스위치"는 보안 쇼에 불과합니다. 투자자들에게: AGI 달성에 기반한 가치 평가를 가진 회사에 대해 깊이 회의적이십시오. AGI 허풍을 파는 회사가 아닌, 강력한 AI로 구체적이고 가치 있는 문제를 해결하는 회사에 투자하십시오. 연구자들에게: 벤치마크 리더보드를 좇는 것을 멈추십시오. 모델의 이해력 환상을 의도적으로 깨뜨리려는 실험을 설계하십시오. 인류 기원 부채를 최소화하는 아키텍처를 추구하십시오. 앞으로의 길은 더 많은 동일한 데이터를 통한 것이 아니라, 근본적으로 다른 학습 원리를 통한 것입니다. 시계는 AGI로 카운트다운되고 있는 것이 아니라, 우리가 잘못된 함수를 최적화해 왔다는 순간을 깨닫는 것으로 카운트다운되고 있습니다.