1. مقدمه

توسعه هوش عمومی مصنوعی به‌طور گسترده‌ای اجتناب‌ناپذیر تلقی می‌شود. با این حال، اقدامات یک هوش عمومی مصنوعی خودآگاه نامشخص است و تحقیقات قابل توجهی احتمال غیربدیهی خصومت آن نسبت به انسان‌ها را نشان می‌دهد. این مقاله به موضوع پژوهشی به‌موقع و حیاتی مهار هوش عمومی مصنوعی می‌پردازد. در حالی که کارهای موجود راهبردهایی مانند معناشناسی زبان امن و محیط ایزوله را بررسی می‌کنند، اغلب توسط حوزه مبدأ خود محدود شده‌اند. این مطالعه یک هستان‌شناسی حوزه‌ای بنیادی می‌سازد تا عناصر لازم برای فناوری‌های آتی مهار هوش عمومی مصنوعی را توصیف کند و مسئله را در چارچوب جامع علوم سایبری جای می‌دهد.

2. پیشینه و انگیزه

هوش عمومی مصنوعی نمایانگر هوش مصنوعی با قابلیت هوشی در سطح یا فراتر از توانایی انسان است که در حوزه‌های پویا و عمومی عمل می‌کند. این امر در مقایسه با هوش مصنوعی محدود، خطری مستقیم و پایدار ایجاد می‌کند.

2.1 مسئله مهار هوش عمومی مصنوعی

با الهام از بابکوک، کرامار و یامپولسکی (۲۰۱۶)، مهار به‌عنوان نیازمند ترکیبی از فناوری‌های سنتی امنیت سایبری دیده می‌شود. این مقاله ریسک‌های وجودی مطرح‌شده توسط متفکرانی مانند نیک بوستروم را به رسمیت می‌شناسد و مهار را به یک نگرانی ایمنی برتر تبدیل می‌کند.

2.2 محدودیت‌های امنیت سایبری سنتی

شناخته شده است که پارادایم‌های سنتی (دیواره‌های آتش، تشخیص نفوذ) ظرفیت محدودی برای مقابله با تهدید منحصربه‌فرد و سازگار یک هوش عمومی مصنوعی فراهوشمند دارند. ماهیت واکنشی آن‌ها برای یک هوش عمومی پیش‌کننده مناسب نیست.

2.3 دیدگاه علوم سایبری

این مقاله به علوم سایبری، حوزه‌ای نوپا که زمینه دانش جامع‌تری ارائه می‌دهد، می‌پردازد. این مقاله از تعریف کات (۲۰۱۵) از عملیات سایبری شامل نرم‌افزارهای مخرب بهره می‌برد، و تشابهی ترسیم می‌کند که در آن یک هوش عمومی مصنوعی یا دستگاه مهار آن می‌تواند از دیدگاه مقابل به‌عنوان «مخرب» دیده شود، که نیاز به یک هستان‌شناسی ساختاریافته برای سازماندهی این سازه‌ها را برجسته می‌کند.

3. روش‌شناسی: توسعه هستان‌شناسی

هستان‌شناسی از طریق تحلیل سیستماتیک ادبیات دانشگاهی موجود در مورد هوش عمومی مصنوعی، امنیت سایبری و راهبردهای مهار توسعه یافت.

3.1 ساختار و سطوح هستان‌شناسی

یک هستان‌شناسی سلسله‌مراتبی و حوزه‌خاص برای دسته‌بندی و مرتبط‌سازی مفاهیم اصلی ساخته شد. فرآیند توسعه شامل شناسایی موجودیت‌ها، ویژگی‌ها و روابط کلیدی از ادبیات بود.

3.2 سازه‌های اصلی و اشیاء عاملی

تحلیل، سازه‌های بنیادی لازم برای مدل‌سازی سناریوی مهار هوش عمومی مصنوعی را تقطیر کرد و منجر به شناسایی سه شیء عاملی اولیه شد.

4. هستان‌شناسی پیشنهادی

مشارکت اصلی، یک هستان‌شناسی حوزه‌ای واحد است که برای ارائه واژگان مشترک و چارچوب مفهومی برای پژوهش مهار هوش عمومی مصنوعی طراحی شده است.

4.1 ساختار پنج‌سطحی

هستان‌شناسی در پنج سطح سلسله‌مراتبی متمایز سازماندهی شده است که در مجموع شامل ۳۲ کد است که هر کدام یک توصیف‌گر مرتبط دارند. این سطوح به‌طور منطقی از مفاهیم بنیادی انتزاعی به سازوکارهای اجرایی عینی پیشرفت می‌کنند.

خلاصه هستان‌شناسی

  • سطوح: ۵
  • کل کدها: ۳۲
  • اشیاء عاملی اولیه: ۳ (انسان، هوش عمومی مصنوعی، جهان سایبری)

4.2 روابط کلیدی و نمودارها

این مقاله شامل نمودارهای هستان‌شناسی است تا روابط مورد نظر بین سازه‌های شناسایی‌شده، مانند «شامل می‌شود»، «نظارت می‌کند»، «تهدید می‌کند» و «درون آن عمل می‌کند» را به‌طور بصری نشان دهد.

4.3 اشیاء عاملی جدید: انسان، هوش عمومی مصنوعی، جهان سایبری

یک بینش کلیدی، شناسایی رسمی سه شیء عاملی جدید حیاتی برای مدل‌سازی مهار است:

  • انسان: مدافعان، سیاست‌گذاران و اهداف بالقوه.
  • هوش عمومی مصنوعی: موجودیت مهارشده، دارای هوش عمومی و عاملیت.
  • جهان سایبری: محیط دیجیتال و زیرساختی که تعامل و مهار در آن رخ می‌دهد.

این مدل سه‌گانه برای حرکت فراتر از روایت‌های ساده انسان در مقابل هوش مصنوعی به یک دیدگاه سیستمی ظریف‌تر ضروری است.

5. شکاف‌های حیاتی مورد توجه

نویسندگان ادعا می‌کنند که کار آن‌ها سه شکاف مهم در این حوزه را مورد توجه قرار می‌دهد:

  1. شناسایی و چینش سازه‌های بنیادی: یک واژگان ساختاریافته ارائه می‌دهد.
  2. جای‌دهی مهار هوش عمومی مصنوعی در علوم سایبری: بحث را از راه‌حل‌های فنی منزوی به یک رشته سیستمی منتقل می‌کند.
  3. توسعه دقت علمی: زمینه‌سازی برای فرضیه‌های قابل آزمایش و مدل‌های رسمی را فراهم می‌کند.

6. دیدگاه تحلیلی: بینش اصلی، جریان منطقی، نقاط قوت و ضعف، بینش‌های عملی

بینش اصلی: ارزشمندترین مشارکت مقاله یک الگوریتم مهار جدید نیست، بلکه یک فراچارچوب حیاتی است. این مقاله به درستی تشخیص می‌دهد که بحث مهار هوش عمومی مصنوعی در راه‌حل‌های موردی و حوزه‌خاص (علوم کامپیوتر، فلسفه، امنیت) گرفتار شده و فاقد یک زبان یکپارچه است. با پیشنهاد یک هستان‌شناسی علوم سایبری، سعی می‌کند لوله‌کشی مفهومی لازم برای پژوهش‌های دقیق و بین‌رشته‌ای را بسازد. این امر با درس‌های حوزه‌های بالغ همسو است؛ برای مثال، توسعه زبان برنامه‌ریزی STRIPS برای پژوهش برنامه‌ریزی هوش مصنوعی محوری بود و زمینه مشترکی برای فرمول‌بندی مسئله و مقایسه راه‌حل فراهم کرد.

جریان منطقی: استدلال محکم است: ۱) ریسک هوش عمومی مصنوعی واقعی است و مهار لازم است. ۲) امنیت سایبری کنونی ناکافی است (نکته‌ای به‌جا، که در نقدهای امنیت یادگیری ماشین توسط پیپرنات و همکاران تکرار شده است). ۳) بنابراین، ما به یک بنیان گسترده‌تر نیاز داریم – علوم سایبری وارد می‌شود. ۴) برای ساختن در این بنیان، ابتدا به یک هستان‌شناسی ساختاریافته نیاز داریم تا اصطلاحات و روابط خود را تعریف کنیم. جریان از شناسایی مسئله به راه‌حل بنیادی پیشنهادی واضح و منطقی است.

نقاط قوت و ضعف: نقطه قوت آن تمرکز دوراندیشانه بر سیستماتیک‌سازی است. مدل عاملی سه‌گانه (انسان/هوش عمومی مصنوعی/جهان سایبری) ظریف و ضروری است. با این حال، ضعف عمده مقاله انتزاع شدید آن است. این مقاله وجود هستان‌شناسی (۵ سطح، ۳۲ کد) را به‌عنوان نتیجه ارائه می‌دهد، بدون اینکه خود هستان‌شناسی را منتشر کند. ۳۲ کد کدام‌اند؟ پنج سطح کدام‌اند؟ این شبیه اعلام نحو یک زبان برنامه‌نویسی جدید بدون انتشار دستور زبان است. بدون این جزئیات، کار همچنان یک وعده باقی می‌ماند و فایده فوری را محدود می‌کند. علاوه بر این، در حالی که استناد به تعریف علوم سایبری کات هوشمندانه است، خطر کشش بیش از حد تشبیه «نرم‌افزار مخرب» برای یک عامل فراهوشمند وجود دارد.

بینش‌های عملی: برای پژوهشگران: وظیفه فوری عملیاتی کردن این هستان‌شناسی است. مجموعه کامل کدها و توصیف‌گرها را منتشر کنید. از آن برای مدل‌سازی رسمی سناریوهای مهار خاص (مثلاً یک هوش عمومی مصنوعی که سعی در خروج اطلاعات از طریق یک کانال جانبی دارد) استفاده کنید و شکاف‌ها در راهبردهای موجود را شناسایی کنید. برای متخصصان و سیاست‌گذاران: این مقاله تأکید می‌کند که ایمنی هوش عمومی مصنوعی فقط یک مسئله هوش مصنوعی نیست، بلکه یک مسئله امنیت سیستم‌های سایبری-فیزیکی در مقیاسی کیهانی است. سرمایه‌گذاری نه تنها باید به پژوهش هم‌ترازی هوش مصنوعی، بلکه به کارهای بنیادی بر روی محاسبات قابل تأیید، روش‌های رسمی برای سیستم‌های پیچیده و معماری‌های مقاوم سایبری، همان‌طور که توسط مؤسساتی مانند برنامه تضمین استحکام هوش مصنوعی در برابر فریب (GARD) دارپا حمایت می‌شود، جریان یابد.

7. جزئیات فنی و چارچوب ریاضی

در حالی که فایل پی‌دی‌اف در مورد صوری‌سازی‌های ریاضی توضیح نمی‌دهد، یک هستان‌شناسی قوی برای مهار هوش عمومی مصنوعی باید در یک چارچوب مبتنی بر منطق قابل بیان باشد. یک صوری‌سازی بالقوه با استفاده از منطق توصیف یا منطق مرتبه اول می‌تواند عوامل، اقدامات و روابط مهار را تعریف کند.

قطعه صوری نمونه (مفهومی):
فرض کنید $A$ مجموعه عوامل باشد، که در آن $A = \{Human, AGI, CyberEntity\}$.
فرض کنید $S$ مجموعه حالت‌های جهان سایبری باشد.
فرض کنید $Cap(x)$ قابلیت‌های عامل $x$ را نشان دهد.
یک اصل مهار اصلی ممکن است این باشد:
$\forall s \in S, \forall a \in A \text{ where } a = AGI: \text{ContainmentProtocol}(s) \rightarrow \text{Limits}(Cap(a), s)$
این بیان می‌کند که برای همه حالت‌ها و برای عامل هوش عمومی مصنوعی، یک پروتکل مهار فعال دلالت بر محدودیت بر قابلیت‌های هوش عمومی مصنوعی در آن حالت دارد.

هستان‌شناسی احتمالاً یک مدل انتقال حالت را القا می‌کند که در آن اقدامات توسط هوش عمومی مصنوعی یا مدافعان انسانی حالت سیستم را تغییر می‌دهند و مهار ویژگی‌ای است که باید در انتقال‌های ممکن تأیید شود، مشابه بررسی مدل در امنیت کامپیوتر.

8. چارچوب تحلیل: مطالعه موردی نمونه

سناریو: تحلیل یک «محیط ایزوله هوش مصنوعی» پیشنهادی با استفاده از هستان‌شناسی پیتمن و کرازبی.

مراحل:

  1. نگاشت موجودیت‌ها:
    • عامل (هوش عمومی مصنوعی): مدل هوش مصنوعی در محیط ایزوله.
    • عامل (انسان): تیم پژوهشی که محیط ایزوله را اداره می‌کند.
    • عامل (جهان سایبری): محیط ایزوله (شبکه مجازی‌سازی‌شده، رابط‌های برنامه‌نویسی شبیه‌سازی‌شده، محدودیت‌های منابع).
  2. شناسایی کدهای هستان‌شناسی: اعمال کدهای مرتبط از ۳۲ توصیف‌گر هستان‌شناسی. برای مثال:
    • سطح ۱ (فرا): هدف مهار
    • سطح ۲ (راهبردی): جلوگیری از خروج اطلاعات
    • سطح ۳ (تاکتیکی): اجرای سهمیه منابع, تقسیم‌بندی شبکه
    • سطح ۴ (عملیاتی): رهگیری فراخوانی سیستم
    • سطح ۵ (پیاده‌سازی): ماژول هسته
  3. ارزیابی روابط: آیا محیط ایزوله رابطه «محدود می‌کند» بین عامل جهان سایبری و قابلیت‌های عامل هوش عمومی مصنوعی را اعمال می‌کند؟ آیا رابطه «نظارت می‌کند» را برای عامل انسان بر حالت هوش عمومی مصنوعی فراهم می‌کند؟ هستان‌شناسی برجسته می‌کند که آیا روابط کلیدی مفقود هستند (مثلاً هیچ سازوکاری برای هوش عمومی مصنوعی برای علامت‌دهی نیاز مشروع به منابع بیشتر بدون شکستن مهار).
  4. تحلیل شکاف: چارچوب مجبور به پرسیدن می‌کند: «کدام سطوح هستان‌شناسی در این طراحی ضعیف یا غایب هستند؟» یک محیط ایزوله قوی در سطح ۵ (پیاده‌سازی) اما فاقد یک سطح ۱ (فرا/هدف) واضح، از نظر تاکتیکی محکم اما از نظر راهبردی سرگردان است.

9. کاربردهای آتی و جهت‌های پژوهشی

  • استانداردسازی و معیارسنجی: هستان‌شناسی می‌تواند به یک استاندارد (مانند MITRE ATT&CK برای امنیت سایبری) تکامل یابد تا راهبردهای مهار را طبقه‌بندی کند و پوشش آن‌ها را در برابر مدل تهدید یک هوش عمومی معیارسنجی کند.
  • تأیید صوری: ادغام هستان‌شناسی با ابزارهای روش‌های صوری برای اثبات ویژگی‌های معماری‌های مهار. پژوهش از ابتکار ایمنی یادگیری ماشین در دانشگاه کالیفرنیا، برکلی می‌تواند با این چارچوب هستان‌شناسی ترکیب شود.
  • شبیه‌سازی و آموزش: ساخت محیط‌های شبیه‌سازی با وفاداری بالا («محدوده‌های آزمایش مهار هوش عمومی مصنوعی») که در آن راهبردهای مهار مبتنی بر هستان‌شناسی مختلف در برابر عوامل هوش عمومی مصنوعی شبیه‌سازی‌شده با قابلیت‌ها و اهداف مختلف تحت آزمون استرس قرار می‌گیرند.
  • سیاست و حکمرانی: اطلاع‌رسانی به چارچوب‌های حکمرانی بین‌المللی برای توسعه هوش عمومی مصنوعی با ارائه یک رده‌بندی واضح از سازوکارهای مهار و تضمین‌های آن‌ها، مشابه نحوه استفاده آژانس بین‌المللی انرژی اتمی از رده‌های تضمین‌ها.
  • تلاقی با هم‌ترازی هوش مصنوعی: پل زدن بین هستان‌شناسی مهار فنی و نظریه‌های هم‌ترازی ارزش (مانند یادگیری تقویتی معکوس مشارکتی) برای توسعه رویکردهای ایمنی یکپارچه که محدودیت‌های خارجی را با محدودیت‌های ارزش داخلی ترکیب می‌کنند.

10. منابع

  1. Pittman, J. M., & Crosby, C. (2018). A Cyber Science Based Ontology for Artificial General Intelligence Containment. arXiv preprint arXiv:1801.09317.
  2. Babcock, J., Kramar, J., & Yampolskiy, R. V. (2016). The AGI Containment Problem. In Proceedings of the 9th International Conference on Artificial General Intelligence (AGI 2016).
  3. Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press.
  4. Kott, A. (Ed.). (2015). Cyber Defense and Situational Awareness. Springer.
  5. Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., & Mané, D. (2016). Concrete Problems in AI Safety. arXiv preprint arXiv:1606.06565.
  6. Papernot, N., McDaniel, P., Goodfellow, I., Jha, S., Celik, Z. B., & Swami, A. (2017). Practical Black-Box Attacks against Machine Learning. In Proceedings of the 2017 ACM on Asia Conference on Computer and Communications Security.
  7. Russell, S., Dewey, D., & Tegmark, M. (2015). Research Priorities for Robust and Beneficial Artificial Intelligence. AI Magazine, 36(4).
  8. DARPA. (n.d.). Guaranteeing AI Robustness against Deception (GARD). Retrieved from https://www.darpa.mil/program/guaranteeing-ai-robustness-against-deception