مجموعه آپیزا: گفتگوهای استفاده از API با یک دستیار مجازی شبیه‌سازی‌شده

۱. بینش اصلی: معدن طلای پنهان گفتگوهای API

مجموعه آپیزا فقط یک مجموعه داده دیگر نیست؛ این یک دارایی استراتژیک برای هر کسی است که به طور جدی به دنبال ساخت نسل بعدی ابزارهای توسعه‌دهنده است. بینش اصلی به طرز وحشیانه‌ای ساده است: برنامه‌نویسان با ماشین‌ها متفاوت از انسان‌ها تعامل می‌کنند. روش‌شناسی جادوگر اوز (WoZ) که در اینجا استفاده شده است، تنها راه اخلاقی برای ثبت این گفتگوی 'ماشین‌محور' در مقیاس، بدون سوگیری خوش‌آمدگویی‌های انسانی است. این مجموعه داده مستقیماً به مشکل 'شروع سرد' برای آموزش یک دستیار مجازی (VA) برای استفاده از API می‌پردازد، وظیفه‌ای که به طور بدنامی پیچیده و با ارزش بالا است. نویسندگان اساساً یک سنگ رزتا برای نحوه درخواست کمک طبیعی توسعه‌دهندگان ایجاد کرده‌اند، که بسیار ارزشمندتر از هر داده مصنوعی تولید شده توسط یک مدل زبانی است.

۲. جریان منطقی: از WoZ تا یک مجموعه ساختاریافته

جریان منطقی مقاله تمیز و قابل دفاع است. با شناسایی یک شکاف حیاتی شروع می‌شود: فقدان مجموعه داده‌های گفتگوی وظیفه‌محور برای مهندسی نرم‌افزار. سپس رویکرد WoZ را به عنوان استاندارد طلایی برای جمع‌آوری داده‌های تعامل انسان و ماشین بدون سوگیری توجیه می‌کند. آزمایش به تفصیل شرح داده شده است: ۳۰ برنامه‌نویس حرفه‌ای، جلسات ۹۰ دقیقه‌ای، یک VA شبیه‌سازی‌شده که توسط یک جادوگر انسانی اداره می‌شود. مرحله نهایی برچسب‌گذاری این گفتگوها با انواع کنش گفتگو (DA) در چهار بعد است که یک مجموعه داده ساختاریافته و قابل خواندن توسط ماشین ایجاد می‌کند. این یک مثال کلاسیک از نحوه راه‌اندازی یک سیستم هوش مصنوعی مکالمه‌ای از ابتدا است.

۳. نقاط قوت و ضعف: ارزیابی انتقادی

بیایید واضح بگوییم: این یک مقاله برجسته است، اما بدون نقص نیست. نقاط قوت قابل توجه هستند، اما نقاط ضعف نیز به همان اندازه برای هر کسی که قصد دارد بر اساس این کار بسازد، مهم است که به آنها اذعان کند.

۴. بینش‌های عملی: این برای صنعت چه معنایی دارد

برای مدیران محصول و رهبران مهندسی، پیام واضح است: منتظر یک هوش مصنوعی کامل نمانید. شروع به جمع‌آوری داده‌های WoZ خود کنید. مجموعه آپیزا یک اثبات مفهوم است که این روش‌شناسی کار می‌کند. مراحل عملی عبارتند از: (۱) یک وظیفه با ارزش بالا و تکراری در گردش کار توسعه‌دهنده خود شناسایی کنید (مثلاً استفاده از API، دسته‌بندی باگ، بازبینی کد). (۲) یک مطالعه WoZ در مقیاس کوچک با توسعه‌دهندگان خود اجرا کنید. (۳) گفتگوها را برچسب‌گذاری کنید و از آنها برای آموزش یک طبقه‌بندی‌کننده هدف ساده استفاده کنید. (۴) تکرار کنید. هزینه یک مطالعه WoZ کسری از هزینه ساخت یک VA کامل از ابتدا است و داده‌هایی که به دست می‌آورید بی‌نهایت ارزشمندتر است. مجموعه آپیزا نقشه راه است؛ داده‌های داخلی شرکت شما سوخت است.

۵. جزئیات فنی و فرمول‌بندی ریاضی

از منظر فنی، مجموعه داده برای پشتیبانی از آموزش یک طبقه‌بندی‌کننده کنش گفتگو (DA) طراحی شده است. مشکل اصلی را می‌توان به عنوان یک وظیفه برچسب‌گذاری توالی فرمول‌بندی کرد. با توجه به یک توالی از گفته‌ها $U = (u_1, u_2, ..., u_n)$، هدف پیش‌بینی یک توالی از برچسب‌های کنش گفتگو $D = (d_1, d_2, ..., d_n)$ است، که در آن هر $d_i$ متعلق به مجموعه‌ای از انواع DA از پیش تعریف شده است. یک رویکرد رایج استفاده از یک میدان تصادفی شرطی (CRF) بر روی یک رمزگذار BiLSTM یا Transformer است. تابع هزینه معمولاً لگاریتم احتمال منفی است:

$L = -\sum_{i=1}^{n} \log P(d_i | u_1, u_2, ..., u_n)$

مجموعه آپیزا داده‌های برچسب‌گذاری شده $\{(U_j, D_j)\}_{j=1}^{30}$ را برای آموزش چنین مدلی فراهم می‌کند. چهار بعد برچسب‌گذاری (به عنوان مثال، وظیفه، ارتباط و غیره) امکان یک تنظیم یادگیری چندوظیفه‌ای را فراهم می‌کند، که در آن مدل چندین برچسب برای هر گفته پیش‌بینی می‌کند و تعمیم‌پذیری را بهبود می‌بخشد.

۶. نتایج تجربی و خلاصه داده‌ها

این مقاله نتایج کمی را از یک مدل آموزش دیده ارائه نمی‌دهد، زیرا یک مقاله مجموعه داده است. با این حال، یک خلاصه کیفی از داده‌ها ارائه می‌دهد. این مجموعه شامل ۳۰ گفتگو است که هر کدام به طور متوسط ۹۰ دقیقه طول می‌کشد. تعداد کل گفته‌ها به صراحت ذکر نشده است، اما بر اساس طول جلسه، احتمالاً در هزاران است. کنش‌های گفتگو در چهار بعد برچسب‌گذاری شده‌اند، اگرچه توزیع دقیق ارائه نشده است. یک نمودار میله‌ای فرضی نشان می‌دهد که 'درخواست اطلاعات' و 'ارائه اطلاعات' رایج‌ترین انواع DA هستند که منعکس‌کننده ماهیت وظیفه‌محور مکالمات است. یک نمودار دایره‌ای از چهار بعد برچسب‌گذاری یک تقسیم نسبتاً مساوی را نشان می‌دهد که نشان‌دهنده یک طرح برچسب‌گذاری جامع است.

۷. مثال چارچوب تحلیل: یک گفتگوی نمونه

در زیر یک مثال ساده از یک گفتگو از مجموعه داده، که ساختار و برچسب‌گذاری را نشان می‌دهد، آورده شده است. این یک مثال غیرکدی است که بر جریان مکالمه تمرکز دارد.

کاربر: pro:allegrokeyboardinput
جادوگر: می‌توانید وضعیت صفحه کلید مشخص شده در زمان فراخوانی تابع را در ساختاری که توسط ret_state به آن اشاره شده است ذخیره کنید.
کاربر: می‌توانید یک مثال به من بدهید؟
جادوگر: البته. allegro_keyboard_state_to_display() یک تابع مرتبط است.
کاربر: ممنون.

در این مثال، اولین گفته کاربر یک دستور مستقیم است (DA: 'درخواست اقدام')، پاسخ جادوگر 'ارائه اطلاعات' است، دومین گفته کاربر 'درخواست مثال' است، و آخرین گفته کاربر 'تأیید' است. این تبادل ساده جوهره مجموعه داده را به تصویر می‌کشد: مستقیم، وظیفه‌محور و عاری از خوش‌آمدگویی‌های اجتماعی.

۸. کاربردها و جهت‌گیری‌های آینده

مجموعه آپیزا یک پایه است، نه یک محصول نهایی. فوری‌ترین جهت آینده استفاده از این داده‌ها برای آموزش یک VA نمونه اولیه برای استفاده از API است. یک هدف بلندپروازانه‌تر مقیاس‌سازی روش‌شناسی WoZ به سایر وظایف مهندسی نرم‌افزار، مانند اشکال‌زدایی، بازبینی کد یا استخراج نیازمندی‌ها است. چشم‌انداز بلندمدت یک VA توسعه‌دهنده 'جهانی' است که می‌تواند طیف گسترده‌ای از وظایف را مدیریت کند و بر روی مجموعه‌ای متنوع از مجموعه داده‌های WoZ آموزش دیده باشد. ظهور مدل‌های زبانی بزرگ (LLM) مانند GPT-4 همچنین امکانات جدیدی را باز می‌کند: مجموعه آپیزا می‌تواند برای تنظیم دقیق یک LLM برای حوزه خاص کمک API استفاده شود و به طور بالقوه یک VA ایجاد کند که هم قدرتمند و هم تخصصی است. چالش کلیدی حرکت از یک جادوگر شبیه‌سازی‌شده به یک سیستم کاملاً خودمختار خواهد بود، و مجموعه آپیزا نقشه راه را فراهم می‌کند.

۹. تحلیل و تفسیر اصلی

مجموعه آپیزا یک مشارکت به موقع و ضروری در زمینه هوش مصنوعی مهندسی نرم‌افزار است. ارزش اصلی آن نه در اندازه آن، بلکه در اصالت آن نهفته است. روش‌شناسی WoZ، اگرچه جدید نیست، اما در اینجا با دقتی به کار گرفته شده است که اغلب در تحقیقات مهندسی نرم‌افزار وجود ندارد. تصمیم به استفاده از برنامه‌نویسان حرفه‌ای یک شاهکار است، زیرا تضمین می‌کند که داده‌ها رفتار دنیای واقعی را منعکس می‌کنند، نه تعاملات تصنعی یک آزمایش آزمایشگاهی. با این حال، بزرگترین نقطه قوت مقاله همچنین بزرگترین نقطه ضعف آن است: مجموعه داده یک عکس فوری از یک الگوی تعامل خاص است. 'جادوگر' یک متخصص انسانی بود و پاسخ‌ها احتمالاً بهینه بودند. یک VA واقعی اشتباه خواهد کرد و مجموعه داده نحوه واکنش کاربر به یک پاسخ نادرست یا گیج‌کننده را ثبت نمی‌کند. این یک شکاف حیاتی است. کار آینده باید گفتگوهای 'بازیابی خطا' را بررسی کند، که در آن VA عمداً ناقص است. علاوه بر این، مقاله از یک تحلیل آماری دقیق‌تر از کنش‌های گفتگو، از جمله نمرات توافق بین برچسب‌گذاران (به عنوان مثال، کاپای کوهن) برای اعتبارسنجی طرح برچسب‌گذاری سود می‌برد. همانطور که توسط Serban و همکاران (۲۰۱۶) در بررسی خود از مجموعه داده‌های گفتگو اشاره شد، کیفیت برچسب‌گذاری‌ها اغلب مهم‌تر از حجم داده‌ها است. مجموعه آپیزا یک شروع قوی است، اما تنها اولین گام است. آزمایش واقعی این خواهد بود که آیا می‌توان از آن برای آموزش یک VA استفاده کرد که واقعاً برای توسعه‌دهندگان در دنیای واقعی مفید باشد. در حال حاضر، این به عنوان یک منبع ارزشمند و یک فراخوان واضح برای اقدام برای جامعه مهندسی نرم‌افزار برای سرمایه‌گذاری در مطالعات WoZ است.

۱۰. منابع

• Eberhart, Z., Bansal, A., & McMillan, C. (2023). The Apiza Corpus: API Usage Dialogues with a Simulated Virtual Assistant. University of Notre Dame.
• Robillard, M. P., et al. (2017). API Usage as a Target for Virtual Assistants. In Proceedings of the 39th International Conference on Software Engineering (ICSE).
• Reiser, S., & Lemon, O. (2020). Efficient Data Collection for Task-Specific Virtual Assistants. Morgan & Claypool Publishers.
• Serban, I. V., et al. (2016). A Survey of Available Corpora for Building Data-Driven Dialogue Systems. arXiv preprint arXiv:1512.05742.
• Dahl, D., et al. (1994). Expanding the Scope of the ATIS Task: The ATIS-3 Corpus. In Proceedings of the Human Language Technology Workshop.
• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (For background on sequence labeling and CRFs).