Utafiti wa Wizard of Oz Kuhusu Kuchanganua Mazungumzo ya Matumizi ya API na Msaidizi Mtandao

Yaliyomo

• 1. Utangulizi
• 2. Mbinu & Ubunifu wa Jaribio
  • 2.1. Itifaki ya Wizard of Oz
  • 2.2. Urejeshaji wa Washiriki & Kazi
  • 2.3. Mkusanyiko wa Data & Mfumo wa Uainishaji
• 3. Matokeo & Ugunduzi Muhimu
  • 3.1. Uchanganuzi wa Kitendo cha Mazungumzo
  • 3.2. Muhtasari wa Takwimu
  • 3.3. Uelewa Mkuu Kutoka kwa Mwingiliano
• 4. Mfumo wa Kiufundi & Mfano wa Hisabati
• 5. Mfumo wa Uchanganuzi: Mfano wa Utafiti Kesi
• 6. Matarajio ya Utumizi & Mwelekeo wa Baadaye
• 7. Marejeo
• 8. Uchanganuzi wa Asili & Uhakiki wa Mtaalamu

1. Utangulizi

Wasaidizi watandao (VAs) wanabadilisha mwingiliano kati ya binadamu na kompyuta, lakini matumizi yao katika nyanja maalum kama uhandisi wa programu bado ni mdogo. Kikwazo kikuu ni uhaba wa seti za data za mazungumzo za hali ya juu, za nyanja maalum zinazohitajika kufundisha miundo ya msingi ya AI. Karatasi hii inashughulikia pengo hili kwa kuwasilisha utafiti wa Wizard of Oz (WoZ) ulioundwa kuiga na kukusanya mazungumzo kati ya watengenezaji programu na msaidizi mtandao kwa ajili ya matumizi ya API. Utafiti huo ulihusisha watengenezaji programu 30 wataalamu ambao waliamini kuwa wanazungumza na AI, hali ya kweli, wataalamu wa kibinadamu (“wachawi”) ndio waliunda majibu. Mkusanyiko wa mazungumzo uliotokana uliainishwa kwa vipimo mbalimbali ili kuelewa muundo na dhamira ya mazungumzo ya kutafuta usaidizi katika muktadha wa programu.

2. Mbinu & Ubunifu wa Jaribio

Kiini cha utafiti huu ni jaribio la WoZ lililoundwa kwa uangalifu, ambalo ni mbinu iliyothibitishwa katika HCI ya kuiga mifumo ya akili kabla ya kujengwa kikamilifu.

2.1. Itifaki ya Wizard of Oz

Mfano wa WoZ ulitumika kuunda uigaji unaoaminika wa msaidizi wa API unaofanya kazi. Watengenezaji programu walizungumza kupitia kiolesura cha gumzo, bila kujua kuwa majibu yalitengenezwa kwa wakati halisi na wataalamu wa kibinadamu nyuma ya pazia. Mbinu hii inaruhusu kukusanywa kwa data ya mazungumzo ya asili inayoonyesha mahitaji na mikakati halisi ya watumiaji, ambayo ni muhimu kwa kufundisha mifumo ya AI ya baadaye, kama ilivyosisitizwa katika fasihi ya msingi ya mifumo ya mazungumzo kama ile ya Rieser na Lemon.

2.2. Urejeshaji wa Washiriki & Kazi

Utafiti huu uliwarekebisha watengenezaji programu 30 wataalamu. Kila mshiriki alipewa kazi za programu zinazohitaji matumizi ya API mbili tofauti. Kazi zilizoundwa zisizokuwa rahisi, na kusababisha hitaji la usaidizi na hivyo kutoa mkusanyiko tajiri wa mazungumzo.

2.3. Mkusanyiko wa Data & Mfumo wa Uainishaji

Mazungumzo yaliyokusanywa yaliainishwa kwa vipimo vinne muhimu:

1. Dhamira ya Uzushi: Lengo la msemaji (mfano: ombi, taarifa, uthibitisho).
2. Aina ya Taarifa ya API: Kategoria ya taarifa inayotafutwa (mfano: sintaksia, kigezo, mfano).
3. Kazi ya Kurudi Nyuma: Jinsi usemi unavyohusiana na mazungumzo ya awali (mfano: jibu, ufafanuzi).
4. Ufuatiliaji wa Vipengele vya API: Kuweka ramani vipengele vya mazungumzo kwa madarasa/mbinu maalum za API.

Mpango huu wa uainishaji wenye pande nyingi hutoa uelewa wa kina, wenye muundo wa mtiririko wa mazungumzo.

3. Matokeo & Ugunduzi Muhimu

3.1. Uchanganuzi wa Kitendo cha Mazungumzo

Uainishaji ulifunua anuwai ya vitendo vya mazungumzo. Watengenezaji programu mara nyingi walitoa maombi magumu, yenye sehemu nyingi ambayo yalichanganya maswali kuhusu sintaksia, semantiki, na mifano ya matumizi. Majibu ya “mchawi” mara nyingi yalihitaji kuvunja maombi hayo na kutoa taarifa zilizoundwa, hatua kwa hatua, na kusisitiza hitaji la usimamizi wa hali ya juu wa mazungumzo katika VAs za baadaye.

3.2. Muhtasari wa Takwimu

Ingawa karatasi hii haitoi hesabu kamili za asili, inaonyesha kuwa mkusanyiko wa data ni mkubwa na wa anuwai wa kutosha kusaidia ufundishaji wa mashine. Usambazaji wa vitendo katika vipimo vinne vya uainishaji hutoa msingi wa kiasi wa kuiga hali ya mazungumzo na sera katika msaidizi mtandao.

3.3. Uelewa Mkuu Kutoka kwa Mwingiliano

Uelewa Muhimu 1: Tabia ya watengenezaji programu ya kutafuta usaidizi ni ya muktadha sana na ya kurudia, sio maswali na majibu rahisi.
Uelewa Muhimu 2: Usaidizi wenye mafanikio unahitaji kuunganisha maswali ya kinadharia na vipengele halisi, vinavyoweza kufuatiliwa vya API.
Uelewa Muhimu 3: Mikakati ya mazungumzo iliyozingatiwa ni msingi wa kubuni mantiki ya mazungumzo ya msaidizi anayetumia AI.

4. Mfumo wa Kiufundi & Mfano wa Hisabati

Utafiti huu unalingana kwa dhana na mfano wa Mchakato wa Uamuzi wa Markov Unaozingatiwa Kwa Sehemu (POMDP) unaojulikana katika mifumo ya mazungumzo. Lengo la msaidizi ni kuchagua kitendo $a$ (mfano: kutoa mfano, kuomba ufafanuzi) kulingana na hali yake ya imani $b(s)$ juu ya hali halisi ya mtumiaji $s$ (mfano: pengo la ujuzi wa mtumiaji, hatua ya sasa ya kazi) ili kuongeza thamani ya tuzo $R$ (mfano: ukamilifu wa kazi).

Sasisho la imani linaweza kuigwa kama: $b'(s') = \eta \cdot O(o | s', a) \sum_{s \in S} T(s' | s, a) b(s)$ ambapo $T$ ni kitendakazi cha mpito, $O$ ni kitendakazi cha uchunguzi (kufasiri usemi wa mtumiaji $o$), na $\eta$ ni kiwango cha kawaida. Mkusanyiko wa data ulioainishwa hutoa data ya kujifunza vitendakazi hivi $T$ na $O$ kwa nyanja ya API.

5. Mfumo wa Uchanganuzi: Mfano wa Utafiti Kesi

Hali: Mtengenezaji programu anajaribu kutumia mbinu ya API DataFrame.merge() lakini anakumbana na hitilafu.
Sehemu ya Mazungumzo (Iliyoainishwa):

• Mtumiaji: "Muunganisho wangu unashindwa kwa hitilafu ya ufunguo. Ninawezaje kubainisha funguo za kujiunga?"
  • Dhamira: Ombi
  • Aina ya Taarifa: Sintaksia/Kigezo
  • Ufuatiliaji: DataFrame.merge(), vigezo vya `on`/`left_on`/`right_on`
• Mchawi/Msaidizi: "Mbinu ya `merge()` inaweza kutumia vigezo vya `on`, `left_on`, na `right_on`. Ikiwa DataFrames zako zina jina la safu wima moja, tumia `on='jina_la_safuwima'`. Ikiwa ni tofauti, tumia `left_on` na `right_on`. Unaweza kunionyesha majina ya safu wima za DataFrames zako mbili?"
  • Dhamira: Taarifa + Kuchochea
  • Aina ya Taarifa: Ufafanuzi + Kichocheo cha Mfano
  • Kazi ya Kurudi Nyuma: Jibu + Ufafanuzi

Mfano huu unaonyesha mkakati wa mzunguko mwingi, wa kuchochea taarifa unaohitajika kwa usaidizi wenye ufanisi.

6. Matarajio ya Utumizi & Mwelekeo wa Baadaye

Muda mfupi: Seti ya data ni rasilimali ya moja kwa moja ya kufundisha kwa ajili ya kujenga wasaidizi wa mfano wa API kwa kutumia miundo ya mlolongo-hadi-mlolongo au ya kubadilishaji (mfano: kurekebisha miundo kama Codex au CodeT5).
Muda wa kati: Ujumuishaji katika Mazingira ya Maendeleo Yaliyounganishwa (IDEs) kama paneli ya usaidizi ya kuchukua hatua, na kupunguza kubadilisha muktadha kwa nyaraka.
Muda mrefu & Utafiti wa Baadaye:

• Ubinafsishaji: Kuiga kiwango cha utaalamu wa mtengenezaji programu ili kurekebisha maelezo.
• Usaidizi wa Njia Nyingi: Kuchanganya mazungumzo na uzalishaji wa msimbo, kama GitHub Copilot, lakini kwa uwezo wa kuelezea.
• Ujumuishaji wa API Nyingi: Kuendeleza miundo inayoweza kujifunza mikakati ya usaidizi inayoweza kuhamishwa katika maktaba na mifumo tofauti, na kuondoka kwenye mafunzo ya API moja.
• AI Inayoelezeka kwa Msimbo: Kutumia muundo wa mazungumzo kufanya mapendekezo ya miundo ya uzalishaji wa msimbo kuwa ya kuelezewa zaidi.

7. Marejeo

1. McTear, M., Callejas, Z., & Griol, D. (2016). Kiolesura cha Mazungumzo: Kuzungumza na Vifaa Vya Akili. Springer.
2. Rieser, V., & Lemon, O. (2011). Ujifunzaji wa Kuimarisha kwa Mifumo ya Mazungumzo Yanayobadilika: Mbinu ya Kutokana na Data ya Usimamizi wa Mazungumzo na Uzalishaji wa Lugha ya Asili. Springer.
3. Serban, I. V., et al. (2015). Uchunguzi wa mkusanyiko wa data unaopatikana kwa ajili ya kujenga mifumo ya mazungumzo inayotokana na data. arXiv preprint arXiv:1512.05742.
4. OpenAI. (2021). Codex. [https://openai.com/blog/openai-codex]
5. Google AI. (2021). AI ya Mazungumzo. [https://ai.google/research/teams/language/conversational-ai]
6. Chen, M., et al. (2021). Kutathmini Miundo Mikubwa ya Lugha Iliyofunzwa kwenye Msimbo. arXiv preprint arXiv:2107.03374.

8. Uchanganuzi wa Asili & Uhakiki wa Mtaalamu