1. Pengenalan
Sistem Kecerdasan Buatan Perbualan, seperti Siri, Google Assistant, Cortana, dan Alexa, telah beralih daripada fiksyen sains kepada bahagian penting dalam kehidupan seharian. Kertas kerja ini membincangkan persoalan kritikal tentang cara menilai "kejayaan" AI perbualan berorientasikan carian, dengan mengakui kerumitan semula jadi dalam mendefinisikan dan mengukur kejayaan ini. Penulis mencadangkan peralihan daripada metrik satu dimensi kepada rangka kerja penilaian holistik dan berbilang perspektif.
1.1. Perbezaan antara Chatbot dan PA Berasaskan Kecerdasan Buatan
Kertas kerja ini membezakan dua konsep penting:
- Chatbot: Terutamanya sistem berasaskan peraturan yang direka untuk perbualan (teks/ucapan) dalam domain tertentu atau untuk perbualan santai umum. Ia adalah komponen sistem AI yang lebih besar dan biasanya tidak belajar atau melaksanakan tugas kompleks (contohnya, bot Facebook Messenger).
- Pembantu Peribadi Berasaskan AI (PA): Dibina berdasarkan algoritma NLP, ML, dan ANN yang kompleks. Ia berorientasikan tugas, belajar daripada interaksi, dan bertujuan untuk memberikan pengalaman bantuan yang disesuaikan secara peribadi dan menyerupai manusia (contohnya, Siri, Alexa).
1.2. Ciri-ciri PA
PA yang ideal haruslah memiliki ciri-ciri utama pembantu manusia:
- Meramal Keperluan Pengguna: Memahami keutamaan, konteks, dan keunikan pengguna.
- Penyusunan yang Cekap: Mengurus maklumat, dokumen, dan tugas secara sistematik.
- Bantuan Proaktif: Melangkaui respons reaktif untuk meramal dan mencadangkan tindakan.
- Kesedaran Kontekstual: Mengekalkan sejarah perbualan dan konteks situasi.
2. Perspektif Penilaian yang Dicadangkan
Sumbangan teras adalah rangka kerja empat perspektif untuk menilai AI perbualan:
2.1. Perspektif Pengalaman Pengguna (UX)
Memberi tumpuan kepada kepuasan subjektif pengguna, penglibatan, dan persepsi kegunaan. Metrik termasuk kadar kejayaan tugas, kelancaran perbualan, skor kepuasan pengguna (contohnya, SUS, SUX), dan kadar pengekalan. Perspektif ini bertanya: Adakah interaksi itu menyenangkan, cekap, dan membantu dari sudut pandangan pengguna?
2.2. Perspektif Pencarian Maklumat (IR)
Menilai keupayaan sistem untuk mendapatkan maklumat yang tepat dan relevan sebagai respons kepada pertanyaan pengguna. Menyesuaikan metrik IR klasik seperti Ketepatan ($P = \frac{\text{Relevan Diperoleh}}{\text{Jumlah Diperoleh}}$), Ingatan ($R = \frac{\text{Relevan Diperoleh}}{\text{Jumlah Relevan}}$), dan skor-F1 ($F1 = 2 \cdot \frac{P \cdot R}{P + R}$) kepada konteks perbualan, dengan mempertimbangkan sejarah dialog sebagai sebahagian daripada pertanyaan.
2.3. Perspektif Linguistik
Menilai kualiti penjanaan dan pemahaman bahasa. Metrik termasuk ketepatan tatabahasa, kelancaran, koheren, dan kesesuaian gaya/nada. Alat seperti BLEU, ROUGE, dan METEOR boleh disesuaikan, walaupun mempunyai batasan untuk dialog domain terbuka.
2.4. Perspektif Kecerdasan Buatan (AI)
Mengukur "kepintaran" sistem—keupayaannya untuk belajar, berfikir, dan menyesuaikan diri. Ini termasuk menilai ketepatan model pada tugas klasifikasi niat dan pengecaman entiti, kecekapan pembelajarannya (kerumitan sampel), dan keupayaannya untuk mengendalikan senario yang tidak pernah dilihat (generalisasi).
3. Peranan Penyesuaian Peribadi
Kertas kerja ini menekankan penyesuaian peribadi sebagai pembeza utama untuk PA maju. Ia melibatkan penyesuaian respons, cadangan, dan gaya interaksi berdasarkan data pengguna individu (keutamaan, sejarah, tingkah laku). Teknik termasuk penapisan kolaboratif, penapisan berasaskan kandungan, dan pembelajaran pengukuhan dengan isyarat ganjaran khusus pengguna. Cabarannya terletak pada mengimbangi penyesuaian peribadi dengan privasi dan mengelakkan gelembung penapis.
4. Cabaran Semasa & Hala Tuju Masa Depan
Cabaran: Mendefinisikan "kejayaan" universal, mewujudkan penanda aras piawai, mencapai pemahaman kontekstual yang mendalam, memastikan AI yang teguh dan beretika, serta mengurus kepercayaan dan privasi pengguna.
Hala Tuju Masa Depan: Pembangunan pembantu pelbagai modal (mengintegrasikan penglihatan, bunyi), kemajuan dalam penaakulan akal sehat (memanfaatkan sumber seperti ConceptNet atau model seperti GPT), fokus pada ingatan jangka panjang dan pemodelan pengguna, serta mewujudkan set data dan cabaran penilaian yang lebih canggih (melampaui soal jawab mudah).
5. Butiran Teknikal & Rangka Kerja Matematik
Penilaian boleh diformalkan. Biarkan dialog sebagai urutan giliran $D = \{ (U_1, S_1), (U_2, S_2), ..., (U_T, S_T) \}$, di mana $U_t$ ialah input pengguna dan $S_t$ ialah respons sistem pada giliran $t$. Kualiti keseluruhan sistem $Q$ boleh dimodelkan sebagai gabungan berwajaran skor daripada setiap perspektif:
$Q(D) = \alpha \cdot UX(D) + \beta \cdot IR(D) + \gamma \cdot Ling(D) + \delta \cdot AI(D)$
di mana $\alpha, \beta, \gamma, \delta$ ialah pemberat yang mencerminkan keutamaan aplikasi, dan setiap fungsi (contohnya, $UX(D)$) menggabungkan metrik peringkat giliran atau peringkat dialog daripada perspektif masing-masing.
Keputusan Eksperimen & Penerangan Carta: Walaupun petikan PDF yang diberikan menyebut Rajah 1 dan 2 (menunjukkan ciri/batasan dan statistik penggunaan PA utama), penilaian penuh akan melibatkan penggunaan rangka kerja ini kepada sistem tertentu. Sebagai contoh, seseorang boleh mengukur skor-F1 (Perspektif IR) untuk soalan faktual, penilaian purata pengguna (Perspektif UX) pada skala 5 mata, dan skor BLEU (Perspektif Linguistik) untuk penjanaan respons, memplot metrik ini merentasi versi sistem yang berbeza atau berbanding penanda aras pesaing dalam carta radar berbilang paksi.
6. Rangka Kerja Analisis & Contoh Kes
Penggunaan Rangka Kerja: Untuk menilai PA tempahan perjalanan baharu, "TravelMate":
- UX: Menjalankan kajian pengguna mengukur kadar penyiapan tugas untuk "tempah penerbangan ke London minggu depan di bawah $800" dan mengumpul Skor Promoter Bersih (NPS).
- IR: Mengira Ketepatan@1 untuk cadangan hotel berdasarkan kriteria pengguna (contohnya, "mesra haiwan peliharaan, berhampiran pusat bandar").
- Linguistik: Menggunakan penilai manusia untuk menilai kewajaran respons pada skala 1-5 untuk pertanyaan kompleks seperti "Tukar tempahan saya kepada tempat duduk tingkap, tetapi hanya jika tiada bayaran tambahan."
- AI: Mengukur ketepatan pengelas niat pada set ujian yang diketepikan mengandungi frasa yang tidak pernah dilihat untuk niat "tempah_kereta_sewa".
Pendekatan berstruktur ini memberikan profil prestasi komprehensif, mengenal pasti bahawa walaupun TravelMate cemerlang dalam IR (Ketepatan@1 = 0.92), skor UXnya rendah disebabkan masa respons yang perlahan—satu keutamaan jelas untuk sprint pembangunan seterusnya.
7. Perspektif Penganalisis: Inti Pati & Kritikan
Inti Pati: Sumbangan asas Jadeja dan Varia ialah pemisahan eksplisit penilaian AI Perbualan kepada empat dimensi berbeza dan sering bercanggah. Kebanyakan pemain industri terlalu obses dengan metrik AI sempit (seperti ketepatan niat) atau tinjauan UX yang kabur, sehingga terlepas pandangan keseluruhan. Kertas kerja ini dengan betul berhujah bahawa model terkini pada penanda aras GLUE masih boleh menjadi pembantu yang teruk jika responsnya lancar secara linguistik tetapi tidak relevan (gagal IR) atau tepat tetapi disampaikan dengan empati seperti hamparan (gagal UX). "Kejayaan" sebenar adalah keseimbangan optimum Pareto, bukan metrik kesombongan satu nombor.
Aliran Logik: Struktur kertas kerja ini pragmatik. Ia pertama kali membumikan perbincangan dengan membezakan chatbot komoditi daripada PA AI sebenar—satu penjelasan perlu dalam pasaran yang penuh gembar-gembur. Ia kemudian membina rangka kerja penilaian dari bawah, bermula dengan pengalaman subjektif pengguna (garisan bawah muktamad), beralih kepada prestasi objektif (IR, Linguistik), dan memuncak pada keupayaan enjin asas (AI). Fokus seterusnya pada penyesuaian peribadi secara logiknya mengikut sebagai mekanisme utama untuk meningkatkan skor UX dan IR melebihi garis dasar generik.
Kekuatan & Kelemahan: Kekuatan utama rangka kerja ini ialah kebolehgunaan berbilang dimensinya, menyediakan senarai semak untuk pengurus produk dan penyelidik. Walau bagaimanapun, kelemahan utamanya ialah kekurangan operasionalisasi. Ia mengenal pasti "apa" tetapi memberikan sedikit butiran tentang "bagaimana". Bagaimana anda menggabungkan secara kuantitatif skor UX subjektif 4.5/5 dengan skor-F1 0.87? Apakah lengkung pertukaran? Kertas kerja ini menganggukkan kepada cabaran seperti penanda aras penilaian tetapi tidak melibatkan kerja penting seperti penanda aras "Beyond the Imitation Game" (BIG-bench) atau protokol penilaian manusia yang ketat dibincangkan oleh penyelidik di Allen Institute for AI. Tambahan pula, walaupun penyesuaian peribadi ditonjolkan, cabaran mendalam pemeliharaan privasi dan potensi amplifikasi bias—topik utama dalam penyelidikan semasa pembelajaran persekutuan dan ML adil—hanya disentuh ringan.
Wawasan Boleh Tindak: Untuk pengamal: Hentikan pelaporan metrik tunggal. Gunakan papan pemuka empat perspektif ini. Jika OKR pasukan anda hanya tentang menurunkan kadar ralat perkataan (AI/Linguistik), anda mengoptimumkan untuk kertas penyelidikan, bukan produk. Untuk penyelidik: Langkah kritikal seterusnya ialah mewujudkan set data dan cabaran berbilang perspektif yang bersatu. Kita perlukan setara ImageNet atau MS MARCO untuk AI perbualan yang memerlukan sistem untuk skor baik pada semua empat paksi serentak, mungkin diilhamkan oleh falsafah penilaian pelbagai tugas yang dilihat dalam karya seperti CycleGAN, di mana kejayaan memerlukan memenuhi pelbagai kekangan yang bersaing (konsistensi kitaran, pemeliharaan identiti, kerugian adversari). Masa depan penilaian AI Perbualan terletak bukan pada mencari metrik perak, tetapi dalam kejuruteraan fungsi kerugian berwajaran yang canggih yang mencerminkan realiti berbilang aspek ini.
8. Rujukan
- Jadeja, M., & Varia, N. (2017). Perspectives for Evaluating Conversational AI. SCAI' 2017 Workshop at ICTIR'17. arXiv:1709.04734.
- Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Blog.
- Shuster, K., et al. (2022). The Limitations of Human Evaluation and the Need for Automated Metrics in Open-Domain Dialogue. Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics.
- Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV). (CycleGAN)
- Sheng, E., et al. (2021). The Woman Worked as a Babysitter: On Biases in Language Generation. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).
- Google AI. (n.d.). Responsible AI Practices. Retrieved from https://ai.google/responsibilities/responsible-ai-practices/