ภาษา
ภาษา
แชทบอทภาษาอาหรับคือโปรแกรมที่สามารถเข้าใจและวิเคราะห์เนื้อหาภาษาอาหรับ ปัจจุบันเราสามารถจำลองและประมวลผลบทสนทนาระหว่างมนุษย์กับคอมพิวเตอร์ในภาษาอาหรับได้แล้ว
ความก้าวหน้าล่าสุดในเทคโนโลยีประมวลผลภาษาธรรมชาติ (NPL) ทำให้การสร้าง แชทบอทภาษาอาหรับ เป็นเรื่องง่ายขึ้น เทคโนโลยีแชทบอท AI ภาษาอาหรับรุ่นใหม่ใช้การเรียนรู้ของเครื่องเพื่อเข้าใจโครงสร้างของภาษา รวมถึงเข้าใจ “ความหมาย” ของคำต่าง ๆ
ภาษาอาหรับเป็นภาษาที่มีผู้ใช้มากเป็นอันดับสี่บนอินเทอร์เน็ต แต่ก็เป็นหนึ่งในภาษาที่ยากที่สุดสำหรับผู้ที่ไม่ได้เป็นเจ้าของภาษา
เนื่องจากมีความแตกต่างจากภาษาอื่น ๆ หลายประการ
นอกจากนี้ ภาษาอาหรับยังมีหลายรูปแบบและสำเนียง ซึ่งแต่ละแบบมีความเกี่ยวข้องกันแต่ไม่ทับซ้อนกัน ในความเป็นจริง สำเนียงหนึ่งอาจไม่สามารถเข้าใจได้โดยผู้พูดอีกสำเนียงหนึ่ง ดังนั้นในทางปฏิบัติจึงถือว่าเป็นคนละภาษา
ปัจจัยเหล่านี้ทำให้ภาษาอาหรับยากต่อการเรียนรู้สำหรับมนุษย์
แล้วสำหรับเครื่องจักรล่ะ ยากขึ้นด้วยหรือไม่? คำตอบก็คือใช่
ปัจจัยข้างต้นทั้งหมดสร้างความท้าทายให้กับการประมวลผลภาษาธรรมชาติ (NLP) สำหรับภาษาอาหรับ ขั้นตอนแรกของอัลกอริทึม NLP ใด ๆ คือการแยกประโยคออกเป็นหน่วยความหมายย่อย ๆ ซึ่งเรียกว่าการ tokenizing แต่ละหน่วยความหมายจะเรียกว่า token
ยิ่งภาษามีระบบระเบียบมากเท่าไร การ tokenizing ก็จะง่ายขึ้นเท่านั้น
ความท้าทายเดียวกันที่ทำให้ภาษาอาหรับยากต่อการเรียนรู้สำหรับมนุษย์ ก็ทำให้การ tokenizing ภาษาอาหรับยากกว่าภาษาอื่น ๆ ที่ใช้กันทั่วไป
ก่อนที่เราจะเข้าใจความสำคัญของความก้าวหน้าล่าสุด เราต้องเข้าใจก่อนว่าโมเดลภาษา NLP ในอดีตถูกสร้างขึ้นอย่างไร
การ tokenizing ภาษาแต่ละภาษาต้องอาศัยการทำงานด้วยมือของนักวิจัย NLP อย่างมาก ทุกภาษาต้องถูก tokenizing แยกกันและแทบจะต้องทำด้วยมือทั้งหมด
งานนี้ยิ่งยากสำหรับแชทบอทภาษาอาหรับอย่างที่คุณคาดเดาได้
เมื่อ tokenizing เสร็จแล้ว จึงจะสามารถนำอัลกอริทึม AI มาประยุกต์ใช้เพื่อเข้าใจภาษาได้ เช่น การสร้างแผนที่ความหมายของความสัมพันธ์ระหว่างคำในภาษา
ขั้นตอนการเข้าใจภาษานี้จะทำแบบอัตโนมัติได้ก็ต่อเมื่อ tokenizing มีความแม่นยำ ปัญหาคือการ tokenizing ภาษาอาหรับนั้นซับซ้อน จึงทำให้แม้แต่อัลกอริทึมการเข้าใจก็ต้องปรับแต่งด้วยมือควบคู่กับ tokenizing
และผลลัพธ์ที่ได้ก็ไม่ดี ระดับความเข้าใจภาษาอาหรับเมื่อเทียบกับภาษาอังกฤษถือว่าต่ำ แน่นอนว่างานวิจัยส่วนใหญ่เน้นที่ภาษาอังกฤษมากกว่าภาษาอาหรับ ซึ่งก็มีผลเช่นกัน แต่ความยากของภาษาทำให้ได้ผลลัพธ์ที่ดีแทบเป็นไปไม่ได้
นักวิจัย AI จึงตั้งคำถามว่า tokenizing เองจะใช้ machine learning ได้หรือไม่ ถ้าทำได้ อัลกอริทึม tokenizing และการเข้าใจภาษาก็จะไม่ขึ้นกับภาษาใด ๆ (เรียกว่า language agnostic) ทำให้การฝึก AI กับภาษาใด ๆ เร็วขึ้นและมีประสิทธิภาพมากขึ้น
และนี่คือจุดที่เกิดความก้าวหน้าในช่วงปลายปี 2018 AI สามารถฝึกกับภาษาอาหรับได้โดยไม่ต้องอาศัยการปรับแต่งด้วยมือ ส่งผลให้ประสิทธิภาพของ NLP ดีขึ้นมาก
แพลตฟอร์มแชทบอทภาษาอาหรับจึงพัฒนาได้ทันที และความเข้าใจภาษาอาหรับของแชทบอทก็ใกล้เคียงกับภาษาอื่น ๆ
แต่การที่เกิดความก้าวหน้านี้ ไม่ได้แปลว่าคุณภาพของแชทบอทภาษาอาหรับจะดีขึ้นทันที
เพื่อให้ลูกค้าได้รับประโยชน์ แพลตฟอร์มแชทบอทต้องอัปเดตอัลกอริทึมให้ใช้เทคโนโลยีล่าสุด ซึ่งไม่ใช่เรื่องที่ทำได้รวดเร็วเพราะมีการลงทุนกับเทคโนโลยีเดิมไว้
นอกจากนี้ยังมีฟีเจอร์อีกมากที่แพลตฟอร์มต้องเตรียมไว้เพื่อให้แชทบอทภาษาอาหรับมอบประสบการณ์ที่ดี เช่น อินเทอร์เฟซผู้ใช้ต้องรองรับภาษาอาหรับ อาจเป็นแค่การจัดตำแหน่งแชทให้ถูกต้องและแสดงปุ่มในลำดับที่เหมาะสม
การทำงานกับหลายภาษาในหลายแพลตฟอร์มอาจเป็นเรื่องยาก บางแพลตฟอร์มต้องสร้างบอทแยกกันสำหรับแต่ละภาษา ซึ่งไม่มีประสิทธิภาพ
แพลตฟอร์มที่ดีควรเป็นแบบหลายภาษาอย่างแท้จริง และอนุญาตให้แปลเนื้อหาทั้งหมดในอินเทอร์เฟซผู้ใช้ได้หลายภาษา
นอกจากนี้ ภาษาในการสนทนาควรถูกติดตามเป็นตัวแปรหนึ่ง เพื่อให้ AI ตรวจจับภาษาได้อย่างแม่นยำ และนักออกแบบสามารถสร้างตรรกะตามภาษาได้
นอกเหนือจากฟังก์ชันเฉพาะภาษาแล้ว ฟังก์ชันทั่วไปของแพลตฟอร์มแชทบอทก็ต้องยอดเยี่ยมด้วย โดยแบ่งเป็นสองประเภทหลัก
ท้ายที่สุดแล้ว คุณภาพของประสบการณ์แชทบอทที่ผู้ใช้ได้รับขึ้นอยู่กับความสามารถของเครื่องมือที่ใช้สร้าง ตั้งแต่การเข้าใจภาษาไปจนถึงอินเทอร์เฟซแบบกราฟิก
ในโลกอาหรับ บริษัทจำนวนมากต้องการแชทบอทภาษาอาหรับแบบติดตั้งในองค์กร (on-prem) ซึ่งแน่นอนว่าเป็นปัจจัยที่ต้องพิจารณาเมื่อเลือกแพลตฟอร์ม แชทบอทภาษาอาหรับแบบ on-prem ต้องสร้างด้วยแพลตฟอร์มที่รองรับ on-prem ทั้งอินเทอร์เฟซและมี NLU engine กับโมเดลภาษาแบบฝึกไว้ในองค์กรด้วย
แม้จะมีแพลตฟอร์มที่ดี ก็ยังมีความท้าทายในการสร้างแชทบอทภาษาอาหรับที่ยอดเยี่ยม เนื่องจากมีผู้เชี่ยวชาญภาษาอาหรับในวงการ AI ไม่มากนัก จึงอาจหาทรัพยากรที่เหมาะสมได้ยาก แม้จะไม่จำเป็นต้องหาทรัพยากรเพื่อเขียนอัลกอริทึม NLU เอง เพราะมีให้ใช้งานสำเร็จรูปแล้ว แต่การหานักออกแบบที่พูดได้ทุกภาษา/สำเนียงที่แชทบอทรองรับก็ยังเป็นเรื่องท้าทาย ดังนั้นแพลตฟอร์มแชทบอทควรให้ผู้ที่ไม่ใช่สายเทคนิคสามารถอัปเดตและดูแลเนื้อหาและการแปลได้ง่าย เพราะนักออกแบบอาจไม่ได้พูดได้ทุกภาษาที่รองรับ
แน่นอนว่าการที่แชทบอทภาษาอาหรับคุณภาพสูงเริ่มมีมากขึ้น จะช่วยให้การนำเทคโนโลยีนี้ไปใช้เพิ่มขึ้น ซึ่งจะช่วยแก้ปัญหาทรัพยากรและทำให้ผู้สนใจเห็นแนวทางปฏิบัติที่ดีที่สุดได้ชัดเจนขึ้น
ความก้าวหน้าในเทคโนโลยี NLP ไม่ได้มีผลแค่กับแชทบอทภาษาอาหรับเท่านั้น แต่ยังรวมถึงแอปพลิเคชัน AI อื่น ๆ ด้วย ปัจจุบันเราเห็นระบบที่ใช้ AI ภาษาอาหรับในหลายรูปแบบ — ตั้งแต่การวิเคราะห์อารมณ์ในข่าว ไปจนถึงการสรุปหรือสร้างข้อความที่แต่เดิมต้องใช้มนุษย์ แชทบอทมักถูกใช้เป็นอินเทอร์เฟซผู้ใช้ ไม่ใช่แค่สำหรับเทคโนโลยี AI ต่าง ๆ แต่ยังช่วยให้ผู้ใช้ใช้งานหน้าจอของระบบอื่น เช่น เว็บไซต์หรือเว็บแอป
แม้ว่า NLU ภาษาอาหรับจะก้าวหน้าไปมาก แต่ NLU ก็ยังสามารถพัฒนาให้ดียิ่งขึ้นได้ งานวิจัยยังคงเดินหน้าทำให้ NLU ดีขึ้น และคาดว่าจะมีความก้าวหน้าใหม่ ๆ ตามมา ตราบใดที่ NLU ยังไม่เทียบเท่ามนุษย์ ก็ยังมีงานต้องทำ
บทสนทนาแบบหลายรอบสำคัญมากสำหรับอินเทอร์เฟซเสียง เช่น Alexa
แม้เราจะพูดถึงความก้าวหน้าในการ tokenizing ด้วย machine learning และผลต่อ NLP ภาษาอาหรับ แต่เรื่องที่เกี่ยวข้องคือการถอดเสียงพูดเป็นข้อความ (speech to text) สำหรับภาษาอาหรับยังตามหลังภาษาอื่นอยู่ แต่เราหวังว่าความก้าวหน้าใน NLP ที่กล่าวมาจะช่วยลดช่องว่างนี้ในอนาคตอันใกล้
สร้างประสบการณ์ของ AI เอเจนต์ที่ยอดเยี่ยม
