วิธีเพิ่มประสิทธิภาพค่าใช้จ่าย AI ใน Botpress

หลายธุรกิจต้องเผชิญกับความท้าทายในการใช้ศักยภาพของเทคโนโลยี AI โดยไม่ใช้จ่ายเกินความจำเป็น เราเข้าใจถึงความสำคัญของสมดุลนี้และมุ่งมั่นที่จะนำเสนอโซลูชันที่ช่วยให้ผู้ใช้ของเราสามารถใช้ AI ได้อย่างคุ้มค่า

แนวทางของเราในการบริหารค่าใช้จ่าย AI

ก่อนอื่น สิ่งสำคัญคือการเข้าใจองค์ประกอบหลักสองประการที่เรานำมาใช้เพื่อลดค่าใช้จ่าย AI ให้กับผู้ใช้ของเรา ในขณะที่ยังคงมอบประโยชน์จากความสามารถของ AI

ราคาที่โปร่งใส: ไม่มีค่าธรรมเนียมแอบแฝง

เราไม่บวกกำไรใด ๆ เพิ่มในงานที่เกี่ยวข้องกับ AI นั่นหมายความว่าค่าใช้จ่าย AI ของคุณจะขึ้นอยู่กับการใช้งานจริงโดยไม่มีค่าธรรมเนียม AI เพิ่มเติมจากเรา

การแคชคำตอบ AI

การแคชเป็นหนึ่งในกลยุทธ์ที่มีประสิทธิภาพที่สุดของเราในการลดค่าใช้จ่าย AI ของบอท ด้วยการแคชคำตอบ AI เราลดจำนวนคำขอไปยังผู้ให้บริการ LLM ซึ่งสามารถลดค่าใช้จ่ายในการสอบถามได้ประมาณ 30% ช่วยให้คุณประหยัดเงินโดยไม่ลดคุณภาพการโต้ตอบของบอทกับผู้ใช้

เคล็ดลับในการเพิ่มประสิทธิภาพค่าใช้จ่าย AI

เมื่อเราได้เห็นสองแนวทางที่เราใช้เพื่อลดค่าใช้จ่าย AI ของผู้ใช้แล้ว ต่อไปนี้คือเคล็ดลับที่คุณสามารถนำไปใช้ขณะสร้างบอทเพื่อช่วยลดค่าใช้จ่าย AI เพิ่มเติม

เพิ่มประสิทธิภาพ Knowledge Base ของคุณ

การปรับปรุง Knowledge Base (KB) ของคุณให้เหมาะสมสามารถส่งผลอย่างมากต่อค่าใช้จ่าย AI เนื่องจาก KB มักเป็นปัจจัยหลักที่ทำให้ค่าใช้จ่าย AI ในโปรเจกต์ Botpress สูงขึ้น

เคล็ดลับที่ 1: เลือกโมเดล AI ที่เหมาะสม

การเลือกโมเดล AI มีผลต่อค่าใช้จ่ายอย่างมาก เนื่องจาก GPT-3.5 Turbo เร็วกว่าและถูกกว่า GPT-4 Turbo เราแนะนำให้ทดสอบระบบของคุณกับ GPT-3.5 Turbo อย่างละเอียดก่อนจะพิจารณาอัปเกรดไปยังเวอร์ชันที่สูงกว่า

โหมดไฮบริดของ KB Agent ของเรานำเสนอทางเลือกที่สมดุล โดยเริ่มต้นใช้ GPT-3.5 Turbo เพื่อตอบคำถาม และจะเปลี่ยนไปใช้ GPT-4 Turbo เฉพาะเมื่อจำเป็นเท่านั้น

เคล็ดลับที่ 2: ป้องกัน KB ของคุณ

คุณสามารถลดค่าใช้จ่าย AI ได้โดยป้องกัน KB ของคุณจากคำถาม FAQ ทั่วไปที่ไม่จำเป็นต้องใช้ AI หรือการตอบแบบอัจฉริยะ ด้วยการใช้การ์ด Find Records วิธีการคือ หากคุณทราบว่าผู้ใช้มักจะถามคำถามเดิม ๆ และเรามีคำถามที่พบบ่อย 50 ข้อพร้อมคำตอบแล้ว เราสามารถเพิ่มคำถามเหล่านั้นลงในตารางและค้นหาคำตอบด้วยการ์ด Find Records หากไม่พบคำตอบจึงค่อยค้นหาใน KB

เคล็ดลับที่ 3: กำหนดขอบเขต KB ของคุณให้เหมาะสม

ขึ้นอยู่กับประเภทและปริมาณข้อมูลที่คุณต้องการเพิ่มใน KB โดยทั่วไปควรทำสองอย่างควบคู่กันเพื่อลดค่าใช้จ่าย AI อย่างแรก จัดระเบียบข้อมูลของคุณเป็น KB ขนาดเล็ก โดยแต่ละ KB มีขอบเขตเฉพาะเจาะจงกับสินค้า/ฟีเจอร์/หัวข้อ อย่างที่สอง ให้ผู้ใช้ตอบคำถามหลายข้อเพื่อจำกัดการค้นหาไปยัง KB ที่เกี่ยวข้อง วิธีนี้ไม่เพียงแต่ช่วยลดค่าใช้จ่าย แต่ยังให้ผลลัพธ์ที่ดีกว่า

เคล็ดลับที่ 4: แหล่งข้อมูล KB จากเว็บไซต์ กับ Search the Web

หากคุณใช้เว็บไซต์เป็นแหล่งข้อมูล KB แต่ไม่ได้ปรับปรุงเว็บไซต์บ่อย ๆ ที่ต้องสะท้อนถึงบอทแบบเรียลไทม์ ทางเลือกที่คุ้มค่าคือใช้ Search The Web เป็นแหล่งข้อมูล KB แทน ก่อนเปลี่ยนแหล่งข้อมูลนี้ ควรทดสอบประสิทธิภาพกับคำถามที่คาดว่าจะถูกถามก่อนว่าผลลัพธ์ไม่แย่ลง

เคล็ดลับที่ 5: ค้นหาข้อมูลในตารางด้วย Find Records หรือ Execute Code card

หากคุณมีตารางข้อมูลที่ต้องการค้นหา ให้พิจารณาใช้การ์ด Find Records แทนการนำตารางไปไว้ใน KB สำหรับผู้ที่มีความเชี่ยวชาญด้านเทคนิค การรันโค้ดโดยตรงอาจเป็นวิธีที่ประหยัดยิ่งกว่า โดยสามารถดึงข้อมูลจากตารางผ่าน Execute Code card และเก็บผลลัพธ์ไว้ในตัวแปร workflow เพื่อใช้งานต่อไป

เคล็ดลับที่ 6: ควบคุมจำนวนชิ้นข้อมูล

Chunks ในที่นี้หมายถึงจำนวนชิ้นข้อมูลที่ดึงจาก Knowledge Base เพื่อสร้างคำตอบ โดยทั่วไปยิ่งดึงข้อมูลมาก คำตอบจะยิ่งแม่นยำขึ้น แต่จะใช้เวลานานขึ้นและเปลือง AI tokens มากขึ้น ทดลองปรับขนาด chunk เพื่อหาจำนวนที่น้อยที่สุดที่ยังให้คำตอบแม่นยำ

ใช้ Execute Code Card เพื่อลดค่าใช้จ่าย AI

การ์ด Execute Code สามารถเป็นทางเลือกที่คุ้มค่าสำหรับบางการ์ด AI ต่อไปนี้คือตัวอย่างสถานการณ์ที่คุณอาจเลือกใช้ได้

ทางเลือกข้อความอัจฉริยะที่ประหยัดกว่า

หากคุณต้องการให้บอทตอบ AI แตกต่างกันทุกครั้งสำหรับคำถามเดียวกัน คุณต้องปิดการแคช (ดูภาคผนวกเพื่อเรียนรู้วิธี) มีบางกรณีที่การเพิ่มค่าใช้จ่าย AI อาจคุ้มค่ากับประสบการณ์สนทนาที่ดีขึ้น แต่ไม่ใช่ทุกกรณี

ตัวอย่างเช่น การทักทายง่าย ๆ ที่สร้างด้วย LLM ทุกครั้งที่ทักทายจะมีค่าใช้จ่าย AI เพิ่มขึ้น คุ้มไหม? อาจจะไม่ โชคดีที่มีวิธีประหยัด: ใช้อาร์เรย์ที่มีคำตอบหลายแบบและฟังก์ชันสุ่มเลือกคำตอบมาแสดง

ขึ้นอยู่กับปริมาณการสนทนา เงินที่คุณประหยัดได้จากวิธีนี้อาจคุ้มค่ากับความพยายาม

คุณสามารถดูรายละเอียดเพิ่มเติมเกี่ยวกับ วิธีสร้างข้อความทางเลือกได้ที่นี่

การรันโค้ดสำหรับงานง่าย ๆ

สำหรับงานง่าย ๆ เช่น การจัดรูปแบบข้อมูลใหม่ หรือดึงข้อมูลจากข้อมูลที่มีโครงสร้าง การใช้ Execute Code card จะมีประสิทธิภาพ ประหยัด และรวดเร็วกว่าการใช้ LLM

ทางเลือกแทน Summary Agent

คุณสามารถใช้ Execute Code card เพื่อสร้างบันทึกการสนทนาเอง วาง Execute Code card ในจุดที่ต้องการบันทึกข้อความของผู้ใช้และบอทลงในตัวแปรอาร์เรย์ จากนั้นสามารถนำอาร์เรย์นี้ไปใช้เป็นบริบทให้กับ KB ได้

ลดความซับซ้อนเมื่อทำได้

เลือกวิธีโต้ตอบที่ง่ายที่สุดซึ่งยังบรรลุเป้าหมายโดยไม่ลดทอนประสบการณ์ผู้ใช้ เช่น หากต้องการเก็บฟีดแบคจากผู้ใช้ การให้คะแนนเป็นดาวพร้อมคอมเมนต์จะประหยัดกว่าการใช้ AI เพื่อเก็บข้อมูลเดียวกัน

เคล็ดลับสำหรับ AI Tasks, AI Generate Text และการแปลภาษา

เลือกโมเดล AI ที่เหมาะสม

ใช่ การเลือกโมเดล AI ที่เหมาะสมสำคัญมากจนต้องย้ำอีกครั้ง เช่นเดียวกับ KB การเลือกโมเดล AI มีผลต่อค่าใช้จ่ายอย่างมากใน AI Tasks เลือกใช้ GPT-3.5 Turbo สำหรับคำสั่งที่ไม่ซับซ้อน ก่อนจะอัปเกรดไปเวอร์ชันสูงกว่า ควรทดสอบระบบกับโมเดลนี้ให้ละเอียด จำไว้ว่า GPT-4 Turbo มีค่าใช้จ่ายสูงกว่า GPT-3.5 Turbo ถึง 20 เท่า เว้นแต่ผลลัพธ์จะดีกว่ามาก ให้เลือก GPT-3.5 Turbo

นอกจากนี้ คุณยังสามารถประหยัดค่าใช้จ่าย AI ได้ด้วยการลดจำนวน tokens ที่ใช้ในแต่ละรอบของ AI Task

คำแนะนำของฉันคือควรระวังในการลดจำนวนนี้ เพราะหาก prompt รวมกับ output เกินขีดจำกัด token ที่กำหนด ส่วนที่เกินจะถูกตัดออก เช่น หากจำกัดความยาวไว้ที่ 2000 tokens แต่ prompt รวมกับ output เกิน 2000 tokens ข้อมูล input จะถูกตัดออกตามนั้น

AI Task กับ AI Generate Text

สำหรับข้อความที่ต้องการผลลัพธ์ง่าย ๆ การ์ด AI Generate Text ใช้ tokens น้อยกว่าและตั้งค่าง่ายกว่าการ์ด AI Task สำหรับงานที่ต้องแยกข้อมูล การ์ด AI Task จะทำงานได้ดีกว่า AI Generate Text

ดังนั้น ฉันแนะนำให้ใช้การ์ด AI Task เมื่อคุณต้องการให้ AI ประมวลผลข้อมูล (เช่น ตรวจจับเจตนาของผู้ใช้ หรือให้ AI วิเคราะห์ input) แต่ถ้าต้องการให้ AI สร้างข้อความ ให้ใช้ AI Generate Text แทน (เช่น ขยายคำตอบจาก KB หรือสร้างคำถามใหม่อย่างสร้างสรรค์)

หากต้องการศึกษาเพิ่มเติมเกี่ยวกับความแตกต่างระหว่างการ์ด AI Task และ AI Generate Text ดูรายละเอียดเพิ่มเติมที่นี่

การแปลภาษา

หากบอทของคุณต้องรองรับการสนทนาหลายภาษาในปริมาณมาก ให้พิจารณาเชื่อมต่อกับบริการแปลภายนอกผ่าน hooks เพื่อเป็นทางเลือกที่ประหยัดกว่า

คุณสามารถดู ข้อมูลเพิ่มเติมเกี่ยวกับ hooks ได้ที่นี่

สรุปการสนทนา

ด้วยกลยุทธ์และเคล็ดลับเหล่านี้ คุณจะสามารถเพิ่มประสิทธิภาพการใช้จ่ายด้าน AI ใน Botpress ได้ การเข้าใจผลกระทบของแต่ละงานต่อค่าใช้จ่ายและการเลือกวิธีที่มีประสิทธิภาพที่สุดสำหรับความต้องการของคุณ จะช่วยลดค่าใช้จ่ายด้าน AI โดยไม่ลดทอนประสิทธิภาพ

ทีมงานของเราพร้อมช่วยเหลือคุณในการเลือกตัวเลือกเหล่านี้ เพื่อให้บอทของคุณมอบประสบการณ์ที่ดีที่สุดแก่ผู้ใช้ของคุณในต้นทุนที่คุ้มค่าที่สุด เยี่ยมชม หน้าราคา ของเราสำหรับข้อมูลเพิ่มเติม หรือเข้าร่วมเซิร์ฟเวอร์ Discord ของเราเพื่อขอความช่วยเหลือ

ภาคผนวก

วิธีป้องกันการแคช

หากคุณต้องการหลีกเลี่ยงการแคชเพื่อให้ได้ผลลัพธ์แบบเรียลไทม์เสมอ คุณสามารถเลือกทำตามวิธีใดวิธีหนึ่งต่อไปนี้:

• หากต้องการป้องกันการแคชแบบถาวร: เพิ่ม `And discard:{{Date.now()}}` ในการ์ดที่เกี่ยวข้องกับ AI ทั้งหมดของคุณ (เช่น ในพรอมต์ AI Task, ในบริบท KB เป็นต้น)
• หากต้องการป้องกันการแคชชั่วคราว: เผยแพร่บอทของคุณแล้วทดสอบจากหน้าต่างไม่ระบุตัวตน

คอร์สแนะนำ

• ‍ChatGPT Prompt Engineering สำหรับนักพัฒนา (แม้ว่าชื่อจะบอกว่าสำหรับนักพัฒนา แต่ผู้ที่ไม่ใช่นักพัฒนาก็จะได้รับประโยชน์เช่นกัน!)
• ‍สร้างระบบด้วย ChatGPT API