عند تجهيز البيانات لـ RAG، كل تفصيل في تنسيق وهيكلية المستند له أهمية. لنبدأ بالأساسيات: أنواع الملفات التي تستخدمها.

أولاً، تأكد من أن ملفاتك بصيغ مدعومة. يشمل ذلك الأنواع الشائعة مثل PDF، مستندات Word، ملفات HTML، Markdown، والنصوص العادية. يدعم Botpress Studio جميع هذه الصيغ. بشكل عام، تجنب استخدام أنواع الملفات التي يصعب تحليلها، مثل المستندات المعتمدة على الصور ذات التنسيقات المعقدة. بدون استخراج مناسب، لا يمكن لنموذج اللغة الكبير قراءة هذه الملفات، مما يحد من قدرة وكيلك على الفهم أو الاستجابة بدقة.

عند رفع ملف لاستخدامه كقاعدة معرفة للوكيل في Botpress، نقوم تلقائياً بتحويل الملف إلى صيغة Markdown. إذا كنت ترغب في ضمان أن يقدم وكيلك إجابات موثوقة باستمرار، يمكنك رفع ملف Markdown خام بنفسك، أو استخدام نوع قاعدة المعرفة للنص المنسق، والذي هو أيضاً مجرد Markdown.

الآن، بالإضافة إلى نوع الملف، فإن طريقة تنظيم محتوى المستند لا تقل أهمية. تقسيم ملفاتك إلى هيكل واضح ومنطقي—مع أقسام وعناوين وعناوين فرعية مميزة—يمكن أن يعزز بشكل كبير قدرة وكيلك على الفهم والاسترجاع. انتبه بشكل خاص لعناوين المستند: من خلال وجود تسلسل هرمي واضح للمعلومات عبر العناوين، يمكن لنموذج اللغة الكبير تصنيف المعلومات بشكل أفضل، مما يحسن قدرته على استرجاع المعرفة ذات الصلة بناءً على استفسارات المستخدم.

النظرية الأساسية هنا هي جعل مستندك سهل التحليل. بمعنى آخر، إذا أعطيت هذا المستند لشخص ليس لديه أي خلفية عن مجالك أو خدمتك، يجب أن يكون قادراً على فهم المعلومات التي يحتويها.

يستخدم Botpress منهجاً دلالياً للعناوين والعناوين الفرعية، ما يعني أننا أثناء خطوة تحويل النص إلى متجهات نولي اهتماماً للأجزاء المنطقية من ملفاتك التي ينبغي تجميعها معاً للاسترجاع. لكننا نعتمد على هيكلية مستندك للقيام بذلك بدقة: إذا تم تحليل العنوان كجزء من النص الرئيسي، سيؤدي ذلك إلى مشاكل في قدرة وكيلك على استرجاع المعلومات من هذا القسم بشكل متسق.

باختصار، تخصيص بعض الوقت لتنظيم وتوحيد ملفاتك يسهم بشكل كبير في تعزيز قدرة وكيلك على معالجة المعلومات واسترجاعها بدقة.