معماری RAG (تولید مبتنی بر بازیابی): اتصال اسناد فارسی به مدل‌های زبانی
راهنمای گام‌به‌گام RAG فارسی: تکه‌سازی، امبدینگ، پایگاه برداری، بازیابی ترکیبی و ارزیابی با LangChain.
نکات کلیدی و خلاصه اجرایی برای مدیران و متخصصان
- RAG توهم را با اتصال مدل به اسناد واقعی سازمان مهار میکند.
- تکه‌سازی معنایی و همپوشانی ۱۰-۲۰٪، بازیابی را در متون فارسی بهبود می‌دهد.
- بازیابی ترکیبی (برداری + کلیدواژه‌ای) + بازرتبه‌بندی دقت را افزایش می‌دهد.
- ارزیابی با معیارهای Faithfulness و Answer Relevance کیفیت را قابل سنجش میکند.
فهرست مطالب این مقاله
RAG چیست؟
RAG مدل را مجبور میکند قبل از پاسخ، اسناد مرتبط را بازیابی کند و پاسخ را مستند به آن‌ها بنویسد. این «زمین‌سازی» توهم را کاهش می‌دهد.
پایپ‌لاین ۶ مرحله‌ای
- تکه‌سازی: ۴۰۰-۸۰۰ توکن با همپوشانی ۱۰-۲۰٪ و حفظ مرز پاراگراف.
- امبدینگ: تبدیل تکهها به بردار معنایی.
- ذخیره‌سازی: درج در Vector DB (مثلاً pgvector/Qdrant) با متادیتا.
- بازیابی: جستجوی ترکیبی برداری + BM25 و بازرتبه‌بندی.
- زمین‌سازی: تزریق تکه‌های برتر داخل کانتکست با ارجاع.
- تولید: پاسخ با ذکر منبع و «اگر سند کافی نیست بگو نمی‌دانم».
الگوی پرامپت RAG
<context>{{retrieved_chunks}}</context>
Question: {{user_question}}
Answer only from context. Cite chunk ids. If insufficient, say: "INSUFFICIENT_CONTEXT".ارزیابی
دو معیار کلیدی: وفاداری به منبع و مرتبط‌بودن پاسخ. هر هفته یک مجموعه طلایی ۵۰ سوالی را اجرا و رگرسیون را پایش کنید.
پرسش‌های متداول (FAQ)
RAG با Fine-Tuning چه تفاوتی دارد؟
RAG دانش را بیرون مدل نگه میدارد و بهروز میکند؛ Fine-Tuning دانش را در وزنها مینویسد. برای اسناد متغیر، RAG کمهزینه و بهروزتر است.
برای فارسی چه امبدینگی بهتر است؟
امبدینگهای چندزبانه با پشتیبانی قوی فارسی و نرمالسازی نیمفاصله/اعراب. روی داده خود بنچمارک کنید و تکهها را با همپوشانی بسازید.
علاقه‌مند به یادگیری عمیق‌تر این مباحث هستید؟
در دوره جامع هوش مصنوعی AI-1، تمام الگوهای پرامپت، ایجنت‌های سازمانی و کدهای واقعی را به صورت کاملاً پروژه‌محور یاد بگیرید.
مشاهده سرفصل‌های دوره تخصصیدرباره مدرس و نویسنده: دکتر ابوطالب مرادی
پژوهشگر سیستم‌های هوش مصنوعی، مدرس دانشگاه و طراح دوره‌های پیشرفته مهندسی پرامپت و سیستم‌های ایجنتیک در ایران. جهت مشاوره و همکاری با شماره تلگرام زیر در ارتباط باشید.