یک مدل زبانی ذاتاً ماهیتی احتمالاتی دارد؛ به این معنا که یک ورودی یکسان می‌تواند خروجی‌های متفاوتی ایجاد کند و بروز خطا در آن گریزناپذیر است. اگر به دنبال ساخت سامانه‌ای قابل‌اعتماد هستید، اشتباه رایج این است که بخواهید مدل را به عملکردی همواره بی‌نقص وادار کنید. راهکار سنجیده‌تر، پذیرش ماهیت احتمالی مدل و طراحی یک لایه قطعی پیرامون آن است تا لغزش‌ها و خطاهای خروجی مدل را مهار کند.

تقسیم کار: تفکیک شناخت از قاعده

ایده اصلی بر تفکیک این دو کارکرد استوار است. مدل، وظایف شناختی را بر عهده دارد؛ مواردی چون درک بستر، استدلال، تولید متن و تصمیم‌گیری‌های غیرقاعده‌مند. در مقابل، لایه قاعده — که به آن «هارنس» می‌گوییم — وظایف قطعی را انجام می‌دهد: اعتبارسنجی، بازیابی پس از خطا، اعمال سیاست‌ها و هر آنچه فرمول‌بندی مشخصی دارد. مدل در تولید محتوا آزاد است، اما هارنس وظیفه دارد انطباق خروجی با قوانین را تضمین کند.

جایگاه قواعد: فراتر از پرامپت

پرسش کلیدی این است که هر قاعده باید در کجا مستقر شود. برای این منظور، می‌توان سه دسته کلی را از یکدیگر تفکیک کرد:

  • سیاست‌های سخت‌گیرانه باید در لایه هارنس اعمال شوند، نه درون پرامپت. به عنوان مثال، قاعده‌ای مانند «هر خروجی مغایر با داده‌های زمینه باید رد شود» باید از طریق یک بررسی قطعی در مراحل نهایی اجرا شود، نه اینکه امیدوار باشیم خود مدل آن را رعایت کند.
  • راهنمایی‌های منعطف را باید درون پرامپت قرار داد؛ یعنی همان‌جایی که مدل قدرت تصمیم‌گیری دارد. برای نمونه، گزاره‌ای مانند «دقت و وفاداری به متن را بر روانی نگارش ترجیح بده»؛ در این حالت مدل تلاش می‌کند توازن را برقرار کند، اما محدودیتی سخت‌گیرانه به آن تحمیل نمی‌شود.
  • محدودیت‌های ساختاری را هارنس اعتبارسنجی می‌کند. مدل تلاش می‌کند خروجی ساختاریافته‌ای تولید کند، اما این بخش اعتبارسنجی هارنس است که صحت قالب را بررسی کرده و در صورت بروز خطا، جریان را به یک مسیر جایگزین هدایت می‌کند.

بررسی گام‌به‌گام مسیر داده‌ها

برای طراحی بهینه این لایه، یک تمرین ساده اما کلیدی وجود دارد: مسیر داده‌ها را در هر فراخوانی گام‌به‌گام دنبال کنید. پیش از فراخوانی مدل، هارنس چه داده‌هایی را آماده می‌سازد؟ مدل چه ورودی‌هایی دریافت می‌کند، چه بخش‌هایی از خروجی را خودش تولید می‌کند و چه میزان از آن بر اساس داده‌های بستر شکل می‌گیرد؟ پس از دریافت پاسخ از مدل، هارنس چه مواردی را ارزیابی یا اصلاح می‌کند؟ ردیابی گام‌به‌گام این مسیر مشخص می‌کند که کدام وظیفه سهم مدل است و کدام سهم لایه قاعده؛ رویکردی که جلوی رایج‌ترین خطاهای طراحی را می‌گیرد.

راستی‌آزما به عنوان لایه حفاظتی

یکی از الگوهای کارآمد در طراحی لایه قاعده، بهره‌گیری از یک مدل راستی‌آزماست. زمانی که یک مدل به تنهایی قادر به تضمین محدودیت‌های حیاتی نیست، می‌توان مدل دومی را به عنوان لایه حفاظتی به ساختار افزود: مدل اول وظیفه تولید را بر عهده دارد و مدل دوم با بررسی ورودی و خروجی، در صورت نقض قوانین، پاسخ را رد می‌کند. این ساختار تجسمی از الگوی تولیدکننده و راستی‌آزماست، با این تفاوت که در اینجا راستی‌آزما نقشی سیاستی و نظارتی ایفا می‌کند؛ مانند نگهبانی که مانع از عبور خروجی‌های نامطلوب می‌شود.

اصل تغییرناپذیر کلیدی

به عنوان اصل نهایی همواره به یاد داشته باشید: هدف ما این نیست که مدل را مجبور کنیم تمام قوانین را بی‌نقص اجرا کند، چرا که این امر اساساً غیرممکن است. بلکه هدف، فراهم کردن بستر تولید آزادانه برای مدل و واگذاری مسئولیت انطباق خروجی با قوانین به هارنس است. لایه قاعده دقیقاً نقاط ضعفی را پوشش می‌دهد که در فرآیند آموزش مدل نادیده مانده‌اند. تفاوت اصلی در همین‌جاست: سامانه‌ای که با امید به عملکرد بی‌نقص مدل ساخته شده در برابر سامانه‌ای که با فرض خطا داشتن مدل طراحی شده است؛ و بدیهی است که رویکرد دوم همواره به پایداری بیشتری می‌انجامد.