کارگاه
میخواهید همین امروز چیزی بسازید؟
عملی و آمادهٔ استفاده — یک مدل انتخاب کنید، روی Colab رایگان fine-tune کنید، و منتشرش کنید.
فهرستی عملی برای انتخاب مدل زبانی متناسب با قابلیتهای شما انتخاب مدل، بیش از آنکه به جدولهای رتبهبندی مربوط باشد، به شناخت دقیق نیازهایتان بستگی دارد؛ شش گام ساده که میتوانید از همین امروز دنبال کنید. کارگاه ۳ دقیقه استنتاج مدل زبانی واقعاً چگونه کار میکند: پیشپر کردن در برابر کدگشایی تولید متن شامل دو مرحله با رفتارهای کاملاً متفاوت است: یکی محدود به محاسبات و دیگری محدود به حافظه. درک این تفاوت توضیح میدهد چرا حافظه نهان وجود دارد و چرا کدگشایی کند است. کارگاه ۴ دقیقه اولین مدل خود را روی Colab رایگان ریزتنظیم کنید: QLoRA در حدود ۴۰ خط ریزتنظیم یک مدل نیازی به خوشهای پرهزینه ندارد. با QLoRA میتوان مدلی کوچک را روی یک GPU رایگان و تنها با چند ده خط کد تنظیم کرد. کارگاه ۴ دقیقه یک مدل ۷۰ میلیاردی روی یک کارت گرافیک: راهنمای عملی کوانتش یک مدل ۷۰ میلیاردی با دقت کامل به حدود ۱۴۰ گیگابایت حافظه نیاز دارد. با کوانتش میتوان این مدل را آنقدر فشرده کرد که روی یک کارت گرافیک جا شود و کیفیت آن تقریباً دستنخورده باقی بماند. کارگاه ۵ دقیقه کار با APIهای مدل زبانی: اولین فراخوانی، توکنها و خروجی ساختارمند اولین فراخوانی یک API مدل زبانی سادهتر از آن است که به نظر میرسد. اگر چند مفهوم پایه را بشناسید — نقشها، توکنها، دما و خروجی ساختارمند — بقیه مسیر روشن میشود. کارگاه ۵ دقیقه بدون مثال، با مثال یا Chain of Thought: تکنیک مناسب را انتخاب کنید سه تکنیک پایه برای پرامپتنویسی وجود دارد که هرکدام جایگاه خود را دارند؛ دانستن زمان استفاده از هریک، از خود این تکنیکها مهمتر است. کارگاه ۴ دقیقه