آموزش اجرای Qwen۳.۸-۲۷B به‌صورت لوکال با Ollama و vLLM

Qwen3.8 تازه‌ترین نسل مدل‌های متن‌باز Alibaba است و نسخه Qwen3.8-27B آن، با ۲۷ میلیارد پارامتر متراکم، یکی از پرکاربردترین مدل‌های متن‌باز سال ۲۰۲۶ شده است. این مدل متن، تصویر و ویدیو را می‌فهمد، حالت تفکر (Thinking) قابل کنترل دارد، با لایسنس Apache ۲.۰ منتشر شده و طبق کارت رسمی، در SWE-bench Pro امتیاز ۶۱.۷ گرفته است. در این آموزش Qwen3.۸-27B را روی یک سرور GPU لینوکسی، یک بار با Ollama برای شروع سریع و یک بار با vLLM برای سرویس‌دهی به چند کاربر، راه‌اندازی می‌کنیم.

Qwen3.۸-27B چه ویژگی‌هایی دارد؟

• معماری ترکیبی: از ۶۴ لایه، سه‌چهارم از Gated DeltaNet (توجه خطی) و یک‌چهارم از توجه کامل استفاده می‌کنند. نتیجه این است که حافظه KV Cache در Context بلند بسیار کمتر از مدل‌های متراکم معمولی رشد می‌کند.
• Context: ۲۶۲ هزار توکن به‌صورت پیش‌فرض، قابل گسترش تا حدود یک میلیون توکن.
• چندرسانه‌ای: درک تصویر، اسناد، نمودار و ویدیو. در OmniDocBench ۱.۵ امتیاز ۹۱.۱ گزارش شده که برای استخراج اطلاعات از اسکن و PDF مفید است.
• Agent و کدنویسی: ۷۳.۰ در Terminal-Bench ۲.۱، ۹۰.۳ در LiveCodeBench v6 و ۸۴.۳ در OSWorld-Verified (کار با کامپیوتر).
• Multi-Token Prediction: برای Speculative Decoding و افزایش سرعت تولید.

این نتایج را Alibaba گزارش کرده است؛ برای مقایسه با سایر مدل‌ها مقایسه مدل‌های متن‌باز ۲۰۲۶ را ببینید.

چقدر VRAM لازم است؟

محاسبه KV Cache: در این مدل فقط ۱۶ لایه توجه کامل با ۴ هد KV و بعد ۲۵۶ دارند؛ یعنی در دقت ۱۶ بیتی حدود ۶۴ کیلوبایت به ازای هر توکن. ۳۲ هزار توکن حدود ۲ گیگابایت و ۱۲۸ هزار توکن حدود ۸ گیگابایت حافظه اضافه می‌خواهد (برای هر درخواست هم‌زمان). منطق کامل این محاسبه در KV Cache چیست آمده است.

آماده‌سازی سرور

یک سرور Ubuntu ۲۴.۰۴ با GPU انویدیا و درایور نصب‌شده لازم دارید. ابتدا بررسی کنید GPU شناخته شده است:

nvidia-smi
df -h /

برای دانلود مدل و کش، دست‌کم ۸۰ گیگابایت فضای خالی دیسک در نظر بگیرید. اگر درایور نصب نیست یا تازه با سرور GPU کار می‌کنید، نصب Ollama روی سرور GPU مراحل پایه را دارد.

روش اول: اجرا با Ollama

ساده‌ترین راه، Ollama است. نسخه Ollama باید جدید باشد تا معماری Qwen3.۸ را پشتیبانی کند:

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull qwen3.8:27b
ollama run qwen3.8:27b "یک اسکریپت bash بنویس که فضای دیسک را بررسی کند"

برچسب‌های دیگر موجود در کتابخانه Ollama: qwen3.8:27b-q8_0 (حدود ۳۰ گیگابایت)، qwen3.8:27b-bf16 و نسخه‌های mtp که با پیش‌بینی چندتوکنی سریع‌تر تولید می‌کنند. با ollama ps ببینید مدل کامل روی GPU بارگذاری شده است؛ اگر ستون PROCESSOR بخشی را روی CPU نشان داد، VRAM کم است و سرعت شدیداً افت می‌کند.

طول Context پیش‌فرض Ollama کوتاه است. برای اسناد طولانی آن را افزایش دهید:

sudo systemctl edit ollama
# در بخش [Service] اضافه کنید:
Environment="OLLAMA_CONTEXT_LENGTH=32768"
sudo systemctl restart ollama

Ollama یک API سازگار با OpenAI روی http://127.0.0.1:11434/v1 دارد. مقایسه Ollama و vLLM در Ollama یا vLLM.

روش دوم: سرو با vLLM

اگر چند کاربر یا یک Agent با درخواست‌های موازی دارید، vLLM با Continuous Batching و PagedAttention توان بسیار بیشتری می‌دهد. Alibaba برای Qwen3.۸ دستورالعمل اختصاصی در مستندات vLLM و SGLang منتشر کرده است؛ نسخه vLLM را به‌روز نگه دارید.

python3 -m venv ~/vllm-env
source ~/vllm-env/bin/activate
pip install -U vllm

vllm serve Qwen/Qwen3.8-27B-FP8 \
  --host 127.0.0.1 --port 8000 \
  --max-model-len 65536 \
  --gpu-memory-utilization 0.92 \
  --api-key "$(openssl rand -hex 24)"

نسخه Qwen/Qwen3.8-27B-FP8 روی H100 یا L40S با ۴۸ گیگابایت مناسب است؛ روی H100 با ۸۰ گیگابایت می‌توانید مخزن اصلی Qwen/Qwen3.8-27B را با BF16 سرو کنید. کلید API که ساخته می‌شود را یادداشت کنید. تست:

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" \
  -d '{"model":"Qwen/Qwen3.8-27B-FP8","messages":[{"role":"user","content":"سلام، خودت را معرفی کن"}]}'

برای Context تا یک میلیون توکن، کارت مدل تنظیم YaRN را با --hf-overrides توضیح داده است؛ این کار حافظه بسیار زیادی لازم دارد و فقط وقتی واقعاً نیاز دارید فعالش کنید. اجرای vLLM به‌عنوان سرویس دائمی و ساخت API در ساخت API سازگار با OpenAI و سرو LLM برای چند کاربر.

کنترل حالت تفکر و سطح استدلال

Qwen3.۸ به‌طور پیش‌فرض قبل از پاسخ «فکر» می‌کند. سه ابزار برای کنترل آن دارید:

• reasoning_effort: مقادیر xhigh (پیش‌فرض)، medium و low.
• خاموش کردن تفکر: در vLLM با "chat_template_kwargs": {"enable_thinking": false} در بدنه درخواست.
• preserve_thinking: به‌طور پیش‌فرض فکرهای پیام‌های قبلی در گفتگو حفظ می‌شود که برای Agentها مفید است.

{"model":"Qwen/Qwen3.8-27B-FP8",
 "messages":[{"role":"user","content":"خلاصه این متن را بنویس: ..."}],
 "temperature":0.7,"top_p":0.8,
 "chat_template_kwargs":{"enable_thinking":false}}

پارامترهای پیشنهادی سازنده: در حالت تفکر temperature=1.0, top_p=0.95, top_k=20 و در حالت بدون تفکر temperature=0.7, top_p=0.8, top_k=20, presence_penalty=1.5. برای چت معمولی و خلاصه‌سازی، خاموش کردن تفکر پاسخ را چند برابر سریع‌تر می‌کند. سازنده هشدار داده که در Agentهای چندمرحله‌ای، کم کردن سطح استدلال همیشه زمان کل را کم نمی‌کند، چون ممکن است خطا و تلاش مجدد بیشتر شود.

اتصال به رابط کاربری و ابزارها

• رابط چت تیمی: Open WebUI را به آدرس Ollama یا vLLM وصل کنید.
• اتوماسیون: در n8n از نود OpenAI با Base URL سرور خودتان استفاده کنید.
• دستیار کدنویسی: بیشتر ابزارهای کدنویسی و Agentها از Endpoint سازگار با OpenAI پشتیبانی می‌کنند؛ Base URL را http://SERVER:8000/v1 بگذارید.

نکات امنیتی

• پورت ۱۱۴۳۴ (Ollama) و ۸۰۰۰ (vLLM) را عمومی نکنید. Ollama به‌طور پیش‌فرض احراز هویت ندارد. سرویس را روی 127.0.0.1 نگه دارید و از طریق Reverse Proxy با TLS یا شبکه خصوصی در دسترس قرار دهید.
• اگر مدل به ابزار یا ترمینال دسترسی دارد، دسترسی‌ها را محدود کنید. نکات بیشتر در امنیت MCP Server و AI Agent.
• مدل را فقط از مخزن رسمی Qwen/ یا منابع شناخته‌شده دانلود کنید.

سوالات متداول