در چند ماه گذشته مدل‌های متن‌باز (Open-Weight) جدیدی منتشر شده‌اند که در بسیاری از بنچمارک‌ها به مدل‌های تجاری بسته نزدیک شده‌اند یا از نسل قبلی آن‌ها جلو زده‌اند: Qwen3.۸ از Alibaba، Gemma ۴ از گوگل، Nemotron ۳.۵ از انویدیا، DeepSeek V4.۱-Flash، GLM-۵.۳-Flash از Z.ai و MiMo-V2.۶ از شیائومی. در این راهنما این مدل‌ها را از نگاه کسی که می‌خواهد آن‌ها را روی سرور خودش و به‌صورت لوکال اجرا کند مقایسه می‌کنیم: اندازه، حافظه لازم، لایسنس، نتیجه بنچمارک‌ها و اینکه هر کدام روی چه GPUای عملی است.
فهرست مطالب
چرا مدل را لوکال اجرا کنیم؟
اجرای لوکال یعنی وزن‌های مدل را دانلود کنید و روی GPU خودتان (سرور اختصاصی، سرور GPU ابری یا کارت گرافیک دفتر) سرو کنید؛ بدون ارسال داده به API یک شرکت دیگر. دلایل رایج:
- حریم خصوصی داده: اسناد داخلی، کد و اطلاعات مشتری از زیرساخت شما خارج نمی‌شود.
- هزینه قابل پیش‌بینی: در مصرف بالا، هزینه ساعتی یا ماهانه GPU معمولاً از پرداخت به ازای توکن ارزان‌تر است. مقایسه دقیق‌تر در سرور GPU یا API هوش مصنوعی.
- نبود محدودیت دسترسی و تحریم: مدل روی سرور شماست و به حساب کاربری یا روش پرداخت خارجی وابسته نیست.
- شخصی‌سازی: امکان Fine-Tune، اتصال به RAG و تنظیم کامل پارامترها. پیش‌زمینه در تفاوت Inference و Fine-Tuning.
جدول مقایسه مدل‌های جدید
اعداد از کارت رسمی هر مدل در Hugging Face (مهر ۱۴۰۵ / اکتبر ۲۰۲۶) برداشته شده است. «پارامتر فعال» در مدل‌های MoE یعنی تعداد پارامترهایی که برای تولید هر توکن واقعاً محاسبه می‌شوند؛ سرعت به این عدد وابسته است، اما حافظه لازم به کل پارامترها.
| مدل | سازنده | کل / فعال | Context | ورودی | لایسنس |
|---|---|---|---|---|---|
| Qwen3.8-27B | Alibaba | 27B متراکم | 262K (تا 1M) | متن، تصویر، ویدیو | Apache 2.0 |
| Gemma 4 31B | Google DeepMind | ۳۰.7B متراکم | 256K | متن، تصویر | Apache 2.0 |
| Gemma 4 26B A4B | Google DeepMind | 25.2B / 3.8B | 256K | متن، تصویر | Apache 2.0 |
| Nemotron 3.5 Bolt 24GB | NVIDIA | 74B / 9B (۲ بیتی) | 256K | متن، تصویر | OpenMDW-1.1 |
| Nemotron 3.5 Lightning | NVIDIA | 30B / 3B | تا 1M | متن | OpenMDW-1.1 |
| GLM-5.3-Flash | Z.ai | 320B / 18B | بلند | متن، تصویر | MIT |
| MiMo-V2.6-Flash | Xiaomi | 309B / 15B | 1M | متن، تصویر، ویدیو، صدا | MIT |
| DeepSeek V4.1-Flash | DeepSeek | 552B / 8B تا 16B | 1M | متن، تصویر | MIT |
| gpt-oss-20b / 120b | OpenAI | 21B / ۳.6B و 117B / ۵.1B | 128K | متن | Apache 2.0 |
مدل‌های بسیار بزرگ‌تری مثل Kimi K3 (حدود ۲.۸ تریلیون پارامتر) و MiMo-V2.۶-Pro هم وزن باز دارند، اما اجرای آن‌ها به ده‌ها GPU دیتاسنتری نیاز دارد و برای اجرای لوکال در این مقاله بررسی نمی‌شوند.
بنچمارک‌ها را چطور بخوانیم؟
چند نمونه از نتایجی که سازندگان در کارت مدل منتشر کرده‌اند:
- Qwen3.8-27B: امتیاز ۶۱.۷ در SWE-bench Pro، ۷۳.۰ در Terminal-Bench ۲.۱، ۸۹.۲ در GPQA Diamond و ۹۰.۳ در LiveCodeBench v6؛ برای یک مدل ۲۷ میلیاردی بسیار قوی است.
- Gemma 4 31B: ۸۵.۲ درصد در MMLU Pro، ۸۴.۳ در GPQA Diamond و ۸۰.۰ در LiveCodeBench v6. نسخه 26B A4B با فقط ۳.۸ میلیارد پارامتر فعال، به نتایج نزدیکی می‌رسد.
- Nemotron 3.5 Bolt: ۸۶.۴ در GPQA Diamond و ۵۱.۰ در Terminal-Bench ۲.۱ در نسخه ۲ بیتی، بالاتر از Gemma ۴ 26B A4B و Qwen3.۶-35B-A3B در جدول انویدیا.
- DeepSeek V4.1-Flash: ۹۰.۶ در Terminal-Bench ۲.۱ و ۷۴.۲ در DeepSWE v1.۱ در حداکثر سطح استدلال؛ هم‌تراز مدل‌های بسته پیشرو در جدول خود DeepSeek.
هشدار مهم: این اعداد را خود سازندگان، با Harness و تنظیمات خودشان گزارش کرده‌اند و بین جدول‌های مختلف قابل مقایسه مستقیم نیستند. بهترین روش، آزمایش چند مدل روی داده و وظیفه واقعی خودتان است؛ مثلاً ۵۰ سوال یا تیکت نمونه از کسب‌وکارتان. توجه کنید که کیفیت پاسخ‌گویی به زبان فارسی هم در این بنچمارک‌ها جداگانه سنجیده نشده و باید خودتان بررسی کنید.
مدل‌هایی که روی یک GPU اجرا می‌شوند
حافظه تقریبی وزن‌ها را می‌توان با فرمول تعداد پارامتر × بیت ÷ ۸ تخمین زد؛ به این عدد حافظه KV Cache (بسته به طول Context و تعداد کاربر هم‌زمان) هم اضافه می‌شود. توضیح کامل در VRAM لازم برای LLM و KV Cache چیست.
| مدل | حجم Q4 در Ollama | حداقل VRAM عملی | آموزش |
|---|---|---|---|
| Gemma 4 E2B / E4B | حدود ۵ تا ۱۰ گیگابایت | ۸ تا ۱۲ گیگابایت | Gemma 4 |
| Gemma 4 12B | حدود ۸ گیگابایت | ۱۲ تا ۱۶ گیگابایت | Gemma 4 |
| gpt-oss-20b | حدود ۱۴ گیگابایت | ۱۶ گیگابایت | نصب Ollama |
| Gemma 4 26B A4B / 31B | حدود ۱۶ تا ۲۰ گیگابایت | ۲۴ گیگابایت | Gemma 4 |
| Qwen3.8-27B | حدود ۱۸ گیگابایت | ۲۴ گیگابایت | Qwen3.8 |
| Nemotron 3.5 Bolt | حدود ۲۵ گیگابایت (IQ2) | ۳۲ تا ۴۰ گیگابایت | Nemotron 3.5 Bolt |
برای چند کاربر هم‌زمان یا Context بلند، یک پله بالاتر از «حداقل» انتخاب کنید. برای سرو چندکاربره، vLLM به‌جای Ollama توان عملیاتی بسیار بیشتری دارد.
مدل‌های MoE بزرگ
GLM-۵.۳-Flash، MiMo-V2.۶-Flash و DeepSeek V4.۱-Flash از معماری Mixture-of-Experts استفاده می‌کنند. به دلیل پارامتر فعال کم، تولید توکن سریع است، اما کل وزن‌ها باید در حافظه باشند. مثلاً DeepSeek V4.۱-Flash حتی با کوانتیزاسیون ۴ بیتی به حدود ۲۸۰ گیگابایت حافظه فقط برای وزن‌ها نیاز دارد. سه راه وجود دارد:
- سرو روی چند GPU دیتاسنتری (مثلاً ۴ یا ۸ کارت H100 با ۸۰ گیگابایت) با vLLM یا SGLang.
- اجرای ترکیبی GPU و RAM با ابزارهایی مثل KTransformers یا llama.cpp که Expertها را در RAM نگه می‌دارند؛ ارزان‌تر اما کندتر.
- استفاده از نسخه‌های کوچک‌تر یا Distill شده مثل MiMo-V2.۶-Distill-Qwen-9B.
جزئیات در اجرای DeepSeek V4.۱-Flash و اجرای GLM-۵.۳-Flash و MiMo.
لایسنس و استفاده تجاری
- Apache 2.0 (Qwen3.۸-27B، Gemma ۴، gpt-oss): استفاده تجاری، تغییر و توزیع آزاد با حفظ اعلان لایسنس. Gemma ۴ اولین نسل Gemma با Apache ۲.۰ است؛ نسل‌های قبل شرایط اختصاصی گوگل را داشتند.
- MIT (DeepSeek V4.۱-Flash، GLM-۵.۳-Flash، MiMo-V2.۶): بسیار آزاد و ساده.
- OpenMDW-1.1 (Nemotron ۳.۵): لایسنس باز انویدیا برای مدل، داده و کد؛ پیش از استفاده تجاری متن آن را بخوانید.
همه نسخه‌های یک خانواده لایسنس یکسان ندارند؛ مثلاً GLM-۵.۳ بزرگ لایسنس اختصاصی دارد اما GLM-۵.۳-Flash با MIT منتشر شده است. همیشه فایل LICENSE همان مخزنی را که دانلود می‌کنید بررسی کنید.
کدام مدل برای کدام کار؟
- دستیار چت سازمانی و پاسخ به اسناد (RAG): Gemma ۴ 26B A4B به دلیل سرعت بالا یا Qwen3.۸-27B برای کیفیت بیشتر. راه‌اندازی RAG در ساخت چت‌بات روی اسناد.
- دستیار کدنویسی و Agent ترمینال: Qwen3.۸-27B بهترین نسبت کیفیت به حافظه را دارد؛ اگر حافظه بیشتری دارید Nemotron ۳.۵ Bolt و در مقیاس تیمی GLM-۵.۳-Flash. زیرساخت پیشنهادی در سرور برای AI Coding Agent.
- درک تصویر، اسکن اسناد و OCR: Qwen3.۸-27B و Gemma ۴ هر دو ورودی تصویر دارند.
- دستگاه‌های ضعیف و لپ‌تاپ: Gemma ۴ E2B و E4B.
- بیشترین کیفیت ممکن بدون API خارجی: DeepSeek V4.۱-Flash یا GLM-۵.۳-Flash روی چند GPU.
انتخاب GPU بر اساس مدل
پلن‌های سرور GPU تراست هاست روی NVIDIA L40S (از ۸ گیگابایت vGPU تا ۴۸ گیگابایت اختصاصی) و NVIDIA H100 (از ۱۰ گیگابایت vGPU تا ۸۰ گیگابایت اختصاصی) با پرداخت ساعتی ارائه می‌شوند. یک راهنمای سریع:
- ۸ تا ۱۶ گیگابایت: Gemma ۴ E4B و 12B، gpt-oss-20b، MiMo-V2.۶-Distill-Qwen-9B.
- ۲۴ گیگابایت: Qwen3.۸-27B و Gemma ۴ 26B/31B با کوانتیزاسیون ۴ بیتی.
- ۴۰ تا ۴۸ گیگابایت: Nemotron ۳.۵ Bolt، یا Qwen3.۸-27B با Q8 و Context بلندتر.
- ۸۰ گیگابایت: Qwen3.۸-27B با دقت کامل BF16 و چند کاربر هم‌زمان با vLLM.
برای مقایسه کارت‌ها، بهترین GPU برای LLM را ببینید.
سوالات متداول
بهترین مدل متن‌باز در حال حاضر کدام است؟
بستگی به سخت‌افزار دارد. در رده یک GPU، Qwen3.۸-27B در کدنویسی و Agent و Gemma ۴ در سرعت و کارایی برجسته‌اند. در رده چند GPU، DeepSeek V4.۱-Flash و GLM-۵.۳-Flash قوی‌ترین گزینه‌های با لایسنس MIT هستند.
مدل لوکال به اندازه ChatGPT یا Claude قوی است؟
بزرگ‌ترین مدل‌های متن‌باز در برخی بنچمارک‌ها نزدیک به مدل‌های بسته‌اند. مدل‌های یکGPU مثل Qwen3.۸-27B برای بسیاری از کارهای روزمره کافی‌اند، اما در وظایف بسیار سخت هنوز فاصله وجود دارد.
فارسی را خوب می‌فهمند؟
Qwen و Gemma آموزش چندزبانه گسترده دارند و فارسی را به‌خوبی می‌فهمند. کیفیت نوشتن فارسی بین مدل‌ها متفاوت است؛ پیش از انتخاب نهایی، روی متن‌های واقعی خودتان آزمایش کنید.
کوانتیزاسیون کیفیت را چقدر کم می‌کند؟
۸ بیتی تقریباً بدون افت است و ۴ بیتی افت کمی دارد. زیر ۴ بیت افت محسوس است، مگر مدلی که مثل Nemotron ۳.۵ Bolt برای کوانتیزاسیون پایین طراحی و بازآموزی شده باشد. بیشتر در کوانتیزاسیون LLM چیست.
مدل دلخواه خودتان را روی GPU اختصاصی اجرا کنید
با سرور GPU تراست هاست روی H100 یا L40S، مدل‌های متن‌باز را به‌صورت ساعتی آزمایش کنید و بعد پلن مناسب را انتخاب کنید. اگر در راه‌اندازی کمک لازم دارید، پشتیبانی سرور همراه شماست.
