GLM-۵.۳-Flash و MiMo-V۲.۶؛ اجرای مدل‌های MoE بزرگ با GPU و RAM

دو مدل MoE جدید با لایسنس MIT در ماه‌های اخیر توجه زیادی گرفته‌اند: GLM-5.3-Flash از Z.ai با ۳۲۰ میلیارد پارامتر و فقط ۱۸ میلیارد پارامتر فعال، و MiMo-V2.6-Flash از شیائومی با ۳۰۹ میلیارد پارامتر و ۱۵ میلیارد فعال. هر دو برای کدنویسی و Agent ساخته شده‌اند و ورودی تصویر دارند. این مدل‌ها روی یک GPU معمولی جا نمی‌شوند، اما با ترکیب GPU و RAM یا چند GPU قابل اجرا هستند. در این راهنما حافظه لازم، روش‌های اجرا و نسخه کوچک MiMo که روی یک کارت ۱۲ گیگابایتی اجرا می‌شود را بررسی می‌کنیم.

GLM-۵.۳-Flash چیست؟

GLM-۵.۳-Flash اولین مدل چندرسانه‌ای بومی سری GLM-۵ است. Z.ai می‌گوید این مدل از GLM-۵.۲ در همه بنچمارک‌ها بهتر است و هزینه سرو آن یک‌دهم است. ویژگی‌های اصلی:

• ۳۲۰ میلیارد پارامتر کل، ۱۸ میلیارد فعال
• معماری ترکیبی توجه پراکنده و خطی برای کاهش هزینه Context بلند؛ اولین بار در سری GLM.
• ورودی متن و تصویر
• لایسنس MIT؛ توجه کنید که GLM-۵.۳ بزرگ (۷۴۴ میلیارد پارامتر) لایسنس اختصاصی دارد اما نسخه Flash آزاد است.
• پشتیبانی رسمی در SGLang، vLLM، TokenSpeed، Transformers، KTransformers و Unsloth.

MiMo-V2.۶-Flash چیست؟

MiMo-V2.۶ سری جدید شیائومی است که در شهریور ۱۴۰۵ منتشر شد. نسخه Pro آن (حدود یک تریلیون پارامتر) در برخی رتبه‌بندی‌های مستقل در صدر مدل‌های متن‌باز قرار گرفته، اما برای اجرای لوکال نسخه Flash عملی‌تر است:

• ۳۰۹ میلیارد پارامتر کل، ۱۵ میلیارد فعال با معماری MoE و توجه پنجره لغزان ترکیبی
• Omnimodal: متن، تصویر، ویدیو و صدا در یک مدل
• Context یک میلیون توکن
• MTP پنج‌لایه برای Speculative Decoding
• آموزش با یک RL مشترک روی کدنویسی، Agent عمومی، وظایف تصویری و امنیت سایبری
• لایسنس MIT

حجم فایل‌ها و حافظه لازم

حجم نسخه‌های GGUF منتشرشده GLM-۵.۳-Flash در مخزن Unsloth:

MiMo-V2.۶-Flash با اندازه نزدیک، حجم‌های مشابهی دارد. به این اعداد، KV Cache و حافظه سیستم‌عامل را اضافه کنید. چون فقط بخش کوچکی از وزن‌ها در هر توکن خوانده می‌شود، مدل‌های MoE برای اجرای ترکیبی که Expertها در RAM هستند مناسب‌ترند. توضیح بیشتر در کوانتیزاسیون LLM چیست.

اجرای ترکیبی GPU و RAM

در این روش لایه‌های توجه و Expert مشترک روی GPU و Expertهای مسیریابی‌شده در RAM سیستم قرار می‌گیرند. برای نسخه Q4 گلم، سروری با حدود ۲۵۶ گیگابایت RAM و یک GPU با ۲۴ تا ۴۸ گیگابایت لازم است. سرعت به پهنای باند RAM و تعداد کانال‌های حافظه سرور بستگی دارد.

با llama.cpp

pip install -U huggingface_hub
hf download unsloth/GLM-5.3-Flash-GGUF --include "UD-Q4_K_XL/*" --local-dir /models/glm53flash

./build/bin/llama-server \
  -m /models/glm53flash/UD-Q4_K_XL/GLM-5.3-Flash-UD-Q4_K_XL-00001-of-0000N.gguf \
  -ngl 999 --override-tensor ".ffn_.*_exps.=CPU" \
  --ctx-size 32768 --jinja \
  --host 127.0.0.1 --port 8080 --api-key YOUR_KEY

نام دقیق فایل اول (بخش 00001-of-...) را از پوشه دانلودشده بردارید؛ llama.cpp بقیه بخش‌ها را خودش پیدا می‌کند. گزینه --override-tensor Expertها را روی CPU نگه می‌دارد. اگر VRAM اضافه دارید، می‌توانید بخشی از Expertها را با الگوی دقیق‌تر به GPU برگردانید تا سرعت بیشتر شود. ساخت llama.cpp با CUDA در آموزش Nemotron ۳.۵ Bolt آمده است.

با KTransformers

KTransformers پروژه‌ای است که مخصوص اجرای ترکیبی CPU و GPU مدل‌های MoE طراحی شده و Z.ai یک آموزش رسمی برای GLM-۵.۳-Flash در مستندات آن معرفی کرده است. روی سرورهایی با CPU چندکاناله و دستورات AMX یا AVX-۵۱۲ معمولاً سریع‌تر از llama.cpp است. مراحل نصب در این پروژه با هر نسخه تغییر می‌کند؛ آموزش رسمی را دنبال کنید.

سرو روی چند GPU با vLLM و SGLang

برای سرویس‌دهی هم‌زمان به یک تیم، باید کل مدل روی VRAM باشد. نسخه FP8 حدود ۳۲۰ گیگابایت است و روی ۸ کارت H100 با ۸۰ گیگابایت، با فضای کافی برای KV Cache سرو می‌شود. Z.ai برای vLLM و SGLang دستورالعمل اختصاصی منتشر کرده است؛ ساختار کلی دستور:

vllm serve zai-org/GLM-5.3-Flash \
  --tensor-parallel-size 8 \
  --max-model-len 131072 \
  --host 127.0.0.1 --port 8000 --api-key YOUR_KEY

گزینه‌های Parser برای فراخوانی ابزار و استدلال را از دستورالعمل رسمی بردارید. اصول سرو برای چند کاربر در سرو LLM چندکاربره.

MiMo-V2.۶-Distill-Qwen-9B روی یک GPU

شیائومی همراه این سری، یک مدل ۹ میلیاردی هم منتشر کرده که با داده‌های تولیدشده MiMo-V2.۶ روی Qwen3.۵-9B آموزش دیده است. طبق گزارش شیائومی، این مدل نسبت به Qwen3.۵-9B پایه پیشرفت چشمگیری دارد:

نسخه Q4 این مدل حدود ۶ گیگابایت است و روی یک GPU با ۸ تا ۱۲ گیگابایت اجرا می‌شود. نسخه‌های GGUF آن در Hugging Face (مثلاً مخزن ggml-org/MiMo-V2.6-Distill-Qwen-9B-GGUF) موجودند و مستقیم با Ollama هم اجرا می‌شوند:

ollama run hf.co/ggml-org/MiMo-V2.6-Distill-Qwen-9B-GGUF

اگر برچسب کوانتیزاسیون پیش‌فرض در آن مخزن نبود، نام دقیق فایل را با :Q4_K_M یا مشابه آن به انتهای آدرس اضافه کنید. شیائومی این مدل را نسخه SFT برای تحقیق و پایه آموزش بعدی معرفی کرده است.

تنظیمات مهم استدلال

• GLM-5.3-Flash: پارامتر reasoning_effort سه سطح low، high و max دارد و اگر ارسال نشود max در نظر گرفته می‌شود که برای چت روزمره کند است. برای چت، low یا high را صریحاً بفرستید.
• clear_thinking: در قالب چت GLM-۵.۳-Flash به‌طور پیش‌فرض false است؛ Z.ai برای سناریوی چت توصیه کرده آن را true بفرستید تا فکرهای قبلی در گفتگو انباشته نشوند.
• دما: سازندگان هر دو مدل ارزیابی را با temperature=1.0 انجام داده‌اند.

سوالات متداول