راهنمای اجرای Gemma ۴ گوگل به‌صورت لوکال؛ از E۲B تا ۳۱B

گوگل با Gemma 4 خانواده مدل‌های متن‌باز خود را در پنج اندازه منتشر کرده است: از E2B که روی لپ‌تاپ و حتی موبایل اجرا می‌شود تا 31B که در بنچمارک‌ها با مدل‌های چند برابر بزرگ‌تر رقابت می‌کند. تفاوت مهم این نسل، لایسنس Apache 2.0 است که استفاده تجاری را ساده کرده، و پشتیبانی از تصویر، حالت تفکر و فراخوانی تابع در همه اندازه‌ها. در این راهنما می‌گوییم کدام نسخه Gemma ۴ را روی کدام GPU اجرا کنید و چطور آن را با Ollama و vLLM راه بیندازید.

نسخه‌های Gemma ۴

حرف E در E2B و E4B به معنی «پارامتر مؤثر» است؛ این مدل‌ها با تکنیک Per-Layer Embeddings طراحی شده‌اند و با احتساب Embeddingها کمی بزرگ‌ترند. نسخه 12B Unified بدون Encoder جداگانه، تصویر و صدا را مستقیم وارد مدل زبانی می‌کند.

بنچمارک‌ها

نتایج منتشرشده گوگل برای نسخه‌های Instruction-Tuned:

جهش نسبت به Gemma ۳ بسیار بزرگ است؛ حتی 12B از Gemma ۳ 27B در همه این موارد جلوتر است. Gemma ۴ روی بیش از ۱۴۰ زبان پیش‌آموزش دیده و برای بیش از ۳۵ زبان پشتیبانی آماده دارد. مقایسه با Qwen3.۸ و سایر مدل‌ها در بهترین مدل‌های متن‌باز ۲۰۲۶.

VRAM لازم برای هر نسخه

این حجم‌ها مربوط به وزن‌هاست؛ KV Cache بسته به طول Context و تعداد کاربر به آن اضافه می‌شود. Gemma ۴ از توجه ترکیبی (پنجره لغزان محلی و توجه سراسری) استفاده می‌کند که مصرف حافظه Context را نسبت به مدل‌های متراکم معمولی کم می‌کند. پایه محاسبه در VRAM لازم برای LLM.

26B A4B یا 31B؟

هر دو تقریباً یک اندازه حافظه می‌گیرند، اما رفتار متفاوتی دارند:

• 26B A4B برای هر توکن فقط حدود ۴ میلیارد پارامتر را محاسبه می‌کند؛ بنابراین تولید متن چند برابر سریع‌تر است و برای چت تیمی، RAG و پاسخ‌گویی پرحجم مناسب‌تر است.
• 31B متراکم است و در استدلال سخت، کدنویسی (Codeforces ELO ۲۱۵۰ در برابر ۱۷۱۸) و به‌خصوص Context بلند (MRCR v2 در ۱۲۸K: ۶۶.۴ در برابر ۴۴.۱ درصد) بهتر است.

قاعده ساده: اگر سرعت و تعداد کاربر مهم‌تر است 26B A4B، اگر کیفیت پاسخ در وظایف پیچیده یا اسناد طولانی مهم‌تر است 31B.

اجرا با Ollama

curl -fsSL https://ollama.com/install.sh | sh
ollama pull gemma4:26b
ollama run gemma4:26b "سه ایده برای کمپین فروش زمستانه یک فروشگاه آنلاین بنویس"
ollama ps

در خروجی ollama ps باید 100% GPU ببینید. برای ارسال تصویر در حالت تعاملی، مسیر فایل را در پیام بنویسید یا از API استفاده کنید:

curl http://127.0.0.1:11434/api/chat -d '{
  "model": "gemma4:26b",
  "messages": [{"role":"user","content":"متن این فاکتور را استخراج کن",
                "images":["'"$(base64 -w0 invoice.jpg)"'"]}],
  "stream": false
}'

اگر تازه با Ollama آشنا می‌شوید، Ollama چیست و نصب Ollama روی سرور GPU را ببینید.

سرو با vLLM و Transformers

برای چند کاربر هم‌زمان، مخزن رسمی را با vLLM سرو کنید (نسخه به‌روز vLLM لازم است):

pip install -U vllm
vllm serve google/gemma-4-26B-A4B-it \
  --host 127.0.0.1 --port 8000 \
  --max-model-len 32768 \
  --api-key "$(openssl rand -hex 24)"

نسخه BF16 مدل 26B A4B حدود ۵۲ گیگابایت است و روی H100 با ۸۰ گیگابایت با فضای کافی برای KV Cache اجرا می‌شود. برای GPUهای کوچک‌تر از نسخه‌های کوانتیزه‌شده جامعه (GGUF با llama.cpp یا FP8) استفاده کنید. برای آزمایش در پایتون:

pip install -U transformers torch accelerate
python3 - <<'EOF'
from transformers import AutoProcessor, AutoModelForMultimodalLM
mid = "google/gemma-4-12B-it"
processor = AutoProcessor.from_pretrained(mid)
model = AutoModelForMultimodalLM.from_pretrained(mid, dtype="auto", device_map="auto")
msgs = [{"role": "user", "content": "سرور مجازی چیست؟ در دو جمله."}]
inputs = processor.apply_chat_template(msgs, tokenize=True, return_dict=True,
    return_tensors="pt", add_generation_prompt=True, enable_thinking=False).to(model.device)
out = model.generate(**inputs, max_new_tokens=200)
print(processor.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))
EOF

تصویر، صدا، تفکر و فراخوانی تابع

• تصویر: همه نسخه‌ها؛ از OCR چندزبانه و خواندن دست‌خط تا تحلیل نمودار و رابط کاربری. ویدیو به‌صورت دنباله فریم پردازش می‌شود.
• صدا: فقط E2B، E4B و 12B؛ شامل تشخیص گفتار و ترجمه گفتار به متن. برای تبدیل گفتار فارسی به متن با کیفیت بالا، Whisper را هم مقایسه کنید.
• حالت تفکر: با enable_thinking در قالب چت (یا توکن کنترلی ابتدای System Prompt) روشن و خاموش می‌شود. برای چت روزمره خاموش، برای ریاضی و کد روشن باشد.
• System Prompt بومی: برخلاف Gemma ۳، نقش system مستقیم پشتیبانی می‌شود.
• Function Calling: برای ساخت Agent و اتصال به ابزارها؛ نمونه در ساخت AI Agent با n8n و Ollama.

سوالات متداول