Nemotron ۳.۵ Bolt انویدیا؛ مدل ۷۴ میلیاردی در ۲۴ گیگابایت حافظه

انویدیا با Nemotron 3.5 Bolt کار جالبی کرده است: یک مدل ۷۴ میلیارد پارامتری با ۹ میلیارد پارامتر فعال را طوری فشرده و بازآموزی کرده که با کوانتیزاسیون حدود ۲ بیتی در حدود ۲۴ گیگابایت جا شود و همچنان در بنچمارک‌های Agent از مدل‌های ۳۰ میلیاردی هم‌رده جلو بزند. این مدل برای اجرای Agentهای لوکال (فراخوانی ابزار، مرور وب و کار با ترمینال) طراحی شده و تصویر را هم می‌فهمد. در این آموزش Nemotron ۳.۵ Bolt را با llama.cpp و Ollama روی سرور GPU اجرا می‌کنیم.

Nemotron ۳.۵ Bolt چیست؟

Bolt از مدل مادر Nemotron ۳.۵ Super VL (۱۲۰ میلیارد پارامتر، ۱۲ میلیارد فعال) ساخته شده است. انویدیا با روشی به نام Star Elastic، تعداد Expertها و پهنای لایه‌ها را با جستجوی معماری کم کرده، تعداد Expert فعال را از ۲۲ به ۹ رسانده و سپس مدل را با ۱۲۰ میلیارد توکن بازآموزی کرده است. در پایان همه Expertها با قالب IQ2-XXS (حدود ۲.۰۶ بیت برای هر پارامتر) کوانتیزه شده‌اند.

• پارامتر: ۷۴ میلیارد کل، ۹ میلیارد فعال
• Context: تا ۲۵۶ هزار توکن
• ورودی: متن و تصویر (Vision-Language)
• خروجی: متن، JSON، زنجیره استدلال و فراخوانی ابزار
• زبان‌ها: تمرکز اصلی انگلیسی و زبان‌های برنامه‌نویسی، به‌علاوه چند زبان اروپایی و آسیایی؛ فارسی جزو زبان‌های اعلام‌شده نیست.

بنچمارک در برابر رقبا

جدول منتشرشده انویدیا (Bolt در حالت IQ2 و رقبا با دقت کامل BF16):

این نتایج را خود انویدیا اندازه گرفته است. نکته جالب، برتری محسوس در BrowseComp و Terminal-Bench است که برای Agentهای مرور وب و ترمینال اهمیت دارد. برای مقایسه با Qwen3.۸ و سایر مدل‌ها مقایسه مدل‌های متن‌باز ۲۰۲۶ را ببینید.

سخت‌افزار لازم

فایل GGUF مدل حدود ۲۵ گیگابایت است. «۲۴GB» در نام مدل یعنی وزن‌ها در این حدود جا می‌شوند، اما KV Cache، فایل mmproj (بخش تصویر) و مدل Draft برای Speculative Decoding هم حافظه می‌گیرند. کارت رسمی دستورالعمل‌هایی برای ۲۸ و ۳۲ گیگابایت دارد و برای GPUهای مجزا ۳۲ گیگابایت یا بیشتر را توصیه می‌کند.

• ۲۴ گیگابایت: مرزی؛ فقط با Context کوتاه و بدون مدل Draft.
• ۴۰ گیگابایت (H100 vGPU): انتخاب راحت با Context حدود ۹۶K.
• ۴۸ گیگابایت (L40S اختصاصی): فضای کافی برای Context بلندتر و Draft Model.

اصول محاسبه حافظه در VRAM لازم برای LLM.

اجرا با Ollama

Nemotron ۳.۵ Bolt در کتابخانه Ollama با برچسب nemotron-3.5-bolt (حجم حدود ۲۵ گیگابایت) موجود است:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull nemotron-3.5-bolt
ollama run nemotron-3.5-bolt "Write a bash one-liner that lists the 10 largest files in /var"
ollama ps

Context پیش‌فرض Ollama کوتاه است؛ برای کار Agent آن را با متغیر OLLAMA_CONTEXT_LENGTH افزایش دهید (مثلاً ۶۵۵۳۶) و مطمئن شوید ollama ps همچنان ۱۰۰٪ GPU نشان می‌دهد.

اجرا با llama.cpp و Speculative Decoding

انویدیا برای بهترین سرعت، llama.cpp را همراه یک مدل Draft کوچک (LiLiCorr) پیشنهاد کرده است. ابتدا llama.cpp را با CUDA بسازید:

sudo apt install -y build-essential cmake git
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

سپس فایل‌ها را دانلود و سرور را اجرا کنید (برگرفته از کارت رسمی مدل):

pip install -U huggingface_hub
export MODEL_DIR="$PWD/models/nemotron-bolt"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF \
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf \
  mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --local-dir "$MODEL_DIR"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF \
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf --local-dir "$MODEL_DIR"

./build/bin/llama-server \
  --model "$MODEL_DIR/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf" \
  --mmproj "$MODEL_DIR/mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf" \
  --spec-type draft-dflash --spec-draft-n-max 6 \
  --spec-draft-model "$MODEL_DIR/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf" \
  --spec-draft-ngl 999 -ngl 999 \
  --ctx-size 98304 --parallel 1 \
  --cache-type-k q8_0 --cache-type-v q8_0 \
  --flash-attn on --temp 1.0 --top-p 0.95 --jinja \
  --host 127.0.0.1 --port 8080

• -ngl 999 همه لایه‌ها را روی GPU می‌برد.
• --cache-type-k/v q8_0 حافظه KV Cache را نصف می‌کند.
• اگر حافظه کم آمد، اول --ctx-size را کم کنید و سپس گزینه‌های --spec-* را حذف کنید.
• گزینه‌های Speculative Decoding در نسخه‌های مختلف llama.cpp تغییر می‌کنند؛ اگر خطای گزینه ناشناخته گرفتید، llama.cpp را به‌روز کنید.

llama-server یک API سازگار با OpenAI روی /v1/chat/completions می‌دهد که می‌توانید به Open WebUI یا ابزارهای Agent وصل کنید. احراز هویت با --api-key را فراموش نکنید و پورت را عمومی نکنید.

Nemotron ۳.۵ Lightning برای vLLM

اگر به جای حداقل حافظه، توان عملیاتی بالا برای چند کاربر می‌خواهید، نسخه Nemotron 3.5 Lightning 30B-A3B با ۳ میلیارد پارامتر فعال و Context تا یک میلیون توکن گزینه دیگر است. انویدیا آن را برای اجرای تک‌GPU روی H100 یا A100 با ۸۰ گیگابایت و vLLM معرفی کرده و نسخه‌های BF16، FP8 و NVFP4 دارد. در Ollama هم با برچسب nemotron-3.5-lightning (حدود ۱۹ گیگابایت) موجود است. در جدول بالا کیفیت آن از Bolt پایین‌تر است اما بسیار سریع‌تر پاسخ می‌دهد. مقایسه Ollama و vLLM در Ollama یا vLLM.

لایسنس OpenMDW

مدل‌های Nemotron ۳.۵ با لایسنس OpenMDW-۱.۱ منتشر شده‌اند که لایسنس باز برای وزن، داده و کد مدل است. انویدیا علاوه بر وزن‌ها، داده‌های آموزشی و دستورالعمل‌ها را هم منتشر می‌کند. پیش از استفاده تجاری، متن کامل لایسنس را در مخزن مدل بخوانید.

سوالات متداول