Ollama یا vLLM؛ ۷ تفاوت کلیدی در اجرای مدل‌های زبانی

اگر می‌خواهید مدل‌های زبانی متن‌باز را روی سرور خودتان اجرا کنید، دو نام بیش از همه شنیده می‌شود: Ollama و vLLM. هر دو مدل را اجرا و یک API ارائه می‌کنند، اما برای دو هدف متفاوت ساخته شده‌اند. Ollama برای سادگی و vLLM برای توان عملیاتی بالا. در این مقاله هفت تفاوت کلیدی آن‌ها را بررسی می‌کنیم و می‌گوییم کدام برای سناریوی شما مناسب است.

خلاصه در یک نگاه

• Ollama: نصب با یک دستور، مدیریت مدل شبیه Docker، اجرا روی CPU و GPU؛ عالی برای توسعه، استفاده شخصی و تیم‌های کوچک.
• vLLM: موتور سرویس‌دهی برای محیط عملیاتی با PagedAttention و Continuous Batching؛ بهترین انتخاب وقتی ده‌ها کاربر همزمان دارید.

۱. معماری و هسته اجرا

Ollama بر پایه llama.cpp ساخته شده؛ موتوری به زبان C++ که برای اجرای کارآمد روی سخت‌افزارهای متنوع، از لپ‌تاپ تا سرور، بهینه شده است. لایه Ollama دانلود، ذخیره، بارگذاری و تخلیه مدل‌ها را خودکار می‌کند.

vLLM موتوری پایتونی با کرنل‌های بهینه CUDA است که در UC Berkeley توسعه یافت و برای یک هدف طراحی شده: بیشترین تعداد توکن در ثانیه از یک GPU، وقتی درخواست‌های زیادی همزمان می‌رسند.

۲. مدیریت حافظه GPU

• Ollama مدل را هنگام اولین درخواست بارگذاری می‌کند و پس از مدتی بی‌استفاده ماندن (پیش‌فرض ۵ دقیقه) از حافظه خارج می‌کند. می‌تواند چند مدل را به نوبت در حافظه بیاورد. این رفتار برای سرورهایی که چند کار متفاوت انجام می‌دهند مناسب است.
• vLLM هنگام شروع، سهم بزرگی از VRAM را (به‌طور پیش‌فرض ۹۰ درصد) رزرو می‌کند و هرچه پس از بارگذاری مدل باقی بماند، به KV Cache اختصاص می‌دهد. با PagedAttention این حافظه در بلوک‌های کوچک و به اندازه نیاز واقعی هر درخواست تخصیص می‌یابد و هدررفت تقریباً صفر است. هر نمونه vLLM معمولاً یک مدل را سرو می‌کند.

۳. کارایی با کاربران همزمان

این مهم‌ترین تفاوت است:

• یک کاربر: سرعت تولید متن هر دو به پهنای باند حافظه GPU محدود است و تفاوت چشمگیری ندارند. Ollama با مدل‌های GGUF ممکن است حتی کمی سریع‌تر شروع کند.
• چند کاربر همزمان: Ollama با OLLAMA_NUM_PARALLEL چند درخواست را همزمان پردازش می‌کند، اما با افزایش بار، زمان انتظار به‌سرعت بالا می‌رود. vLLM با Continuous Batching درخواست‌ها را در هر مرحله تولید توکن ترکیب می‌کند و توان عملیاتی کل در بار سنگین چند برابر می‌شود.

عدد دقیق تفاوت به مدل، کارت، طول متن و تعداد کاربر بستگی دارد. اگر سرویس شما چندکاربره است، راهنمای اجرای LLM برای چند کاربر همزمان را بخوانید.

۴. فرمت مدل‌ها

• Ollama: عمدتاً GGUF، با سطوح متنوع کوانتایز (Q4_K_M، Q5_K_M، Q8_0 و…). کتابخانه آماده Ollama بیشتر مدل‌های محبوب را دارد.
• vLLM: مدل‌های اصلی Hugging Face در FP16 و BF16، و فرمت‌های کوانتایز AWQ، GPTQ و FP8. پشتیبانی از GGUF هم دارد، اما مسیر اصلی آن نیست.

توضیح فرمت‌ها و انتخاب بین آن‌ها در Quantization چیست.

۵. سخت‌افزار پشتیبانی‌شده

• Ollama: NVIDIA، AMD، Apple Silicon و CPU. می‌تواند بخشی از مدل را روی RAM سیستم اجرا کند تا مدل‌های بزرگ‌تر از VRAM هم اجرا شوند، البته با سرعت کمتر.
• vLLM: بهترین عملکرد روی GPUهای NVIDIA دیتاسنتری؛ پشتیبانی از AMD و سخت‌افزارهای دیگر هم در حال گسترش است. مدل باید کامل در حافظه GPU جا شود و برای مدل‌های بزرگ، تقسیم بین چند GPU (Tensor Parallelism) پشتیبانی می‌شود.

۶. نصب و مدیریت

Ollama با یک دستور نصب و یک دستور اجرا می‌شود:

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen2.5:7b

vLLM به محیط پایتون یا Docker و NVIDIA Container Toolkit نیاز دارد و تنظیم پارامترهای آن برای بهترین نتیجه، کمی دانش فنی می‌خواهد:

pip install vllm
vllm serve Qwen/Qwen2.5-7B-Instruct --host 127.0.0.1 --max-model-len 8192

آموزش کامل نصب Ollama در نصب Ollama روی سرور GPU آمده است.

۷. API و یکپارچگی

هر دو یک API سازگار با OpenAI (مسیر /v1/chat/completions) ارائه می‌کنند، پس ابزارهایی مثل n8n، Open WebUI و LangChain به هر دو وصل می‌شوند. Ollama یک API بومی هم برای مدیریت مدل‌ها دارد. vLLM آمار Prometheus برای پایش در محیط عملیاتی ارائه می‌کند. هیچ‌کدام برای دسترسی از اینترنت به‌تنهایی کافی نیستند؛ روش امن کردن API در ساخت OpenAI-Compatible API امن توضیح داده شده است.

جدول مقایسه

کدام را انتخاب کنیم؟

• Ollama را انتخاب کنید اگر در حال آزمایش مدل‌ها هستید، یک تیم کوچک یا ایجنت‌های n8n دارید، چند مدل مختلف را به نوبت استفاده می‌کنید یا سخت‌افزار محدود دارید.
• vLLM را انتخاب کنید اگر یک سرویس عملیاتی با ده‌ها کاربر همزمان دارید، توان عملیاتی و هزینه هر توکن برایتان مهم است یا مدل بزرگی را روی چند GPU اجرا می‌کنید.

مسیر رایج این است که با Ollama شروع کنید و وقتی تعداد کاربران زیاد شد، همان مدل را با vLLM سرو کنید. چون هر دو API سازگار با OpenAI دارند، برنامه‌های شما تقریباً بدون تغییر منتقل می‌شوند.

سوالات متداول