هوش مصنوعی و GPU

آخرین مقالات و نوشته‌ها

آموزش اجرای Qwen3.8-27B به‌صورت لوکال با Ollama و vLLM
LLM لوکال

آموزش اجرای Qwen۳.۸-۲۷B به‌صورت لوکال با Ollama و vLLM

Qwen3.۸-27B مدل متراکم ۲۷ میلیاردی و چندرسانه‌ای Alibaba با لایسنس Apache ۲.۰ است. در این آموزش آن را با Ollama و vLLM روی سرور GPU اجرا می‌کنیم و نسخه مناسب هر مقدار VRAM را مشخص می‌کنیم.