Ollama چیست و چگونه مدل هوش مصنوعی را روی سرور شخصی اجرا کنیم؟

اجرای مدل‌های هوش مصنوعی روی سرورهای اختصاصی راهکاری امن، اقتصادی و بدون وابستگی برای کسب‌وکارها و توسعه‌دهندگان است. در این مقاله مرجع، به بررسی جامع چیستی اولاما (Ollama)، نحوه مدیریت مدل‌ها، شخصی‌سازی رفتار مدل با Modelfile و ادغام آن در پروژه‌های نرم‌افزاری می‌پردازیم.

اولاما چیست؟

اولاما ابزاری متن‌باز است که پیچیدگی‌های دانلود، بیلد و اجرای مدل‌های زبانی بزرگ را در قالب یک ابزار ساده مانند داکر خلاصه کرده است.

معماری فنی و llama.cpp

اولاما بر پایه llama.cpp پیاده‌سازی شده و از فرمت فشرده .gguf و توزیع لایه‌ها بین RAM و VRAM پشتیبانی می‌کند.

سفارشی‌سازی با Modelfile

FROM llama3.1:8b
PARAMETER temperature 0.3
SYSTEM '''شما مشاور فنی و متخصص زیرساخت ابری تراست هاست هستید.'''

ollama create trusthost-ai -f Modelfile

اتصال پایتون به API

import ollama
response = ollama.chat(model='llama3.1', messages=[{'role': 'user', 'content': 'سلام'}])
print(response['message']['content'])

سوالات متداول