هوش مصنوعی و GPU

KV Cache حافظه‌ای است که مدل زبانی برای سرعت تولید متن نگه می‌دارد. فرمول محاسبه، مثال عددی و روش‌های کاهش مصرف آن را ببینید.

Inference یعنی استفاده از مدل و Fine-Tuning یعنی آموزش تکمیلی آن. در این مقاله حافظه، سخت‌افزار و کاربرد هرکدام را مقایسه می‌کنیم.