Tag
#kv-cache
2 Artikel
Wie viel RAM braucht ein lokales LLM auf dem Mac?
16 GB für 7B–8B, 24–32 GB Sweet Spot für 12B–32B, 70B Q4 ab 64 GB mit Checks. Mac-RAM-Staffeln für Ollama, LM Studio und MLX, inkl. KV-Cache und Systemreserve.
How Much RAM Does a Local LLM Need on a Mac?
16GB runs 7B–8B models, 24–32GB is the sweet spot for 12B–32B, and 70B Q4 needs 64GB with checks. Mac RAM tiers for Ollama, LM Studio and MLX, incl. KV cache.