Tag
#quantization
4 Artikel
Ternary Bonsai 2 27B fact check: 5.9 GB, 262K context, and the runtime catch
Ternary Bonsai 2 27B: 5.95 GB GGUF needs PrismML's fork, MLX requires a bundled loader, and Mac RAM and vision limits need checking.
Ternary Bonsai 2 27B im Faktencheck: 5,9 GB, 262K Kontext – aber mit Runtime-Haken
Ternary Bonsai 2 27B: 5,95-GB-GGUF, PrismML-Fork statt Standard-llama.cpp, MLX-Loader, RAM-Grenzen und reproduzierbare Mac-Tests.
Wie viel RAM braucht ein lokales LLM auf dem Mac?
16 GB für 7B–8B, 24–32 GB Sweet Spot für 12B–32B, 70B Q4 ab 64 GB mit Checks. Mac-RAM-Staffeln für Ollama, LM Studio und MLX, inkl. KV-Cache und Systemreserve.
How Much RAM Does a Local LLM Need on a Mac?
16GB runs 7B–8B models, 24–32GB is the sweet spot for 12B–32B, and 70B Q4 needs 64GB with checks. Mac RAM tiers for Ollama, LM Studio and MLX, incl. KV cache.