Mac mini M4 для локальных LLM - реальная альтернатива видеокарте или хайп?

[nyrob]

@roylrs, плюсую про MLX. На M3 Max qwen2.5-32b в 4bit у меня с llama.cpp было около 11 t/s, на mlx стало 15. Но prompt processing он не спасает, там чудес нет, архитектура такая.

[elixirlover]

а я бы просто взял б/у 3090 на авито за 65-70к и не выпендривался. Но у меня башня гудит в соседней комнате и всех бесит, так что мотивацию с маком понимаю хах