Mac mini M4 для локальных LLM - реальная альтернатива видеокарте или хайп?

[juniorstack]

Думаю взять Mac mini M4 Pro с 64 ГБ unified memory вместо сборки с GPU. Привлекает что вся память доступна модели и жрёт мало ватт. Но боюсь по скорости генерации он сольёт нормальной видяхе. Кто на Apple Silicon крутит LLM?

[b1llyn0m]

У меня M4 Max 64 ГБ. 70B в Q4 влезает и идёт ~8-10 t/s, для чата комфортно. Главный плюс - тихо, холодно, и 48 ГБ под модель там где на ПК нужны две карты и киловаттный БП.

[wasm_enjoyer]

Ключевое - prompt processing на Маках медленнее чем на nvidia. Короткие промпты норм, но кинешь 20к токенов контекста и ждёшь обработку заметно дольше чем на 4090. Генерация ок, а вот первый токен на длинном вводе печалит.

[seabie49]

Вот про prompt processing важный момент, у меня как раз будут длинные контексты с документами. Насколько критично на практике?

[roylrs]

На 30к контекста ждёшь секунд 15-30 до начала ответа, против пары секунд на 4090. Если это RAG с постоянными длинными вводами - бесит. Если разовые вопросы - терпимо. MLX вместо llama.cpp немного ускоряет, попробуй обязательно.

[tx3300]

Считай экономику ватт. Mac mini под нагрузкой жрёт 40-60 Вт, сборка с 3090 - 350+. Если инференс крутится сутками, за год разница в электричестве ощутимая, особенно сейчас.

[janito]

Всё так, но за деньги M4 Max 64ГБ можно собрать ПК с двумя 3090 и иметь кратно больше скорости. Mac берут за тишину, компактность и память, а не за максимальный перформанс на доллар.

[alansmit]

Понял расклад: Mac - тихо, экономично, много памяти, но медленный prompt processing. Для моих документов это минус, надо взвесить. Спасибо, гляну ещё MLX перед решением.

[svelte88]

народ, вы тут M4 Pro и M4 Max в одну кучу смешали, а разница в два раза. У Pro пропускная память 273 ГБ/с, у Max 546. Инференс упирается ровно в bandwidth, так что цифры про 8-10 t/s на 70B смело делите пополам для Pro. 4-5 t/s это уже на грани терпимого. ОП, если берёшь ради 70B, то только Max, иначе разочаруешься и будешь сидеть на 32B.

[guardia]

@tx3300, ну такое себе аргумент. 300 Вт разницы при круглосуточной работе это примерно 215 кВтч в месяц, по 6 руб выходит 1300 в месяц, 15-16к в год. При разнице в цене железа тысяч в 150-200 окупаться будет лет десять. Электричество тут последний пункт, мак берут за тишину и память, а не за счётчик.