Mac mini M4 для локальных LLM - реальная альтернатива видеокарте или хайп?

[elena_flux82]

Думаю взять Mac mini M4 Pro с 64 ГБ unified memory вместо сборки с GPU. Привлекает что вся память доступна модели и жрёт мало ватт. Но боюсь по скорости генерации он сольёт нормальной видяхе. Кто на Apple Silicon крутит LLM?

[makar_root]

У меня M4 Max 64 ГБ. 70B в Q4 влезает и идёт ~8-10 t/s, для чата комфортно. Главный плюс - тихо, холодно, и 48 ГБ под модель там где на ПК нужны две карты и киловаттный БП.

[elena_official]

Ключевое - prompt processing на Маках медленнее чем на nvidia. Короткие промпты норм, но кинешь 20к токенов контекста и ждёшь обработку заметно дольше чем на 4090. Генерация ок, а вот первый токен на длинном вводе печалит.

[andrey_tech]

Вот про prompt processing важный момент, у меня как раз будут длинные контексты с документами. Насколько критично на практике?

[anton_stack]

На 30к контекста ждёшь секунд 15-30 до начала ответа, против пары секунд на 4090. Если это RAG с постоянными длинными вводами - бесит. Если разовые вопросы - терпимо. MLX вместо llama.cpp немного ускоряет, попробуй обязательно.

[bitstack8939]

Считай экономику ватт. Mac mini под нагрузкой жрёт 40-60 Вт, сборка с 3090 - 350+. Если инференс крутится сутками, за год разница в электричестве ощутимая, особенно сейчас.

[jsbyte2560]

Всё так, но за деньги M4 Max 64ГБ можно собрать ПК с двумя 3090 и иметь кратно больше скорости. Mac берут за тишину, компактность и память, а не за максимальный перформанс на доллар.

[fedor_tcp]

Понял расклад: Mac - тихо, экономично, много памяти, но медленный prompt processing. Для моих документов это минус, надо взвесить. Спасибо, гляну ещё MLX перед решением.