Mac Studio M3 Ultra 512гб под локальные LLM, окупается или развод

[softlurker]

Думаю брать Mac Studio M3 Ultra с 512гб unified memory под локальные модели и хочу понять, это разумная трата ~700к рублей или маркетинговая ловушка. Плюс очевиден: 512гб общей памяти позволяют грузить DeepSeek-V3 и прочих монстров целиком, чего на консьюмерских видяхах не сделать без фермы. Минус: пропускная способность памяти у эпла хоть и высокая (~800 гбайт/с), но это не HBM, и на больших плотных моделях префилл проседает. Кто реально юзает, какие t/s на чем и не пожалели ли.

[coder_vasya]

держу M2 Ultra 192гб, на 70B Q4 даю около 12 t/s генерации, префилл на длинном контексте боль, ждешь по 20-30 сек пока обработает 8к токенов. для чата ок, для агентов с большими промптами раздражает. M3 Ultra пошустрее но порядок тот же

[regexfan]

за 700к ты соберешь риг на 4x4090 и он порвет мак по комьюту в разы. вопрос только в памяти, 96гб против 512. если тебе нужны именно гигантские MoE то мак, если скорость на влезающих моделях то ферма

[peopelle]

за 700к ты соберешь риг на 4x4090

4x4090 это не только карты, это корпус с дикой вентиляцией, БП на 1600вт+, материнка с 4 PCIe слотами, и счет за электричество как за квартиру. мак жрет 200вт под нагрузкой и стоит тихо на столе. ты сравниваешь голую цену железа игнорируя эксплуатацию. для дома мак часто адекватнее чем гудящая печка под столом

[navspy]

деньги есть гулять можно)) 700к на хобби потыкать модельки сильно

[postgres2]

@coder_vasya, DeepSeek-V3 это 671B MoE, 37B активных. На M3 Ultra 512гб в Q4 он влезает целиком и это реально его киллер-фича, на ферме из 4090 такое целиком не уместишь без выгрузки в RAM. По цифрам с форумов: V3 на M3 Ultra дает 18-20 t/s генерации, префилл медленный но терпимый для интерактива. То есть мак оправдан ровно в одном сценарии: ты хочешь самые большие открытые MoE целиком в памяти и тебе не критичен throughput. Для всего остального (плотные модели до 70B, продакшн с батчингом, дообучение) бери NVIDIA, там и софт зрелее, и CUDA весь экосистемный стек. MLX как фреймворк живой но отстает от того что есть под CUDA. Так что не развод, но очень нишевая покупка. Если у тебя нет конкретной задачи именно под огромные MoE, 512гб мака будут простаивать.

[artgold]

MLX кстати за последний год прибавил сильно, квантизация своя, скорости подтянулись. но да под куду софта в сто раз больше, это факт. эпл это всегда компромисс удобство против выбора инструментов