Взял две Mi50 по 32 гига с али под локалки, неделя с ROCm и я почти сдался

[fletchl]

Короче история. Увидел на али Mi50 32GB по 16 тыщ за штуку, продавец из Шэньчжэня, отзывы норм. Подумал, 64 гига VRAM за 32к это чит, взял две. Дальше началось.

Карты серверные, пассивные, в обычном корпусе им жить нечем. Напечатал кожухи, прикрутил улитки от делловского сервака, на полных оборотах звук как у пылесоса. Ладно, переживаемо.

ROCm. В 6.x поддержку gfx906 официально выпилили, на свежей убунте драйвер просто не видит карты как compute девайсы. Откатился на 22.04 + ROCm 5.7.3, llama.cpp с hipBLAS собрался раза с третьего, до этого падал на линковке. Неделя вечеров ушла.

Зато сейчас: Qwen3 32B в Q8 влезает целиком на две карты, 18-19 t/s генерация. 70B в Q4_K_M тоже лезет, около 9 t/s.

Вопрос к тем кто на этих картах сидит: пробовал кто Vulkan бэкенд вместо ROCm? Читал что на gfx906 вулкан уже догнал по скорости, а собирается без этого цирка с версиями.

[tx3300]

Vulkan догнал и местами перегнал. У меня одна Mi50, на свежем llama.cpp вулкан дает на генерации процентов на 10 больше чем старый билд с rocm 5.7, и ставится на любом дистре без танцев. Минус: prompt processing на вулкане заметно слабее, если гоняешь длинные промпты, почувствуешь. Я для чата сижу на вулкане и не парюсь.

[Shonroman]

@tx3300, 32к за карты, плюс бп нормальный, плюс охлад, плюс неделя вечеров которые тоже чего-то стоят. На авито 3090 за 55-60 и ноль страданий. А главное через год llama.cpp дропнет gfx906 вслед за амд и у тебя 64 гига мертвого кремния. Покупка ради покупки.

[allenw]

через год llama.cpp дропнет gfx906 вслед за амд и у тебя 64 гига мертвого кремния

С чего бы. Вулкан бэкенд от воли амд не зависит вообще, это обычный compute API, mesa драйвер для веги пилится сообществом и никуда не денется. P40 нвидиа из cuda давно выкинула, а народ до сих пор на них сидит и ничего. Сценарий с тыквой возможен только если сам llama.cpp умрет, но тогда у всех проблемы.

[ansible777]

улитки от делла это жесть, у меня от такой соседи через стенку стучали. поменял на две арктики p12 с самопальным переходником, температура чуть хуже, зато 30 дб вместо 70. на озоне переходники под mi50 кстати уже готовые продают, рублей по 800

[fpga_lord]

По скорости: 18-19 t/s на Q8 это вы что-то недожали. Попробуй -sm row вместо дефолтного layer split, на двух картах мне дало процентов 15-20 сверху. И kv кэш в q8_0 переведи, на 32к контекста пара гигов освободится.

[hunter22]

Подумал, 64 гига VRAM за 32к это чит, взял две

чит с примечанием мелким шрифтом. брал такую же в январе, пришла с артефактами, memtest_vulkan показал битые чипы. продавец пропал, спор на али закрыли в его пользу, фотки им видите ли не такие. так что к 32к мысленно прибавляй лотерейный билет. рад что у тебя обе живые, но людям советовать поостерегся бы