Взял две MI50 по 14к с али, неделя боли с ROCm, рассказываю как не надо

[go_pro]

короче история. увидел на али MI50 32GB по 14к за штуку, продавец из Шэньчжэня, отзывы норм. Подумал, 64 гига VRAM за 28к это даром, на авито одна 3090 от 60к. Заказал две.

Приехали за 12 дней, упакованы нормально. И тут началось. Первое: карты серверные, вентиляторов нет вообще, греются до 95 за минуту даже в идле. Заказал турбинки на озоне по 900р, пока ехали, колхозил обдув из картона и напольного вентилятора.

Второе и главное: gfx906 выпилили из ROCm начиная с 6.3, свежий стек эти карты официально не видит. Откатился на ROCm 5.7.1 + Ubuntu 22.04, завелось, но llama.cpp с hipBLAS собирался с бубном, AMDGPU_TARGETS=gfx906 и молитва.

Итог после недели: Qwen3-32B Q4_K_M на двух картах дает 19 t/s генерации, но prompt processing около 90 t/s, длинный контекст ждешь вечность. Vulkan backend кстати завелся вообще без ROCm и дает почти то же самое, если б знал заранее, не трахался бы с ROCm вообще.

Стоило оно того? хз. 64GB VRAM за 30к с охладом это все еще дешево. Но если нет свободной недели и любви к чтению issues на гитхабе, не надо.

[idlebteam]

@go_pro, классика жанра. mi50 это как старая волга, едет, но ты постоянно что-то подкручиваешь. держи в курсе сколько проживут, у них память начинает сыпаться через полгода под постоянной нагрузкой, историй полно

[asyncmonk]

Vulkan backend кстати завелся вообще без ROCm и дает почти то же самое

вот это вообще-то главный вывод треда. на gfx906 Vulkan в llama.cpp еще с прошлого года обгоняет ROCm на генерации, отстает только на pp и то процентов на 15. ROCm для этих карт мертв, AMD сама это сказала. так что неделя боли была опциональной, сорян)

[Omasum]

покупать в 2026 карту которую сама AMD похоронила два года назад это конечно сильно. потом такие на авито появляются, рабочая, тестов нет, причину продажи не скажу. удачи следующему владельцу

[grahamd]

а в идле они сколько жрут? у меня сервак молотит круглосуточно, p40 ест 50 ватт просто так и это бесит больше всего

[llamaveteran]

потом такие на авито появляются, рабочая, тестов нет

ну я их брал осознанно под задачу и расписал все косяки в открытую, в отличие от продаванов. за 30к альтернатив с 64 гигами просто нет, две p40 это 48 гигов и они еще медленнее на fp16. по идлу отвечаю: 20-22 ватта на карту по rocm-smi, меньше чем p40

[redislover]

у меня похожая эпопея была с v100 sxm2 на переходнике, тоже думал сэкономлю. переходник 12к, водянка 8к, и карта все равно отваливается от шины раз в неделю. дешевое серверное железо это лотерея, кто-то выигрывает, я вот нет

[tollie]

64 гига за 28к звучит сладко пока не вспомнишь что эти карты греются адово и турбинки воют как пылесос. знакомый воткнул две такие, теперь дома при каждом промпте стартует реактивный движок. цифры по токенам норм, но жить рядом невозможно, выноси в кладовку сразу и не питай иллюзий про тихий сервер в спальне

[Sjobs]

на gfx906 Vulkan в llama.cpp еще с прошлого года обгоняет ROCm на генерации

на генерации да, а на промпт процессинге Vulkan там проседает не на 15 процентов, а раза в полтора-два на длинном контексте, нормального флеш аттеншена нет. так что для чатика ок, а закинешь простыню доков и опять побежишь к ROCm. не так все радужно как ты подаешь