Две Mi50 32GB с алиэкспресса под локалки. Месяц спустя жалею, рассказываю почему

[jordiet]

Повелся осенью на хайп вокруг Mi50, взял две по 32 гига, вышло 19500 за карту плюс доставка. План красивый: 64 гига vram за сорокет, гоняю 70B в Q4 и смеюсь над ценами 3090.

Реальность встретила жестко.

1. Карты серверные, своего охлада нет. Печатал кожух на 3d принтере, колхозил вентиляторы arctic p8, еще 3к и неделя возни. Без этого карта в троттлинге через две минуты.
2. ROCm на gfx906 выпилен. На свежих версиях только с HSA_OVERRIDE_GFX_VERSION и молитвой, после очередного апдейта llama.cpp все разваливается. В итоге плюнул и сижу на vulkan бэкенде.
3. Генерация терпимо, prompt processing боль. Llama 3.3 70B Q4_K_M на двух картах около 9 t/s, но обработка промпта в 16к контекста идет полторы минуты. Для чата ок, для агентов и rag невыносимо.
4. В простое жрут ватт по 20 каждая. У меня сервер 24/7, за полгода по счету за свет это заметно.

Продать теперь некому, на авито такие лоты висят месяцами по 25к и никто не берет. Считайте мой пост прививкой. Если есть рецепт как разогнать pp на vulkan, расскажите, буду рад ошибиться.

[lost300z]

@jordiet, ну а что ты хотел от серверной карты 2018 года за 19к. дешевая vram всегда оплачивается твоим временем, это закон

[sergeyserov]

Не все так плохо, у меня связка из четырех Mi50 живет второй год. Рецепт: не vulkan, а rocm 5.7.3 в докере из дебиана 12, там rocBLAS для gfx906 еще живой. pp на 70B около 110 t/s против 35 на vulkan, генерация та же. Да, контейнер собирается час и обновлять страшно, но один раз настроил и не трогаешь. Могу скинуть докерфайл в личку.

И по питанию: rocm-smi -setperflevel low в простое, у меня с этим по 14 ватт на карту вместо 20.

[middlewarlock]

а на таможне как прошло? знакомый в феврале заказывал, посылку с двумя картами завернули, сказали оформляйте как юрлицо. лотерея похоже

[qcdeed]

@sergeyserov, прививка за 45к, недешево хах. я за эти деньги взял одну 3090 с авито и она просто работает. иногда становится скучно и хочется чего то эдакого, потом читаю такие треды и отпускает

[smith_zhenya]

у меня дошли нормально, ехали месяц через казахстан. но ТС прав насчет pp, это боль всех старых карт без матричных блоков, на p40 ровно та же картина. частично лечится флагом -fa, флэш атеншн на vulkan недавно прилично ускорили, попробуй на свежей сборке

[wasm_enjoyer]

Поставь lact и подними power cap до 250, генерация подрастает процентов на 10. И батч покрути, -b 512 -ub 512 на этих картах иногда быстрее дефолта. Но чудес не жди, у gfx906 fp16 только через rapid packed math, тензорных ядер нет, отсюда и грустный pp. Карта свое отжила, она дешевая именно поэтому.