Взял две MI50 32GB на авито по 19к, неделя боли с ROCm, рассказываю

[b1llyn0m]

Короче, увидел на авито мужика из Екатеринбурга, продавал AMD Instinct MI50 32GB по 19к за штуку, остатки с какой-то фермы. 64 гига VRAM за 38к, не удержался.

Дальше неделя боли. ROCm 7 выпилил gfx906 совсем, на 6.3 половина либ сегфолтится. Поставил Ubuntu 22.04 и ROCm 5.7.3, завелось, но цифры грустные. А потом собрал llama.cpp с Vulkan бэкендом и внезапно вулкан оказался быстрее рокма процентов на 15. То есть весь этот рокмовый цирк был зря.

Цифры на двух картах: Qwen3.6 32B Q4_K_M около 14 ток/с, Llama 70B Q4 примерно 8. Промпт процессинг слабый, 150-180 ток/с, на промпте в 10к токенов сидишь минуту ждешь.

Отдельный квест охлаждение. Карты серверные, пассивные, без обдува за полминуты улетают к 95 градусам. Купил улитки на али по 800р, прикрутил хомутами, воет как советский пылесос. Жена уже спрашивала, что это за звук по ночам.

В целом оно живое и работает. Но если думаете повторить, закладывайте неделю жизни на грабли. Спрашивайте, пока все помню.

[omnicrom]

за 38к 64 гига это все равно вкусно, одна 3090 на авито сейчас 55-60 и там всего 24. промпт процессинг да, вечная боль миков, тензорных ядер нормальных там нет и не будет

[qemukun]

собрал llama.cpp с Vulkan бэкендом и внезапно вулкан оказался быстрее рокма процентов на 15

подтверждаю, где-то с зимы вулкан в llama.cpp догнал и перегнал ROCm на старых амд. у меня RX 6800, снес рокм целиком и не жалею. и flash attention на вулкане уже работает, а раньше это был главный аргумент терпеть рокм. так что владельцам gfx906 можно вообще не страдать с версиями

[aqwzsx]

8 ток/с на 70B это скорость чтения пенсионера. для чата с самим собой пойдет, для агентов и кода мусор, агент на каждый шаг будет минуту думать. плюс улитки воют, плюс 600 ватт из розетки. я бы доплатил до 3090, CUDA, exl3, vllm, все из коробки. дешевый VRAM это сыр в мышеловке

[enjoyer_borya]

улитки напрямую в 12в это варварство. возьми ШИМ контроллер за 300р и подвяжи обороты к температуре, на генерации пусть орет, в простое тишина. и hotspot у MI50 смотри отдельно, не только edge. у карт после ферм прокладки высохшие, если разница edge и hotspot больше 25 градусов, пора разбирать и менять. я на своих менял, полет нормальный второй год

[markcack]

я бы доплатил до 3090, CUDA, exl3, vllm, все из коробки

доплатил это сколько конкретно? за 38к у тебя ноль штук 3090, за 76 одна, и это лотерея после майнинга без гарантии. а тут 64 гига HBM2 с пропускной около терабайта. для дома, где надо иногда погонять 70B и не продать почку, вариант абсолютно рабочий. не всем нужны агенты 24/7

[alex42]

а в ollama они заведутся? собирать llama.cpp руками не хочется

[Naihara]

@omnicrom, ollama официально только ROCm, а gfx906 они дропнули вслед за амд, так что мимо. либо старый докер образ, либо llama.cpp с вулканом, там сборка это буквально три команды с cmake. ну или koboldcpp, у него вулкан прямо в релизных бинарях лежит