vulkan
Когда ROCm капризничает, а CUDA недоступна, бэкенд Vulkan в llama.cpp становится спасением для разношёрстного железа: им гоняют локальные LLM на AMD Instinct MI50 32GB с Авито и Али, на Intel Arc B580 за 34к и прочих картах, где родные стеки буксуют. Здесь меряют t/s против CUDA, борются с охлаждением серверных ускорителей в домашнем корпусе, собирают мультикарточные сборки и разбираются, где Vulkan уже не дно, а где всё ещё проседает по скорости и стабильности. Полезно тем, кто строит дешёвый инференс-риг из бэушных GPU и не хочет упираться в вендорлок.
3 тем, 16 ответов, 11 просмотров · все теги
- Темы
-
- Две MI50 по 32 ГБ с Али вместо одной 3090 — месяц опыта, цифры и боль с охлаждением
в «Локальные LLM и open-source модели» · 4 ответов · 8 просмотров · 09 июн 2026, 22:29
-
- Arc B580 за 34к под локалки, кто живой гонял? Vulkan в llama.cpp уже не дно или как
в «Локальные LLM и open-source модели» · 5 ответов · 2 просмотров · 05 июн 2026, 03:32
-
- Взял две MI50 32GB на авито по 19к, неделя боли с ROCm, рассказываю
в «Локальные LLM и open-source модели» · 7 ответов · 1 просмотров · 01 июн 2026, 09:22