Arc B580 за 34к под локалки, кто живой гонял? Vulkan в llama.cpp уже не дно или как

[agama1]

Собираю недорогую машинку под инференс, бюджет на карту тысяч 35. Варианты: б/у 3070 8GB с авито за 27к или новая B580 12GB, в днс за 34к лежит. По памяти арк выигрывает очевидно, 12 против 8, но как там с софтом? Читал, что вулкан бэкенд в llama.cpp за последний год сильно подтянули и на арках он почти догнал sycl. Но одно дело читал, другое у живого владельца спросить.

Кто гоняет B580, киньте циферки на чем-нибудь типа Qwen3 14B в Q4_K_M, сколько t/s генерация и сколько pp. И насколько больно с драйверами на линуксе.

[lentyaj]

@agama1, Есть B580, гоняю с осени. Ubuntu 24.04, llama.cpp под Vulkan, собирается без бубна. Qwen3 14B Q4_K_M: генерация 31-33 t/s, pp около 550. Под SYCL pp повыше, под 800, но ради этого ставить oneAPI и пересобирать, ну его, я плюнул. 12 гигов хватает на 14B Q4 с контекстом 16к впритык.

Драйвера на линуксе норм, ядро 6.11+ и все из коробки. На винде тоже работает, но цифры были процентов на 10 ниже.

[debian91]

зачем эти эксперименты. добавь 20ку и возьми 3090 с авито за 55, cuda решает, весь тулинг писан под нвидию. а с арком будешь каждый второй релиз ловить, что у тебя опять что-то не собралось. проходили уже с амд

[tor91]

добавь 20ку и возьми 3090 с авито за 55

добавь 20ку это уже бюджет 55 вместо 35, так можно и до H100 досоветоваться. плюс к 3090 нужен бп ватт на 750, в бюджетной сборке его нет, еще 6-7к сверху. и это карта 2020 года после неизвестно чего, у меня одна такая с авито через четыре месяца начала артефачить, продавец испарился. B580 новая с гарантией, жрет 190 ватт и встает в любой системник

[golanglover]

@debian91, с арками есть мелочь которая бесит: без ASPM в биосе карта в простое жрет 35-40 ватт вместо 5-7. если машинка будет молотить 24/7 как домашний сервер, за год набегает заметно. лечится включением ASPM, но на части материнок после этого глючит сон. проверь сразу как приедет

[joed13]

Под SYCL pp повыше, под 800, но ради этого ставить oneAPI и пересобирать, ну его

+1, sycl того не стоит. а вот оллама на арке так нормально и не живет, форк на ipex-llm вечно отстает от апстрима на пару месяцев. так что только чистый llama.cpp, имей в виду, если привык к олламе