Собрал риг на двух Tesla P40 с авито, рассказываю почему не надо

[vgte]

Короче, наболело. В январе собрал риг на двух Tesla P40 с авито, по 17к за штуку у барыги из Екатеринбурга. Идея была красивая: 48 гигов VRAM за треть цены 3090, гоняем 70B дома и радуемся.

Что вышло по факту. Охлаждение: карты серверные, пассивные, пришлось колхозить улитки с али еще по полторы тыщи, риг воет как пылесос. Дальше, это Паскаль, FP16 там порезан в ноль, нормально работает только llama.cpp, exllama можно сразу забыть. Flash attention на нем завезли условно, прирост смешной. И жор: в простое обе карты едят по 50 ватт, без танцев с pstated спать не умеют.

Скорость: Llama-3.3-70B Q4_K_M с row split выдает 5.5 t/s генерации. Qwen3-32B около 9. Промпт процессинг вообще боль, 70-80 t/s, на контексте 16к первого токена ждешь минуты три.

Итог: за 34к плюс улитки плюс серверный БП можно было доложить и взять одну 3090 за 60. Не повторяйте моих ошибок.

[Bowden]

ну а чего ты ждал, паскалю десятый год. это как купить ведро жигулей и удивляться что не едет как тесла

[js066866]

Llama-3.3-70B Q4_K_M с row split выдает 5.5 t/s генерации

маловато, у меня та же пара пэшек дает 7.2 на том же кванте. проверь что обе карты сидят хотя бы в x8 и включи above 4g decoding в биосе, у меня без него вторая половину времени простаивала. еще ik_llama попробуй, на старье он бодрее мейнлайна. но по сути да, одна 3090 все это перекрывает

[tsav]

@vgte, не соглашусь что прям не надо. 48 гигов за 34к это все еще самый дешевый способ потрогать 70B дома не продавая почку. 5 t/s для чата читабельно, человек медленнее читает. плюс под MoE с оффлоадом как склад экспертов пэшки норм заходят

[llamaguru]

а бп какой брал? я под похожий риг взял китайский серверный за 4к, он через месяц пыхнул вместе с райзером. так что спрашиваю не из праздного интереса

[regexveteran]

48 гигов за 34к это все еще самый дешевый способ потрогать 70B дома

не самый. пара MI50 на 32 гига с али выходит в те же деньги, итого 64 гига и HBM2 с пропускной в три раза выше паскалевской. правда там рокм, а это отдельный вид боли, так что выбираешь не между хорошо и плохо, а между двумя видами страданий хах. и вообще 70B dense в 2026 мертвый класс, все живое либо до 32B, либо MoE

[Austkin]

апдейт для истории. продал обе пэшки на авито за 19 каждая (спрос есть, что само по себе показательно), доложил и взял 3090 за 58. Qwen3-32B теперь 28 t/s, промпт улетает почти мгновенно. жалею только что сразу так не сделал