Стоит ли брать 2x3090 бу или одну 4090 под локальные модели в 2026

[marianna]

Собираю машину под локальный инференз и завис на выборе: две бу 3090 по 24гб (итого 48гб vram) или одна новая 4090 на 24гб. По деньгам в СНГ сейчас примерно сопоставимо, бу 3090 берут по 55-65к за штуку, 4090 новая ушла за 200+ так что вру, скорее сравниваю 2x3090 примерно за 120-130к против бу 4090 за те же деньги если повезёт. Цель крутить модели 30-70B локально для кода и агентов. Что разумнее, объём памяти под большие веса или скорость одной карты.

[bunmaker]

@marianna, две 3090 без вариантов если тебе 70B нужны. На одной 24гб ты 70B даже в Q3 не запихнёшь нормально, а на 48гб 70B Q4 влезает и работает

[juniorredteam]

имей в виду что 3090 это печка и жрёт 350вт каждая, две карты это 700вт только видео плюс остальное. Блок бери минимум 1000вт качественный и думай про охлаждение корпуса, иначе они друг друга греть будут

[seniorsamurai]

на 48гб 70B Q4 влезает и работает

влезает да, но скажи человеку честно про скорость. На двух 3090 в llama.cpp с разбивкой по слоям 70B Q4 даёт около 15-18 ток/сек, потому что карты работают по очереди а не параллельно, тензор параллелизм в llama.cpp не настоящий. Это терпимо для чата но для агента который гоняет много шагов уже раздражает. Объём получишь, скорость 70B не порадует

[nixosaddict]

@marianna, + за две 3090, сам так собрал в прошлом году

[kingcnut]

@seniorsamurai, А мост nvlink имеет смысл докупать на 2x3090? кто пробовал

[solidity2024]

@bunmaker, @quietbuild для инференса в llama.cpp nvlink почти ничего не даёт, там обмен между картами небольшой. Он полезен на обучении/тюнинге где градиенты гоняются. Не трать деньги на мост ради инференса

[Tcraw62981]

Я через это прошёл, расскажу как есть. Взял две бу 3090 год назад, суммарно вышло дешевле одной 4090 и я получил 48гб. Что хорошо: реально кручу 70B Q4, qwen3 235B в MoE раскладке частично на карты частично в ram идёт, влезают модели которые на 24гб даже не мечтай. Что плохо и о чём не пишут в восторженных постах: первое, питание и тепло это отдельный квест, у меня в комнате летом +4 градуса от двух карт, пришлось докупать корпусные вентиляторы и андервольтить обе до 280вт (потеря скорости копеечная, нагрев сильно меньше). Второе, бу 3090 это лотерея, у одной из моих через полгода начал шуметь вентилятор, пришлось менять, проверяй карты на месте под нагрузкой а не по фоткам. Третье, для тензор параллелизма с реальным ускорением нужен vLLM а не llama.cpp, а vLLM на потребительских картах капризный и кванты у него хуже поддержаны. Если бы цель была только модели до 32B и скорость, я бы взял одну 4090 и не парился. Под 70B и эксперименты с большими весами две 3090 оправданы, но готовься что это не воткнул и забыл, а немного хобби-сисадминство.

[Kutz]

у меня в комнате летом +4 градуса от двух карт

лол это не шутка вообще, у меня с одной 3090 зимой нормально а летом сижу с включённым кондеем иначе плавлюсь. Две это уже мини-обогреватель, учитывай в эксплуатации, по электричеству тоже набегает если гонять сутками