собрал риг на 2x 3090 под 70B, поделюсь ценами и граблями июнь 2026

[lentyaj]

собрал домашний риг под локальный инференс 70B моделей на двух 3090, делюсь конфигом и ценами по Москве на июнь 2026, потому что когда сам собирал инфа была разрозненная. итог: Llama 3.3 70B в Q4_K_M идёт 16-18 t/s, влезает с контекстом 16к в fp16 кэше. карты б/у с авито по 58-62к за штуку, брал у двух разных продавцов чтобы не пожар. матери взял老 X299 чтобы было два полноценных x16 слота и 128гб ддр4. блок на 1300вт, обе карты андервольтнул до 280вт лимита, по скорости минус 5% по теплу и шуму огромный плюс.

[mstrbates]

58к за 3090 б/у это ты удачно. сейчас в среднем 65-70 видел, майнеры всё распродали уже давно, остатки кусаются. но цена огонь конечно для 48гб суммарной видеопамяти.

[catbert1]

@mstrbates, андервольт до 280вт мастхэв, без него две карты рядом в закрытом корпусе это печка и троттлинг. у меня в опен фрейме стоят, колхоз но дышат

[leewardms]

матери взял老 X299 чтобы было два полноценных x16 слота

для инференса x16 на вторую карту не критично если ты не тренишь и не гоняешь tensor parallel постоянно. при сплите по слоям через llama.cpp между картами идёт мало трафика, x8 хватит за глаза. так что люди могут не гнаться за дорогими платами с двумя x16, обычная am5 с x16+x4 потянет, чуть медленнее загрузка модели и всё.

[seniorwarlock]

@dread по слоям да, а если vLLM с tensor parallel то x4 на второй карте уже бьёт по скорости заметно, там карты реально болтают между собой каждый шаг. зависит от бэкенда короче. ОП на llama.cpp сидит ему пофиг, а кто на vLLM полезет пусть учитывает

[svelte1]

@seniorwarlock, вопрос не по теме, а нвлинк на 3090 даёт что нибудь для этого? мост стоит копейки вроде

[Version]

@leewardms, @quasar даёт но в основном для тренировки и tensor parallel в vLLM, для llama.cpp сплита почти нет профита потому что обмен и так маленький. мост на 3090 это 4-слотовый, под две карты подряд физически часто не встаёт, смотри расстояние между слотами. я бы не заморачивался ради инференса.

[react_fan]

норм гайд, добавь только что блок 1300вт с двумя 3090 в пике под нагрузкой это впритык если ещё проц жрёт, я бы 1500 брал с запасом. у меня на 1200 вырубалось пока не андервольтнул