150к на сетап под локалки: б/у 3090 с авито, две 5060 Ti или добивать на мак

Рейтинг: 52.9% · 8 голосов
Запуск больших языковых моделей локально: Llama, Mistral, Qwen, DeepSeek, Gemma. Квантизация GGUF, Ollama, llama.cpp, vLLM, LM Studio, выбор GPU и оптимизация инференса.
Ответить
Аватара пользователя
sylvia666
Сообщения: 29
Зарегистрирован: 12 май 2026, 13:58

150к на сетап под локалки: б/у 3090 с авито, две 5060 Ti или добивать на мак

Сообщение sylvia666 »

Прошу совета у прошедших этот путь. Бюджет 150к максимум, цели: 30B в q4-q5 с комфортной скоростью, изредка 70B пусть и медленно, плюс flux для картинок по мелочи.

Варианты:
1. Б/у 3090 с авито, в москве 55-65к, остальное на платформу am5. Смущает майнерское прошлое и память на отвале, начитался страшилок.
2. Две 5060 Ti 16GB, новые по 48-52к в днс. Суммарно 32 гига с гарантией, но шина 128 бит и сплит между картами не бесплатный.
3. Не собирать ничего, добить бюджет до mac mini m4 pro 64gb. Но это уже 220+, из бюджета вылетает прилично.

Что скажете, может я что-то упускаю?
👍 ❤️ 🔥1 😄 🤔1
✔ Лучший ответ сформирован автоматически — kungsan
3090 и не сомневайся. У самого две с 2023, полет нормальный. При покупке проси прогнать memtest_vulkan, час теста скажет про память больше любых слов продавца. И смотри термопрокладки, если менялись, это плюс, а не минус. 24 гига и шина 936 гб/с, по цене за гигабайт быстрой vram конкурентов у нее нет до сих пор.
Перейти к ответу →
Аватара пользователя
kungsan
Сообщения: 13
Зарегистрирован: 15 май 2026, 13:11

Re: 150к на сетап под локалки: б/у 3090 с авито, две 5060 Ti или добивать на мак

Сообщение kungsan »

✔ Лучший ответ — сформирован автоматически
3090 и не сомневайся. У самого две с 2023, полет нормальный. При покупке проси прогнать memtest_vulkan, час теста скажет про память больше любых слов продавца. И смотри термопрокладки, если менялись, это плюс, а не минус. 24 гига и шина 936 гб/с, по цене за гигабайт быстрой vram конкурентов у нее нет до сих пор.
👍 ❤️1 🔥3 😄 🤔
Аватара пользователя
depechie
Сообщения: 67
Зарегистрирован: 11 май 2026, 11:32

Re: 150к на сетап под локалки: б/у 3090 с авито, две 5060 Ti или добивать на мак

Сообщение depechie »

вторую опцию вычеркивай. одна 5060 ti норм карта, но сплит 30b на две через pcie сожрет процентов 15, а flux на две карты вообще не разложишь, картинкам нужна одна жирная. итого для твоих задач хуже одной 3090 за те же деньги
👍1 ❤️ 🔥2 😄1 🤔
Аватара пользователя
spark_pro
Сообщения: 15
Зарегистрирован: 12 май 2026, 23:56

Re: 150к на сетап под локалки: б/у 3090 с авито, две 5060 Ti или добивать на мак

Сообщение spark_pro »

Я бы добивал до мака и не мучился. 64 гига единой памяти, qwen 32b в mlx крутится около 23 t/s, коробка при этом жрет 60 ватт и не слышна вообще. Авито рулетка, бу блок питания, переплата за корпус и мать, это тоже деньги и нервы, просто их никто не считает.
👍 ❤️ 🔥2 😄1 🤔
Аватара пользователя
infern
Сообщения: 87
Зарегистрирован: 11 май 2026, 10:23

Re: 150к на сетап под локалки: б/у 3090 с авито, две 5060 Ti или добивать на мак

Сообщение infern »

а зачем тебе вообще локально? на опенроутере дипсик стоит копейки, на 150к ты токенов лет на пять купишь. локалки в 2026 это хобби для удовольствия, экономии там нет, посчитай сам
👍1 ❤️2 🔥1 😄 🤔
Аватара пользователя
Austkin
Сообщения: 83
Зарегистрирован: 11 май 2026, 03:40

Re: 150к на сетап под локалки: б/у 3090 с авито, две 5060 Ti или добивать на мак

Сообщение Austkin »

ну начался классический заход. человек спросил про железо, а не про смысл жизни. кому-то документы конторы нельзя наружу отправлять, кому-то приватность, кому-то просто интересно. в каждой железной теме один такой эксперт по экономике обязателен
👍 ❤️1 🔥 😄 🤔
Аватара пользователя
raspberryguru
Сообщения: 14
Зарегистрирован: 11 май 2026, 05:05

Re: 150к на сетап под локалки: б/у 3090 с авито, две 5060 Ti или добивать на мак

Сообщение raspberryguru »

брал 3090 в декабре за 57, продавец дал час погонять с furmark и gpu-z, hotspot 79 под нагрузкой, взял. четыре месяца почти 24/7, ни одного вылета. совет: сразу заложи 2к на замену прокладок, под flux память греется сильнее, чем под ллм
👍2 ❤️ 🔥 😄 🤔
Аватара пользователя
olgerd
Сообщения: 22
Зарегистрирован: 17 май 2026, 07:21

Re: 150к на сетап под локалки: б/у 3090 с авито, две 5060 Ti или добивать на мак

Сообщение olgerd »

подожди до осени, на компьютексе показали 5080 super 24gb. либо 3090 просядут в цене, либо хотя бы выбор появится. и не слушай страшилки про сплит, llama.cpp с -sm row на двух картах масштабируется нормально, у меня две 4060 ti жили без драм. но 3090 все равно проще, тут соглашусь
👍1 ❤️ 🔥1 😄 🤔
Ответить
Поделиться темой: ✈ Telegram VK

Вернуться в «Локальные LLM и open-source модели»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость