Сборка под локальные нейронки плюс иногда игры, бюджет 250к. Гляньте конфиг пока я не накосячил

[Bill2001]

Хочу гонять локально модели в районе 30b (кодинг и рабочие доки, в облако нельзя по политике конторы) и вечером поиграть. Накидал корзину в днс: 9700x за 36к, b850 msi tomahawk 24к, 64gb 2x32 6000 cl30 кингстон 33к (да, больно), 5070 ti palit 16gb 108к, ссд 2тб kc3000 15к, бп msi a850gl 10к, корпус с вертушками еще 10. Итого примерно 236. Вопросы: хватит ли 16 гигов врам для 30b в квантах, и не зря ли взял 64 оперативы. Может где-то перераспределить?

[jwil1440]

для 30b в q4 надо 18-20 гигов чтобы модель целиком влезла в врам. на 16 будешь выгружать слои в озу и скорость упадет с 25-30 токенов в секунду до 8-10, работать можно но бесит. либо бери бу 3090 на 24 гига (на авито 62-68к) и сэкономишь 40, либо терпи. 3090 для ллм до сих пор лучшая покупка за свои деньги

[hunter22]

зачем это все? подписка на апи стоит 20 баксов в месяц, твоя сборка отобьется года через три, и это без счетов за электричество. локальные модели на 24 гигах все равно тупее облачных. деньги на ветер если честно

[lorenzinoarq]

@jwil1440, ты ОП вообще читал? человеку по безопасности нельзя код наружу. в банках и около гос конторах это сплошь и рядом, апи там не вариант от слова совсем

[Kireeich]

@lorenzinoarq, душный коммент про бп: если возьмешь 3090 как выше советуют, 850 впритык. у нее транзиенты до 600вт, дешевый блок может уходить в защиту на ровном месте. под 3090 бери 1000 и желательно atx 3.1 чтобы без переходников. под 5070 ti твой a850gl норм

[roman2026]

@hunter22, kc3000 нормальный, но глянь adata legend 970 pro, бывает на 2к дешевле при том же по сути контроллере. хотя это уже вкусовщина

[haskellmain]

конфиг норм, покупай. 64 памяти сейчас по конским ценам, но если ждать то через полгода будет еще дороже, так что бери и не слушай нытиков

[pharside]

слышал весной обещают 5070 ti super на 24 гига. с нынешним дефицитом памяти хз доживем ли, и ценник будет наверное под 130. ждать не советую, но знай что такое маячит на горизонте