Аренда A100 в облаках СНГ или своя сборка на 4090, что выгоднее в 2026

[dockersre]

Считаю экономику: команда из 3 датасайентистов, гоняем файнтюны и эксперименты почти каждый день. Аренда A100 80гб в облаках СНГ выходит 120-160р/час, набегает прилично. Альтернатива собрать локальный сервер на 2-4 RTX 4090 или взять 5090. Кто реально считал, при каком объёме нагрузки своё железо отбивается и где грабли? Бюджет на железо рублей до 800к есть.

[andy0326]

@dockersre, своё железо отбивается если гоняешь больше 6-8 часов в день стабильно. если эксперименты рваные, неделю молотишь неделю тишина, облако выгоднее, не платишь за простой.

[mjp1982]

4090 vs A100 это не только про деньги. на 4090 нет nvlink и всего 24гб, большие модели в fp16 не влезут целиком, придётся шардить и страдать. для 7-13b файнтюна 4090 топ по цене, для 70b забудь без квантизации.

[alansmit]

взять 5090

5090 это 32гб и заметно быстрее на bf16, но греется как печка и драйверы под линукс в начале 2026 ещё местами кривые для ml-стека. я бы пока не брал в прод-сборку, пускай отлежится. 4х4090 предсказуемее.

[olga8]

электричество посчитай. 4 штуки 4090 это под 1.5квт под нагрузкой плюс остальная система, nammath круглосуточно и счёт за свет заметный. в офисе ладно, дома кондиционер ещё ставь.

[rustguru]

@olga8, @автор реальная экономика из нашего опыта, считали в феврале. взяли сборку на 2х4090: две карты примерно по 200к (цены скакали, ловили от 185 до 230), материнка с двумя psi-e x16 тысяч 45, threadripper б/у с озу 128гб тысяч 120, два бп по 1000вт, корпус с нормальной продувкой, итого вышло около 650к с хвостиком. при аренде эквивалента 2х A100 это грубо 250-300р/час, то есть наша сборка отбивается примерно за 2200-2500 часов работы. мы упираемся в это за 9-10 месяцев при нашей загрузке. НО есть скрытые расходы которые в облаке не платишь: админ время на настройку драйверов и cuda (у нас неделя ушла на то чтобы 4090 нормально завелись под обучение, ловили падения по питанию), деградация и риск что карта помрёт без гарантии (берёшь не новьё, бывает), и невозможность мгновенно масштабироваться когда нужно вдруг 8 карт под большой прогон. зато плюсы жирные: нет почасового стресса, эксперименты гоняешь сколько хочешь, данные не уходят в чужое облако (для нас важно, заказчик параноик по безопасности). вывод: при ежедневной плотной загрузке своё выгоднее железно, окупается меньше чем за год. при рваной нагрузке или если 70b+ модели нужны регулярно, бери облако или гибрид: своё для рутины, облако под редкие тяжёлые прогоны.

[rburr]

неделя ушла на то чтобы 4090 нормально завелись под обучение, ловили падения по питанию

это прям больная тема. 4090 на пике дёргает мощность так что дешёвый бп уходит в защиту посреди эпохи и ты теряешь прогон. не экономьте на питании, берите платину с запасом 30%, лимитьте power limit через nvidia-smi до 80%, теряете 5% скорости получаете стабильность.

[misha12]

ещё момент, перепродать своё железо потом можно. 4090 на вторичке держат цену, через год продал, минус условные 20%. с облаком ты просто отдал деньги в пустоту. это в расчёт окупаемости тоже надо закладывать.

[ralfalfa]

@mjp1982, холивар вечный конечно. но имхо для троих дсов которые каждый день молотят, не собрать своё это просто сжигать бюджет. подниму.