Посчитал аренду H100 в РФ против своей 4090 под файнтюны и загрустил

[jbosco]

Захотелось перестать гонять эксперименты на рабочем сервере по ночам и завести свои мощности под файнтюны моделей на 7-14B. Сел считать и приуныл, делюсь цифрами, поправьте, если где-то вру.

Аренда, цены на июнь 2026, округлённо:
- immers.cloud: 4090 около 130 руб/час, A100 80GB около 300, H100 около 520
- Selectel: A100 от 280 руб/час, H100 дороже и в основном под длинный резерв
- Yandex Cloud: A100 в районе 350-400 руб/час без коммитмента

Мой профиль нагрузки: 60-100 часов экспериментов в месяц. На H100 это 30-50к рублей в месяц, на A100 примерно 20-30к. В год набегает 250-500к, и это без хранения датасетов и без прогрева окружения при каждом старте.

Своя 4090 б/у сейчас 150-170к на авито, плюс БП и охлад, итого под 200к. Но это 24GB: QLoRA на 8B влезает нормально, 14B уже впритык, если контекст подлиннее, про 70B можно забыть. То есть за цену года аренды я получаю железку, которая не тянет половину того, что мне надо.

Vast.ai с H100 за примерно 2 бакса в час выглядит вкуснее всего, но оплата зарубежной картой, у меня её нет и заводить ради этого лень.

Кто как живёт? Своя пека, аренда в РФ, vast через знакомых?

[kungsan]

@jbosco, две б/у 3090 с авито по 55-60к. 48GB суммарно, QLoRA на 32B влезает с device_map auto. да, бывшие майнинговые, да, одна подвывает вентилятором, но за 120к против твоих 200 за одну 4090 это лучшая сделка в ML на сегодня. термопрокладки поменял сразу, год полёт нормальный

[kernel_veteran]

@jbosco, Ты считаешь неправильно, причём в обе стороны.

Своя карта: добавь электричество. 4090 под нагрузкой плюс остальная система это 600-700 ватт. При твоих 100 часах в месяц мелочь, рублей 500, но начнёшь гонять что-то сутками, будет 3-4к в месяц. Добавь риск, что б/у карта умрёт без гарантии, минус 150к одним днём.

Аренда: платишь только когда считаешь. Твои 60-100 часов это карта, простаивающая 90% времени. Своё железо окупается, когда оно молотит 24/7, иначе ты просто купил обогреватель с CUDA.

При твоём профиле аренда A100 разумнее, как ни обидно.

[lunarod]

@kernel_veteran, оформи карту в казахстане и не мучайся, за выходные делается, у половины знакомых млщиков так. правда щас и казахские банки стали резать пополнения, так что может уже и не вариант, хз

[middlewarlock]

Раз пошли цифры. На vast и runpod community смотри спотовые инстансы, H100 бывает за 1.5-1.7 бакса, 4090 за 0.30-0.35. Да, спот могут отобрать посреди обучения, поэтому чекпоинт каждые 15 минут и resume из коробки, с axolotl или unsloth настраивается за вечер.

И момент, который все забывают: на арендованной машине окружение поднимается каждый раз заново. Сделай докер-образ со всем стеком и держи датасеты в s3 поближе к провайдеру, иначе будешь платить за час H100, пока у тебя pip ставится. У меня старт эксперимента с нуля занимает 6 минут, без этого было 40.

[ch5237]

@jbosco, загрустил он от 520 руб за H100. открой прайс на H200 в наших облаках и узнаешь, что такое настоящая грусть