История как я сжёг квартирный автомат гоняя 70B на трёх картах летом

[tinkus]

Расскажу как мой домашний LLM-сервер на трёх картах вышиб автомат и чуть не устроил пожар, может кому убережёт нервы. Собрал сборку под 70B инференс, три карты, БП на 1600 ватт, всё в старом корпусе в кладовке без нормальной вентиляции. В июльскую жару запустил долгую пакетную обработку датасета на ночь, под утро выбило пробки во всей квартире, прихожу карты по 88 градусов, провод от удлинителя оплавился, в комнате как в сауне. Дешёвый удлинитель на 10А не потянул пиковую нагрузку, плюс старая проводка. Вот несколько граблей которые собрал.

[elastic_geek]

удлинитель на 10А под 1600 ватт сборку, ну ты конечно красавчик, это же почти 7 ампер только сервер без пиков, плюс просадки. удивительно что раньше не выбило

[oleg_php]

@tinkus, power limit на картах ставить надо было сразу, nvidia-smi -pl и режешь до 250-280 ватт на 3090, теряешь 5-7% скорости а жрёт и греется заметно меньше. это база для домашнего инференса, на полном тдп оно того не стоит

[cpp1]

провод от удлинителя оплавился

вот это уже не смешно, это реально пожар мог быть. серверную нагрузку только в розетку напрямую и желательно на отдельную линию с нормальным автоматом. удлинители для такого вообще не предназначены, тем более дешёвые китайские

[rgarcia]

лол кладовка без вентиляции летом, ты сам себе духовку собрал. у меня сервак на балконе зимует, летом кондёр в комнате, иначе никак с тремя картами

[kernelpilot]

по делу собрал нормальные выводы из этого, разверну чтобы не повторяли. 1) питание: три 3090 на полном тдп это под 1050 ватт только карты плюс проц плюс просадки бп, легко 1300-1400 из розетки пиково, это 6+ ампер длительно, дешёвый удлинитель и старая алюминиевая проводка такое не держат, греются контакты и плавятся. только медь, толстый кабель, прямая розетка, в идеале отдельный автомат на 16А. 2) power limit обязателен, режь карты до 250-270 ватт через nvidia-smi -pl, на инференсе разница в скорости копеечная а нагрев и потребление падают ощутимо, и автомат целее. 3) охлаждение: закрытый корпус в кладовке летом это самоубийство для карт, нужен продув, открытый стенд или хотя бы корпус с нормальными вентиляторами и комната с кондеем, 88 градусов это уже троттлинг и деградация памяти. 4) ставь мониторинг температур с алертом и автостопом задачи если карта за 80, у меня скрипт глушит инференс если перегрев. 5) ИБП хотя бы для корректного выключения при скачках. потратил потом на нормальную проводку и стойку с продувом тысяч 20, но зато сплю спокойно.

[svelte88]

режь карты до 250-270 ватт

плюсую, я свои две 3090 держу на 260, скорость генерации упала с 30 до 28 ток/с, а нагрев минус 12 градусов и комната не плавится. лучший трейдофф вообще, непонятно зачем народ на стоке гоняет дома

[highlight]

ну такое, страшилка конечно. но мораль правильная, домашний сервак это не только видяхи купить, это ещё питание и охлад продумать, иначе вот так. сочувствую проводу