P40 + 3090 в одной тушке: tensor-split, костыли и грелка для комнаты

[nixosaddict]

Теряешь, но в pipeline режиме теряешь только на тех слоях что висят на P40. Подкрути --tensor-split так чтобы на 3090 ушло больше слоёв, чем пропорция VRAM. Чуть недогрузи P40 по памяти ради скорости.

[trasche10]

P40 ещё и без активного охлада идёт, не забудь турбину прикрутить, а то она в простое 40-50 ватт жрёт и греется в закрытом корпусе. nvidia-smi -pl поможет урезать аппетит.

[wasm_enjoyer]

@trasche10, дополню: на инференсе P40 всё равно упирается в память, так что nvidia-smi -pl 130 почти ничего не отнимает, минус 30 ватт тепла бесплатно. И на 3090 лочи смело на 280, теряется пара процентов скорости.

[causious]

sysadmin_oleg, турбина стоит, печатал кожух на 3д принтере. По итогу: pipeline + tensor-split с перекосом на 3090 + Q4 кванты. 70B крутится ~8 ток/с, для дома норм. Комнату греет бесплатно, зима зачёт.