Купил 5070ti под генерацию а она медленнее старой 3090 что не так

[davidwor]

Купил 5070ti специально под нейрогенерацию, а она в SDXL оказалась медленнее моей старой 3090, сижу в осадке. По бумажкам новее, быстрее, а по факту на одинаковом воркфлоу 3090 делает батч за 22 сек, 5070ti за 28. VRAM меньше (16 против 24), это понятно, но скорость то почему просела? Думал апгрейд, а получил даунгрейд по фактической генерации. Уже жалею что продал 3090. У кого 50-я серия, у вас так же или я что то сломал в настройках?

[longjohn]

ты на старом torch сидишь. 50-я серия требует свежий torch с поддержкой новой архитектуры, на старом она работает в режиме совместимости и теряет скорость. обнови и замеряй заново

[nixos69]

продал 3090 ради 16гб карты под генерацию, ну ты конечно красавчик

[KernelAddict]

на старом torch сидишь

это первое что надо проверить да. но добавлю: 50-я серия реально раскрывается только на fp8 и новых форматах, а если он гоняет старый fp16 воркфлоу один в один как на 3090, то новые блоки карты простаивают. надо именно под fp8 переходить, тогда 5070ti обходит 3090 заметно. на дефолтных настройках от старой карты прироста не будет, это не плаг энд плей

[valru]

16гб после 24 это боль на видео и больших батчах, скорость тут вторична честно

[hunter22]

у меня 5070ti, после обновления torch и перехода на fp8 чекпоинты прирост к 3090 процентов 30-40 в sdxl. так что не карта виновата, софт

[regexlover]

@nixos69, конкретно что делать по порядку, проверено на моей 5070ti. Первое, обнови torch до версии с поддержкой новой архитектуры, на старом будет режим совместимости и потеря скорости, это твой главный тормоз сейчас. Второе, перейди на fp8 варианты чекпоинтов, 50-я серия именно на fp8 дает буст, на чистом fp16 ты используешь карту как медленную 40-ю. Третье, включи torch compile в графе если еще нет, на новой архитектуре он дает ощутимо. После этих трех шагов мой батч который на дефолте делался за 28 сек упал до 16-17, то есть быстрее твоей 3090. Без них да, 5070ti будет выглядеть как даунгрейд, потому что ты гоняешь старый софт на новом железе. По памяти 16гб против 24 это отдельная история, тут 3090 объективно удобнее для видео, но по скорости генерации картинок 5070ti после настройки выигрывает.

[quixtar]

@davidwor, сохранил пост выше, спс. реально думал карта бракованная