Купил мини-ПК на Ryzen AI 9 HX 370 ради NPU под локалки, NPU оказался бесполезным. Рассказываю

[sepiatone]

Взял мини-ПК на Ryzen AI 9 HX 370 за 75к в основном из-за разрекламированного NPU на 50 TOPS, думал буду гонять локалки на нем экономно по питанию. По факту NPU под LLM не используется почти нигде, llama.cpp его не видит, ollama тем более, весь инференс упирается в iGPU через Vulkan и в пропускную способность памяти. 8B модель в Q4 дает 9-10 t/s, и то на iGPU а не на NPU. За что я переплатил непонятно. Если кто реально запустил LLM на этом NPU, расскажите как, потому что я разочарован.

[lfmatt]

NPU на этих чипах заточен под мелкие модельки для камеры, шумодава и фоновых задач винды, а не под LLM. под трансформеры там нет нормального софта, только через Ryzen AI SW с конвертацией в ONNX и то костыли. ты купил маркетинг, NPU в ноутбучных чипах это для галочки на коробке

[ser53]

10 t/s на 8B это вообще-то печально, у меня обычная 3060 12гб те же 8B Q4 жует под 50 t/s. мини пк под локалки это всегда компромисс по памяти

[KubeSmith]

память какая стоит? если одноканал или медленная то вот тебе и 10 t/s. на этих APU все решает пропускная память, LPDDR5X-7500 в двухканале даст заметно больше чем DDR5-5600

[lentyaj]

на этих APU все решает пропускная память, LPDDR5X-7500 в двухканале

именно. у ОПа скорее всего обычный SODIMM DDR5-5600 в его мини пк, отсюда и грусть. вся фишка Strix Point и тем более Strix Halo в распаянной быстрой памяти. на HX 370 с SODIMM ты упираешься в ~90 ГБ/с, на Strix Halo с 256-битной LPDDR5X уже 256 ГБ/с, разница в скорости генерации соответствующая. так что дело не столько в NPU которого ОП ждал, сколько в том что под инференс надо было смотреть на чип с широкой шиной памяти. NPU тут вообще ни при чем, для LLM на этих платформах работает iGPU через Vulkan или ROCm, и его скорость целиком определяется памятью. если бы взял Strix Halo (Ryzen AI Max+ 395) с распаянными 128 гигами получил бы и большие модели и кратно быстрее. а HX 370 это ноутбучный середняк, под локалки слабоват, NPU там декоративный

[causious]

так Strix Halo стоит как три твоих мини пк, тоже не панацея

[delphin]

@автор_поста_5 в точку про шину. добавлю что даже когда AMD допилит XDNA под LLM, эти 50 TOPS это int8, а нормальный инференс хочет память а не голые TOPS. NPU не магия

[davidwor]

@delphin, короче еще одна история как маркетинг про TOPS разбился о пропускную способность памяти. классика жанра

[lrichard]

llama.cpp его не видит, ollama тем более

и не увидит в обозримом будущем. в llama.cpp бэкенда под XDNA нет и в роадмапе не маячит, энтузиастов с этим железом мало. так что NPU на твоем чипе под локальные сетки мертвый груз, смирись и гоняй на iGPU