Consumer SSD сдох за год под Proxmox, wearout 38% — это нормально вообще?

[scottray]

Поставил два WD Blue SN570 в зеркало под Proxmox год назад. Сегодня посмотрел SMART — wearout 38% на обоих. При этом нагрузка смешная: пара LXC и одна винда. Куда уходит ресурс?

[klop45]

Write amplification на ZFS + sync writes от логов и баз. У меня замеряли — записал 1 ТБ внутри VM, а на физику прилетело под 18-20 ТБ. Это твой случай скорее всего.

[sergeyserov]

Главные пожиратели у меня были: pve-cluster (pmxcfs пишет постоянно), графики rrd, и atime на датасетах. Выруби atime, перенеси /var/log в tmpfs если памяти не жалко.

[bunmaker]

atime реально был включён, спасибо. Поставил relatime, плюс zfs_txg_timeout поднял. За сутки запись на пул упала почти втрое по zpool iostat. Но вывод один — под ZFS надо было брать энтерпрайз с PLP.

[kickmybox]

Угу, Intel S3700/S4510 или Micron 5300 с барахолки стоят копейки и переживут нас всех. 800 TBW у консьюмера против 10к+ у энтерпрайза — разница в порядок.

[Austkin]

WD Blue SN570 — бюджетный TLC NVMe без DRAM-кэша, у него write endurance по спеке 300-460 TBW в зависимости от объёма. Proxmox пишет метаданные ZFS/LVM постоянно — это мелкие рандомные записи, они убивают TLC быстрее чем последовательная запись. При этом wear indicator в SMART считается именно в TBW. Глянь Media_Wearout_Indicator (атрибут 233) и Total_LBAs_Written — посчитай реальный объём записи за год. Если вышло 150+ TB за год на «лёгкой» нагрузке — значит Proxmox пишет больше чем кажется, скорее всего journaling или CoW.

[duel]

Для Proxmox под виртуалки нормальный выбор — SSD с DRAM-кэшем и высоким TBW, типа Samsung 870 EVO (SATA) или WD Red SN700 (NVMe). Consumer NVMe без кэша в роли системного диска под гипервизор — это известная проблема, Proxmox действительно агрессивно пишет. Можно снизить износ отключив swappiness до 1, вынести логи в tmpfs и поставить noatime в fstab — это реально уменьшает write amplification на десятки процентов.