Потерял семейный фотоархив из-за б/у дисков с авито, поучительный фейл

[prometheusandy]

Короче, поучительная история для всех кто экономит на дисках. В ноябре собрал наконец нормальный NAS: TrueNAS Scale, корпус Jonsbo N3, и взял 4 диска HGST по 4тб SAS с авито, по 2800 за штуку. Продавец божился что из ЦОДа, наработка 30к часов, здоровье отличное. SMART глянул мельком, Reallocated по нулям, ну и успокоился.

Собрал RAIDZ1, слил туда весь семейный фотоархив с 2009 года, бэкапы рабочих проектов, медиатеку. Старые внешние диски, откуда переливал, разумеется отформатировал, а один продал. Вы уже поняли, да.

В феврале один диск отвалился. Ну ок, raidz1 же, degraded но живой. Заказал замену у того же продавца (да, я гений), поставил, запустил ресилвер. На 60% второй диск начал сыпать checksum errors пачками, потом read errors, потом пул встал в SUSPENDED. Всё.

Итог: около 6тб данных, из них реально невосполнимых примерно 1.5тб, семейные фотки за несколько лет и часть рабочего архива. Что-то наскреб по телефонам и старым облакам, но далеко не все.

Ошибки понимаю сам: raidz1 на б/у дисках, ноль бэкапов, все диски из одной партии у одного продавца, badblocks не гонял. Пишу не за жалостью, а чтоб кто-то прочитал и не повторил. Вопрос один: есть смысл нести куда-то на восстановление или с zfs это дохлый номер?

[lost300z]

@prometheusandy, сочувствую, но сценарий настолько классический что хоть в учебник вставляй. raidz1 на дисках от 4тб это рулетка: при ресилвере массив сутки молотит все диски на полную, и если они из одной партии с одинаковой наработкой, второй сыпется ровно в этот момент. Это статистика, а не невезение.

По восстановлению шансы есть, но не в сервисе за углом. Сначала ddrescue, посекторная копия ВСЕХ дисков на новые, включая сдохшие, сколько вытянется. Потом zpool import -F -o readonly=on уже с копий. Если метаданные пула живы хотя бы частично, вытащишь много. Есть еще Klennet ZFS Recovery, платный, под винду, но он читает пул напрямую и иногда достает то, что import уже не видит. И ничего не запускай на оригинальных дисках, каждый час работы умирающего диска это минус данные.

[jwil1440]

6 тб семейных фоток и ноль бэкапов. ну ты конечно дал. рейд не бэкап, эту мантру двадцать лет не просто так повторяют

[idlebteam]

тоже беру диски с авито, но процедура жесткая: smartctl -t long, потом badblocks -wsv в 4 прохода (на 4тб это почти неделя), потом еще раз смарт и сравниваю до и после. Из последних десяти дисков два уехали обратно продавцу после такого теста. И никогда не беру всю пачку у одного человека, размазываю по трем-четырем объявлениям, чтобы партии были разные. Параноидально, зато сплю спокойно

[markcack]

а зачем вообще sas домой? hba жрет ватт десять и греется как утюг, диски воют, выгода после покупки контроллера копеечная. вечно эта мода тащить цодовское железо в квартиру

[misha12]

@jwil1440, помянем. подниму тред, пусть висит памятником всем, кто заносит деньги за списанный серверный хлам

[arsa4soles]

оффтоп, но как тебе сам n3? присматриваю его под сборку, пишут что бэкплейн греется и обдув дисков так себе

[penalty]

апдейт для истории. ddrescue со второго диска вытащил 92% за четверо суток, с первого почти ничего. import -F с копий поднял пул в readonly, в итоге спас около 70% данных, фотки почти все целы, выдыхаю. Klennet не понадобился. Пересобрался в mirror из двух новых тошиб с маркета, критичное теперь уезжает borg'ом на комп родителей. Урок ценой в 1.5тб нервов усвоен.

Про n3: корпус норм, но бэкплейн правда горячий, я снизу вентилятор докинул и стало терпимо