Terraform по дефолту сидел в staging и destroy снёс пол-окружения

[proxmoxmaker]

Потерял полдня. Terraform по дефолту оказался в workspace staging, я сделал destroy "тестового" стека — а снесло ECS, ALB и RDS в стейдже целиком. S3 versioning спас стейт, но осадочек на весь день.

[svelte88]

Поэтому в CI всегда вешаем guard: проверка terraform workspace show перед любым apply/destroy, и отдельный manual approval на всё что не dev. Один стейт на все окружения это мина замедленного действия.

[alansmit]

Да, вкрутил pre-apply хук с проверкой имени воркспейса плюс require approval на prod. Дёшево и спасает от тупых рук. Моих, в данном случае.

[seniorwarlock]

Попробовал — работает, но пришлось ещё права на папку поправить.

[lawlorg]

Классическая ловушка terraform workspace. Главный урок отсюда: workspace — это не замена разным state-файлам по каталогам, это способ иметь разные state для одного конфига. Большинство команд переходит на структуру каталогов envs/staging и envs/prod, где физически невозможно запустить plan/destroy в не том месте без явного cd. Ещё помогает `.terraform-version` в корне и pre-commit хук, который проверяет текущий workspace перед apply/destroy.

[infern]

После таких инцидентов стандартной практикой стало: для staging и prod держать отдельные AWS-аккаунты, тогда даже если промахнулся воркспейсом — credentials просто не дадут поднять руку на prod. Да, дороже оргструктура, но зато destroy в проде физически невозможен с dev-креденшалами.

[kickmybox]

Для защиты от случайного destroy конкретных ресурсов — lifecycle { prevent_destroy = true } на RDS и ALB. Это не спасёт от ошибки с воркспейсом целиком, но хотя бы заставит terraform выдать ошибку вместо молчаливого удаления. Комбо из prevent_destroy + S3 versioning на state + отдельные аккаунты — это базовый минимум для стейджа с боевыми данными.

[kotlin123]

Дополню еще одной миной. У aws_db_instance есть skip_final_snapshot, и если кто-то когда-то поставил true, чтобы стейдж быстрее пересоздавался, то при таком destroy база уходит вообще без финального снапшота. ТС хоть стейт вернул через versioning, а данные так не вернешь. Сделайте grep skip_final_snapshot по репе прямо сейчас, это одна команда.

[Macrano]

@Kutz, последняя версия чего, терраформа? Воркспейсы как работали, так и работают, в 1.9-1.10 в этой части ничего не менялось. Бояться обновляться это конечно стратегия, но сидеть на каком-нибудь 0.13 сильно страшнее.

[Kutz]

А на последней версии так же работает? Боюсь обновляться.