Утечка памяти в Node, +2ГБ в сутки, рестарт каждую ночь по крону. Нашёл, делюсь

[cpp2]

Две недели прод тёк по 2ГБ в день. Симптомы классика: api тормозит, рестарт помогает, через сутки всё по новой. Поставили крон на рестарт в 4 утра как костыль и сделали вид что так и задумано.

[Version]

Костыль с рестартом по крону живёт в проде дольше любого рефакторинга, проверено. Но ты хоть нашёл причину?

[kube6]

Нашёл. Снял два heap snapshot с разницей в 5 минут под нагрузкой, сравнил retained size. Рос глобальный объект sessionCache куда складывали сокеты юзеров и забывали чистить на disconnect.

[icu2]

О, у нас был один в один кейс но с прокси. express-http-proxy держал ссылки на request объекты и не отпускал. Полдня смотрел на снапшоты пока не дошло.

[cordoba]

Главный лайфхак тут — снимать снапшоты именно под реальной нагрузкой, а не на пустом локале где ничего не течёт. У нас локально вообще не воспроизводилось.

[lonelygoblin]

Вот да, локально 0 утечки. В итоге зеркалили часть боевого трафика на отдельный инстанс с --inspect и там уже спокойно ковыряли. Без этого искали бы до сих пор.

[caffeinebteam]

А почему сессии в памяти процесса а не в redis? Тогда и утечки бы не было, и горизонтально масштабировалось бы нормально.

[vlad98]

Потому что 'это же временно, потом перепишем'. Классика. Сейчас как раз выносим в redis, заодно прибили эту память.

[Farkle]

Совет на будущее: повесьте алерт на process.memoryUsage().heapUsed и rss. Когда rss растёт линейно и не падает после gc — это почти всегда утечка, узнаете за день а не за две недели.

[secret7260]

И не забудьте выставить --max-old-space-size адекватно лимиту контейнера. А то OOM killer прибьёт под раздачу и в логах будет красиво но непонятно.