Индексация: попал ли ты в индекс и почему страницы выпадают

[anna_seo]

Урок 3. Индексация: попал ли ты в индекс и почему страницы выпадают Классика: в Search Console пишут "проиндексировано", сеошник радостно ставит галку в отчёт, а страница в выдаче не появляется вообще. Или появлялась месяц, а потом тихо выпала, и никто не заметил, пока трафик не просел. Разбираемся, что реально означает "в индексе" и почему это не равно "тебя находят". Как это работает Грубо упрощая, путь страницы такой: робот её скачал, парсер разобрал, система склейки дублей решила, что это за документ и не копия ли он чего-то уже известного, присвоила ей внутренний id. И только дальше она попадает (или не попадает) в индекс, ту самую структуру, по которой поиск за миллисекунды достаёт все документы со словами запроса. Важный момент, который большинство упускает. Индекс не плоский. Документы раскладываются по слоям по качеству и авторитету. Сверху лежит то, что поиск считает хорошим и авторитетным, и оно достаётся первым и дёшево. Внизу холодный слой, куда сваливается слабый и тонкий контент, и оттуда страницу достают реже и медленнее. Дальше механика, которая бьёт по широким запросам. По очень частотным словам список документов огромный, и его обрезают. В выборку для дальнейшей оценки попадают лучшие по статике, то есть по заранее посчитанным офлайн признакам (авторитет, качество, репутация хоста). Если у тебя их нет, по горячему запросу ты можешь просто не дойти до этапа, где тебя честно сравнивают с конкурентами. Тебя отсекли раньше.

Попасть в индекс и хорошо ранжироваться, это два разных события, разнесённых во времени. Страница становится находимой быстро. А дорогие сигналы (ссылки, поведение, качество) досчитываются позже, в батч-цикле. Поэтому позиции дозревают днями и неделями.

И ещё про host-size. У хоста есть условный объём полезных страниц, тех, что реально несут смысл и достойны индекса. Сотня тонких пустышек этот объём не растит, а часто наоборот, размывает оценку хоста. Качество выигрывает у количества. На что ты влияешь, а на что нет Это ядро урока, поэтому честно по трём корзинам. Прямой рычаг (тут ты решаешь):

• Технические директивы. noindex, robots, канонические, коды ответа, sitemap. Ты буквально говоришь, что брать, а что нет. Тут ошибка стоит дорого, потому что эффект мгновенный.
• Тонкость контента. Будет ли страница пустышкой или самодостаточным документом, решаешь ты. Это прямо влияет, в какой слой её положат.
• Чистка мусора. Какие url вообще существуют (фильтры, сортировки, пагинация, дубли) и попадают ли они роботу.

Косвенно (влияешь, но с задержкой и не один):

• Слой и host-size. Напрямую кнопки "положи меня в верхний слой" нет. Ты влияешь через накопление качества и авторитета, а пересчёт офлайновый и с лагом.
• Скорость переоценки. Свежей странице помогает хостовая статика, репутация домена, пока не накопятся свои сигналы. Если домен авторитетный, новые url заходят легче. Это ты строишь годами, а не за спринт.

Почти никак (смирись):

• Сам момент апдейта индекса и пересчёта статики. Ты не ускоришь батч-цикл правками.
• Гарантия индексации. "Отправить на переобход" это просьба, а не команда. Тонкую страницу могут не взять, сколько ни жми.

Главный вывод корзин: низкая видимость часто не про "плохой текст", а про то, что страница угодила в холодный слой из-за слабой статики хоста или самого документа. Переписывать абзацы там бесполезно, надо вытаскивать страницу из холодного слоя. Что делать

• Раздели "в индексе" и "приносит трафик". Бери список проиндексированных url и матчи с теми, по которым реально есть показы и клики. Разница это твой мёртвый груз.
• Найди тонкие страницы: мало текста, шаблонная простыня, дубли по сути. Решай по каждой: усилить до самодостаточной, склеить каноникалом или закрыть noindex.
• Закрывай мусорные параметрические url от индекса осознанно. Пример минимального правила:

  Код: Выделить всё

  User-agent: *
  Disallow: /*?sort=
  Disallow: /*?filter=
  Disallow: /search/
  

• Проверяй реальный ответ сервера, а не то, что думаешь. Заголовок важнее догадок:

  Код: Выделить всё

  curl -sI https://site.ru/page/ | grep -i -E "HTTP|x-robots|canonical"
  

• Следи за host-size осмысленно: цель не "больше страниц в индексе", а "больше качественных страниц и меньше пустышек". Доля полезных url важнее абсолютного числа.
• Поставил новую важную страницу, не дёргай её правками каждый день. Дай статике досчитаться. Частые правки перед каждым flush не ускоряют дозревание дорогих сигналов.

Мифы и устаревшее

• "Проиндексировалось, значит, дальше попрёт трафик". Нет. Это вход в зал, а не место в первом ряду. Слой и статика решают отдельно.
• "Больше страниц в индексе всегда лучше". Нет. Тонкий шлак тянет вниз оценку хоста и съедает краулинговый бюджет.
• "Закрою лишнее в robots, и оно выпадет из индекса". Disallow запрещает обход, но уже проиндексированный url может болтаться в выдаче без сниппета. Чтобы выкинуть, нужен noindex или 404/410 на странице, доступной роботу.
• "Переотправлю на переобход 10 раз, проиндексируется быстрее". Спам переобходом ничего не ускоряет, а иногда выглядит подозрительно.
• "Выпала, значит, бан". Чаще это тихий съезд в холодный слой по статике или признание страницы тонкой, без всяких санкций.

Проверь у себя

• Выгрузи проиндексированные url и пересеки с теми, у кого есть показы. Какой процент индекса вообще работает.
• Прогони curl по 5-10 ключевым страницам и глянь живой код ответа, x-robots-tag и canonical. Совпадает с тем, что ты думал.
• Поищи на сайте параметрические и пагинационные url в индексе. Они должны там быть или это случайный мусор.
• Возьми 3 страницы, которые "в индексе, но без трафика". Они тонкие или просто в холодном слое. Это разные диагнозы и разное лечение.

[seniorraccoon]

Вопрос по host-size. Если у меня каталог на 200к карточек товара и половина это вариации одной модели (цвет/размер), их каноникалить на главную карточку или реально оставлять как отдельные url под низкочастотку? На разных сайтах по-разному заходит, единого ответа так и не нашёл.

[python_whale]

Про "закрыл в robots а оно висит в индексе" подтверждаю, обожглись жёстко. Закрыли пол-сайта дисэллоу при переезде, думали выпадет, а оно месяц торчало в выдаче с пустыми сниппетами и каннибалило нормальные страницы. Только noindex + отдача 410 реально вычистили, причём не за день.

[cuda2]

А вот про "не дёргай новую страницу правками" поспорю. У меня в нише новости, и я наоборот доливаю апдейты в статью первые дни, и по ощущениям дозревает быстрее. Хотя да, может я просто свежесть качаю а не индексацию, тут не разделишь чисто.