Урок 12. Как измерять SEO правильно: эксперименты вместо догадок Ты выкатил правку тайтлов, через две недели трафик подрос - и ты уверен, что это сработало. А на самом деле просто закончился сезонный провал, конкурент уронил сайт, или Google прокатил очередной апдейт. Большинство SEO-кейсов это не доказанный результат, а совпадение во времени, которое выдают за причину.
Как это работает Поисковик - это система, которую постоянно меняют: новый фактор, переобученная модель ранжирования, правка в том, как строится и фильтруется выдача. И внутри ПС ни одно изменение не катят на всех сразу. Сначала его измеряют: берут срез запросов, сравнивают выдачу до и после, гоняют на живом трафике с контрольной группой. Потому что инженерская интуиция выдача стала лучше ошибается чаще, чем кажется, а просадка в хвосте запросов на глаз не видна вообще. У тебя ровно та же проблема, только с другой стороны баррикад. Ты вносишь изменение на сайт и хочешь понять, помогло оно или нет. И тут вылезает главная ловушка: трафик это шумная величина. Он скачет от дня недели, сезона, действий конкурентов, апдейтов ядра, новостной повестки. На этом фоне эффект от твоей правки может быть меньше самого шума. Поэтому метод подёргали и посмотрели на график - это не измерение. Это гадание с красивой подложкой. Правильное измерение строится на сравнении с тем, чего не трогали. Если у тебя 2000 карточек товаров, не переписывай все сразу. Раздели их на две похожие группы, измени одну, вторую оставь как контроль. Через месяц-полтора сравни динамику. Если тестовая группа выросла относительно контрольной - вот это уже сигнал, потому что сезонность и апдейты прошлись по обеим группам одинаково.
На что ты влияешь, а на что нет Где у тебя реальный рычаг. Ты влияешь на сам объект эксперимента и на чистоту его постановки. Можешь честно разбить страницы на тест и контроль, можешь зафиксировать дату изменения, можешь выбрать правильную метрику. Можешь измерять не одну позицию, а видимость по пулу запросов, CTR из выдачи, и главное - доходит ли дело до конверсии. Позиция это вход, а не результат. Топ-1 по запросу, который никто не кликает и по которому никто не покупает, не стоит ничего.
Где влияние косвенное. Ты не управляешь поведенческими сигналами напрямую, но ты создаёшь условия для них. ПС смотрит не кликнул ли человек, а решил ли он задачу. Долгий клик это хорошо, pogo-sticking (открыл и сразу назад в выдачу) это плохо. Ты не можешь приказать пользователю остаться, но можешь сделать страницу, которая реально отвечает на интент. Это рычаг, но отложенный и непрямой - и измеряется он как раз по поведению, а не по тому, что ты задумал.
Где ты не влияешь никак. Ты не контролируешь сезонность, апдейты ядра, действия конкурентов и общий спрос в нише. Это твой фон, твой шум. Бороться с ним бесполезно - его нужно вычитать через контрольную группу. И ты не контролируешь атрибуцию задним числом: если ты выкатил три правки за неделю, ты уже не разделишь, какая из них сработала. Поэтому катить изменения нужно по одному и с паузой.
Главное правило измерения: без контрольной группы ты меришь не свою правку, а погоду за окном. Любой рост, который ты не можешь отделить от фона, - это не результат, это совпадение.
Что делать
- Перед любой массовой правкой раздели страницы на тестовую и контрольную группы. Группы должны быть похожи: тип страниц, диапазон трафика, частотность запросов.
- Фиксируй дату каждого изменения в отдельном журнале (можно прямо в таблице). Без даты ты потом не привяжешь эффект ни к чему.
- Меняй по одному фактору за раз. Переписал тайтлы - жди результат, не наваливай сверху перелинковку и новый контент.
- Смотри не на абсолютный трафик, а на разницу динамики тест минус контроль. Это убирает сезонность автоматически.
- Веди связку метрик: видимость по пулу запросов, CTR из Search Console, поведение на странице, конверсии. Падение конверсий при росте позиций - это провал, а не успех.
- Дай эксперименту дожить до значимого окна. Для SEO это обычно 4-8 недель: переобход, переиндексация, накопление поведенческих данных требуют времени.
- Записывай отрицательные результаты тоже. Не сработало - это ценный факт, а не повод стереть кейс.
Мифы и устаревшее
- Подёргал и выросло. Самый живучий самообман. Один график до/после без контроля не доказывает ничего - в нём сидит весь фон сразу.
- Главная метрика - позиция. Позиция давно не самоцель. ПС оптимизируется на решённую задачу пользователя, а не на твоё место в топе. Меряй до денег и до поведения.
- CTR-накрутка двигает выдачу. Краткосрочно кликбейтный сниппет поднимает CTR, но ПС давит кликбейт, тонкий контент и манипуляции именно потому, что они подтачивают долгосрочное доверие к выдаче. На дистанции выигрывает полезная страница, а не яркий заголовок над пустотой.
- Если позиции не упали, всё в порядке. Тихая деградация релевантности и поведения не видна в позициях. Выдача поехала пользователи и оптимизаторы замечают раньше, чем зазвенит грубая метрика трафика.
- Достаточно одного апдейта в неделю и хватит наблюдений. Накатил пачку правок - потерял атрибуцию. Скорость без чистоты эксперимента это просто более быстрое гадание.
Проверь у себя
- Возьми свой последний удачный кейс и спроси честно: была ли контрольная группа, или ты просто сравнил до и после? Если контроля не было - ты не знаешь, сработало ли это.
- Открой Search Console и наложи свои даты правок на график. Совпадают ли подъёмы с твоими действиями или с сезонными волнами и датами апдейтов ядра?
- Проверь топовые страницы на pogo-sticking: высокий показатель отказов плюс быстрый возврат в выдачу. Высокая позиция при таком поведении - кандидат на просадку.
- Посмотри, ведёшь ли ты вообще журнал изменений с датами. Если нет - заведи сегодня, без него ни один будущий эксперимент не будет чистым.
