Выложил бесплатный курс про устройство поисковиков: 23 модуля от краулинга до ранжирования

[kirill_ir]

Короче, я тут собрал курс про то, как реально устроены поисковики изнутри, и наконец выложил его на форум. Бесплатно, на русском, по главам.

Сам курс тут: learn/search-engines

Зачем. Нормального русскоязычного материала, который проводит по ВСЕМУ конвейеру поиска, от обхода веба до того, почему конкретный документ оказался на третьей позиции, почти нет. Есть либо академические талмуды про information retrieval, либо seo-инфоцыгане про плотность ключевиков. Хотелось середину: честно и технически, но читаемо.

Что внутри. 23 модуля и сквозной приём "путь одного запроса": одну и ту же историю (юзер что-то спросил) прослеживаем через весь конвейер обход -> индекс -> факторы -> ранжирование -> выдача -> постобработка -> измерение.

Несколько глав, которые стоит глянуть первыми:

• текстовая релевантность (BM25, почему tf насыщается, нормализация длины): viewtopic.php?t=1796
• ссылочный граф (PageRank, damping, почему фермы ссылок его ломают): viewtopic.php?t=1797
• таксономия факторов, какие живые, какие мёртвые и почему: viewtopic.php?t=1798
• нейросетевой поиск (dense retrieval, гибрид с BM25, кросс-энкодеры): viewtopic.php?t=1800
• поведенческие сигналы и клик-модели: viewtopic.php?t=1801
• SEO как прикладная глава, на какие звенья реально влияешь, а на какие нет: viewtopic.php?t=1810

Кому зайдёт. Сделал треки: студенту CS алгоритмы и теория, инженеру поиска и ml реализация и serving, seo-шнику факторы и выдача без воды, и смешанный для тех, кто хочет картину целиком. В каждом модуле помечено, что читать обязательно, а что обзорно.

Формат: конспект, частые заблуждения, лаба и контрольные вопросы в каждой главе. Под каждым уроком можно задавать вопросы и спорить, комментарии открыты.

Ещё раз ссылка на курс: learn/search-engines

Если найдёте косяк или захотите, чтобы какую-то тему раскопал глубже, пишите тут или под уроком.

[linux_lord]

о, наконец нормальный материал на русском а не пересказ moz через переводчик. забрал в закладки, начну с факторов и нейропоиска

[heckman]

пробежался по модулю про поведенческие, это прям то чего везде не хватает. пишут "поведение влияет на ранжирование", а как именно клик-модели и dwell-time считаются молчат. тут разобрано по делу

[sagalp]

а пререквизиты какие? я бэкендер без ml-бэкграунда. потяну или сначала надо линал с теорвером подтянуть?

[waltfish]

capstone это учебный мини-поисковик собрать? если да, то это лучшее что может быть. теория без своей реализации не укладывается в голове вообще

[maja33]

за трек для seo отдельное спасибо. устал от материалов где либо формулы learning-to-rank на три страницы, либо "пишите полезный контent". тут видно на что реально можешь повлиять, а на что нет

[kirill_ir]

потянешь спокойно. модули 0-4 вообще без матана, это архитектура и алгоритмы на пальцах. линал с теорвером всплывают только в 9 и 10 про LTR и нейросети, и там я старался давать интуицию до формул. если что спрашивай прямо под уроком

[anna_seo]

Раз тут собрались, вброшу по делу. На базе этого курса я собрала отдельный, заточенный под SEO-практику - без вывода формул и теории IR, чисто механика поиска и честная карта на что ты реально влияешь, а на что нет. Там же разложена таблица, куда приходится вес факторов (спойлер: поведение и смысл, а не плотность ключей и покупные ссылки). Кому ближе оптимизация, а не устройство поисковика изнутри: learn/seo