обход веба

Обход веба (crawling) - первое звено офлайн-конвейера поиска: приоритизация URL под бюджетом, обнаружение новых страниц, обработка ловушек и спама. Пока документ не скачан, для поиска его не существует.

Похожие теги: поисковые системы 1краулинг 1краулер 1robots.txt 1

Популярные запросы по теме: как работает поисковый роботтехнический seo чек-лист · все запросы →