краулер

Краулер (паук, spider) - робот, который обходит веб по ссылкам и скачивает страницы. Работает под бюджетом ресурсов и правилами доступа: что качать сейчас, что потом, а что не качать вовсе.

Похожие теги: поисковые системы 1краулинг 1robots.txt 1обход веба 1

Популярные запросы по теме: как работает поисковый роботтехнический seo чек-лист · все запросы →