Сканирование страницы (или краулинг, в соотвествии с английской версией термина) это один из основных процессов в алгоритмах поисковых систем, его первый этап, являющийся первичным или повторным просмотром html-документа роботом Googlebot. Этот процесс выполняется до того, как страница будет проиндексирована и ранжирована.
Перед сканированием страницы следует ее "обнаружение". Выявление происходит несколькими методами, а именно:
Вы можете контролировать сканирование страницы, установив его в файле robots.txt с помощью директивы "Disallow".
Только после сканирования страницы Гугл может проиндексировать и ранжировать ее. Это связанные, но совершенно разные понятия.
Сначала этот термин ассоциировался с поисковым роботом – Googlebot, но позже появилось много других инструментов, например Ahrefs, со своими собственными сканерами (краулерами).
Источники: https://support.google.com/
Теги: #сканирование #краулинг
Да, тебе очень понравился контент на сайте, но... ты никогда ни на что не подписываешься, правильно? Пожалуйста, сделай исключение для меня. Я сильно ебашу для того, чтобы сайт не только рос, но также этот был максимально качественным. Поддержи не проект - поддержи конкретно меня в моем стремлении писать классно.
