Сканування сторінки (або краулінг, відповідно до англомовної традиції) це один з основних процесів в алгоритмах пошукових систем, його перший етапом, який є первинним або повторним переглядом html-документа роботом Googlebot. Цей процес виконується до того, як сторінка буде проіндексована та ранжована.
Перед скануванням сторінки йде її "виявлення". Виявлення відбувається кількома методами, а саме:
Ви можете контролювати сканування сторінки, встановивши його у файлі robots.txt директиву "Disallow".
Тільки після сканування сторінки Гугл може індексувати та ранжувати її. Сканування, індексування та ранжування - це пов’язані, але абсолютно різні поняття.
Спочатку цей термін асоціювався з пошуковим роботом – Googlebot, але пізніше з’явилося багато інших інструментів, наприклад Ahrefs, зі своїми власними роботами-сканерами.
Джерела: https://support.google.com/
Теги: #сканування #краулінг
Так, тобі дуже сподобався контент на сайті, але... ти ніколи ні на що не підписуєшся, вірно? Будь ласка, зроби виняток для мене. Я сильно єбашу для того, щоб сайт не тільки ріс, але також був максимально якісним. Підтримай не проект - підтримай мене в моєму прагненні писати класно.
