| Разработчики: | Яндекс (Yandex), Microsoft |
| Дата премьеры системы: | 2021/10/20 |
| Отрасли: | Интернет-сервисы |
2021: Создание протокола IndexNow
20 октября 2021 года стало известно о том, что Microsoft и «Яндекс» создали протокол IndexNow для самостоятельного оповещения веб-мастерами поисковых систем об изменениях на сайте. Это позволяет не ждать, пока сайт посетит робот-краулер, и отразить все обновления в поисковой выдаче. IndexNow работает в Bing и поиске «Яндекса», другие поисковые системы не поддерживаются.
 | IndexNow – это инициатива, направленная на оптимизацию эффективности работы интернета. Сообщая поисковым системам, был ли изменен URL-адрес, владельцы веб-сайтов дают четкий сигнал, помогая поисковикам определять приоритеты сканирования для этих URL-адресов, тем самым ограничивая потребность в исследовательском сканировании для проверки того, был ли контент изменен. В будущем поисковые системы намерены ограничить сканирование веб-сайтов, использующих IndexNow. говорится на сайте Microsoft |  |
Как сообщалось, суть IndexNow заключается именно в ускорении предоставления данных об изменениях сайтов поисковым системам. По данным «Яндекса», без него процесс обнаружения поисковиками изменений на сайте может занимать довольно много времени – от нескольких дней до нескольких недель.
Распространение IndexNow началось 18 октября 2021 г. на условиях лицензии Attribution-ShareAlike Creative Commons License. Однако доступен этот протокол далеко не всем поисковикам. Как сообщили представители «Яндекса», протокол работает исключительно в Bing (принадлежит Microsoft) и в поисковой системе самого «Яндекса». Поначалу в компании сообщили, что IndexNow также поддерживается китайским Baidu, но позже добавили, что в этот сервис доступом к нему не располагает. При этом упоминание Baidu на странице «Яндекса» с описанием сервиса присутствует.
На запрос о сроках запуска поддержки IndexNow другими поисковиками представители «Яндекса» на момент публикации материала ответить не смогли.
Отметим, что на сентябрь 2021 г. «Яндекс» был вторым по популярности поисковиком в мире с долей 41,69%. Его опережал только Google (56,07%, статистика StatCounter). Bing находился на четвертой строчке с крошечной долей 0,42%.
Также инициативу по внедрению IndexNow поддержала компания CloudFlare, предоставляющая услуги сети доставки содержимого (Content Delivery Network, CDN), защиту от DDoS-атак, безопасный доступ к ресурсам и серверы доменных имен (DNS). Поддержка обновленного протокола реализована в составе запущенного летом 2021 г. проекта Crawler Hints («подсказки для краулеров»). Это отдельный сервис, оптимизирующий эффективность работы трафика, поступающего от веб-краулеров и ботов.
Протокол IndexNow запущен в версии 1.0. перед началом его использования владелец сайта должен сгенерировать и разместить в каталоге сайта специальный ключ для верификации пользователя.
Поисковые системы будут проверять ключ при каждом использовании протокола IndexNow. Размещать его рекомендуется в корневом каталоге сайта. К тому же, если на сайте есть поддомены, то для каждого из них нужно создать отдельный ключ.
Выполнив это требование, владельцы веб-сайтов могут начать отправлять в Bing и «Яндекс» URL-адреса изменившихся или удаленных страниц. Для отправки одного адреса используется метод GET, а если требуется «оптовая» отправка, то нужно использовать метод POST.
Важно отметить, что отправлять через IndexNow нужно исключительно адреса тех страниц, которые получили изменения после запуска поддержки протокола. Если, к примеру, страница обновлялась месяц или год назад, уведомлять поисковики об этом не требуется.
По данным портала MSPowerUser, уведомив об изменениях на сайте одну поисковую систему, поддерживающую IndexNow, веб-мастер автоматически оповестит и другую. В «Яндексе» эту информацию не подтверждают, но и не опровергают[1].
Примечания
