вторник, 28 февраля 2017 г.

Автообновление карты сайта по расписанию




Автообновление карты сайта по расписанию — это еще одно улучшение модуля Аудит, куда входят четыре основных инструмента: Карта сайта, Проверка индексации, Анализ сайта и Радар. Разберемся зачем и почему мы внедрили автообновление карты на примере Радара.

Радар — это инструмент для автоматического отслеживания изменений на сайтах. В качестве отслеживаемых элементов используются заголовок страницы (тег title), описание страницы (мета-тег description), заголовок документа первого уровня (тег h1) и содержимое страницы (контент). Также автоматически отслеживаются HTTP коды страниц.

Стоит добавить, что в качестве URL страницы для отслеживания изменений можно добавить любой доступный html или текстовый файл, например robots.txt. 

Способов добавления страниц для отслеживания несколько:

1. Вручную 

Добавьте один или несколько URL в специальное поле и нажмите Применить. Можно добавить в том числе страницы поддоменов или, возвращаясь к robots.txt, различные текстовые файлы, которые могут находиться и быть привязанными к поддоменам. Например, https://example.com/robots.txt или https://sub.example.com/robots.txt.

2. Импортировать из карты сайта

Предположим, что вы только что создали проект и первый инструмент в сервисе, который вы решили настроить — это Радар. 




Вы перешли на страницу, выбрали Настройки и обнаружили, что в загруженной карте сайта находится 0 страниц. Давайте перейдем по ссылке и узнаем каким образом можно добавить страницы. 

Ссылка ведет на соседнюю страницу, где находится инструмент для работы с Картой сайта. Здесь вы можете сгенерировать или загрузить карту вашего проекта. Используйте генератор карты только в том случае, если система управления вашим сайтом не имеет встроенной возможности создать sitemap.xml с полным набором актуальных страниц, отображающих текущую структуру сайта. Не забывайте поддерживать xml файл созданный подобным образом в актуальном состоянии.

Во всех остальных случаях, убедитесь, что карта вашего сайта sitemap.xml доступна, содержит актуальные данные и приступайте к загрузке. 



Как правило, далее необходимо переходить в настройки Радара, убедиться, что страницы уже находятся в загруженной карте и добавить их для отслеживания.




Теперь давайте разберем ситуацию, когда ваш проект "живой", активно наполняется, разрастается новыми страницами, а вы хотите отслеживать изменения, например, только каких-то значимых разделов.

Начинаются проблемы с настройкой. Новые страницы нужно заново подгружать, то есть обновлять карту сайта. Далее заново идти в настройки Радара, удалять существующие страницы и загружать актуальный список. Много лишних действий, не так ли?

Решение

Обратите внимание, что в настройках Карты сайта появилась опция 'Обновлять карту сайта из файла по расписанию'.



Установите флажок, укажите правильный путь к карте сайта вашего проекта и нажмите Ввод. Далее необходимо выбрать дни месяца (один, несколько или все), установить время и способ уведомления: Информер или Email.




Как поведет себя Робот? В зависимости от установленного расписания, Робот будет проверять карту сайта и сообщать вам на Email о том, что, например, в карте сайта добавилось или, наоборот, убавилось N страниц.

А теперь самое интересное. Ниже находятся дополнительные настройки трех смежных инструментов, которые используют карту сайта в качестве одного из источников страниц для проверки или отслеживания изменений.



Как это работает?

Выберите инструмент (в нашем случае выбран Радар) и установите флажок 'Обновлять страницы Радара'. По умолчанию Робот проверяет наличие любых новых страниц в карте сайта, поэтому в качестве Маски обновления установлен '/' (корневая директория обозначается символом 'слеш'). Но вы также можете установить в качестве Маски обновления несколько директорий вашего сайта. Например, это могут быть товарные категории или любые другие категории для отслеживания.



Не забудьте указать максимальное количество страниц, о котором может узнать Радар. Никто не застрахован от технических сбоев, и мы не хотим, чтобы ошибки (например, в карту сайта добавилось сразу 1000 страниц) приводили к не запланированным расходам.

Итог

Любые изменение карты сайта теперь фиксируются, после настройки связанных с картой сайта инструментов данные будут передаваться напрямую в инструмент.

Еще одну рутинную операцию передали Роботу. Протестировано — работает! 

Полезные ссылки

XML карта сайта - https://topvisor.ru/support/audit/sitemap/
Проверка индексации - https://topvisor.ru/support/audit/indexed/


Комментариев нет: