Обновлён стандарт генерации файла robots.txt

04 февраля 2021 г.

В файл robots.txt теперь добавлены две новые директивы:

Эти директивы задают основной домен сайта, а также расположение файла sitemap.xml.

На наших сайтах sitemap.xml всегда размещён в стандартном месте, где и должен быть - в корне сайта. Дополнительно мы передаём sitemap.xml в Google при запуске сайта в рамках процедуры "Базовое продвижение". И ещё, при подключении Search Console, мы обязательно регистрируем sitemap.xml в Search Console. Последнее кажется избыточным, но может пригодиться для случаев аварий индекса Google, чтобы ускорить восстановление сайта.

Что касается основного домена сайта, то мы даём поисковым системам информацию об основном домене сразу двумя способами: тегом <BASE>, а также через CANONICAL.

С учётом написанного, мы убеждены, что для сайтов, созданных по нашей технологии, добавление упомянутых директив в robots.txt не имеет никакого технического значения и является лишним.

Однако на рынке присутствует огромное количество разработчиков сайтов с разным уровнем квалификации и разной этикой. Все хотят продавать и многие готовы продавать путём обесценивания и критики чужих работ. Многие врут не специально, а из-за недостаточной квалификации и не понимая всей технологии, а также не имея цели объективно оценить ситуацию, а стремясь лишь заманить клиента.

Так, поскольку наши Клиенты получают обращения от таких разработчиков и получают ложную информацию о якобы ошибках и недостатках их сайта, то мы сочли правильным защитить наших клиентов и себя от подобного обесценивания и потерь. Сделав подобную доработку, мы не решаем какую-либо техническую проблему. Но сайты клиентов будут меньше подвергаться неоправданной критике, клиенты не будут тратить своё и наше время на прояснение данного вопроса, или, что ещё хуже, свои деньги на то, чтобы переделать сайт у подобного не компетентного или не честного разработчика.

Убедиться в том, что Google правильно индексирует сайт очень легко и для этого не нужно исследовать сам сайт. Нужно лишь запросить информацию в самой системе Google. Это можно сделать, используя команду site:домен. Например:

В ответ на такой запрос Google выдаст список всех страниц сайта, о которых ему известно. В самом верху будет указано общее количество известных Google страниц. Это количество можно сверить с содержимым файла sitemap.xml и сразу же убедиться, что Google видит весь сайт и никаких проблем с индексацией нет.

А если у сайта несколько доменов, то можно вбить другие домены и убедиться, что Google хорошо понимает, какой из доменов является основным.

Можно "лечить" каждого и каждому продавать все лекарства подряд, даже не оценивая, есть ли болезнь и поможет ли "лечение". К сожалению, на рынке веб-разработки и интернет-маркетинга часто пытаются продать всё, что возможно, не оценив предварительно, нужно ли это вообще и поможет ли это в конкретном случае.

Это напоминает анекдот:

Старый доктор оставил вместо себя сына, недавно окончившего мединститут, и уехал в отпуск. Возвращается, а сын ему заявляет:
- Я тут Павла Моисеевича вылечил. Ты его тридцать лет лечил, а я его - за один месяц!
- Идиот! Я на его почках тебя выучил, машину купил, дачу построил... А ты его... вылечил!!!

Так бывает не только в медицине. Советуйтесь с разными специалистами. Мы предоставляем консультации в большинстве случаев бесплатно.

<< Назад