Оновлений стандарт генерації файлу robots.txt

04 лютого 2021 р.

У файл robots.txt тепер додано дві нові директиви:

Ці директиви задають основний домен сайту, а також розташування файлу sitemap.xml. 

На наших сайтах sitemap.xml завжди розміщений в стандартному місці, де і повинен бути - в корені сайту. Додатково ми передаємо sitemap.xml в Google при запуску сайту в рамках процедури "Базове просування". Крім цього, при підключенні Search Console ми обов'язково реєструємо sitemap.xml в Search Console. Останнє здається надмірним, але може стати в нагоді для випадків аварій індексу Google, щоб прискорити відновлення сайту.

Що стосується основного домену сайту, то ми даємо пошуковим системам інформацію про основний домен одразу двома способами: тегом <BASE>, а також через CANONICAL.

З урахуванням вище сказаного, ми переконані, що для сайтів, створених за нашою технологією, додавання згаданих директив в robots.txt не має ніякого стратегічного значення і є зайвим.

Однак, на ринку присутня величезна кількість розробників сайтів з різним рівнем кваліфікації та різної етикою. Всі хочуть продавати, і багато хто готовий продавати шляхом знецінення і критики чужих робіт. Чимало з них брешуть не спеціально, а через недостатню кваліфікацію і нерозуміння всієї технології, а також через відсутність мети об'єктивно оцінити ситуацію, а лише прагнучи  заманити клієнта.

Оскільки наші Клієнти отримували від таких розробників звернення і неправдиву інформацію про нібито помилки і недоліки їх сайту, то ми вважали правильним захистити наших клієнтів і себе від подібного знецінення і втрат. Зробивши таке доопрацювання, ми не вирішили якусь технічну проблему. Але таким чином сайти клієнтів менше піддаватимуться невиправданій критиці, клієнти не витрачатимуть свій і наш час на з'ясування даного питання, чи, що ще гірше, свої гроші на те, щоб переробити сайт у подібного некомпетентного або нечесного розробника.

Переконатися в тому, що Google правильно індексує сайт, дуже легко і для цього не потрібно досліджувати сам сайт. Потрібно лише дати запит на інформацію в самій системі Google. Це можна зробити, використовуючи команду site: домен. Наприклад: 

У відповідь на такий запит Google видасть список всіх сторінок сайту, про які йому відомо. Зверху буде зазначена загальна кількість відомих Google сторінок. Цю кількість можна звірити з вмістом файла sitemap.xml і одразу ж переконатися, що Google бачить весь сайт, і ніяких проблем з індексацією немає.

А якщо у сайту кілька доменів, то можна вбити інші домени і переконатися, що Google добре розуміє, який з доменів є основним.

Можна "лікувати" кожного і будь-кому продавати всі ліки підряд, навіть не з'ясувавши, чи є такий біль і чи допоможе "лікування". На жаль, на ринку веброзробки та інтернет-маркетингу часто намагаються продати все, що можливо, не оцінивши попередньо потреби в цьому і не визначивши, чи допоможе воно в конкретному випадку.

Це нагадує анекдот:

Старий лікар залишив замість себе сина, який нещодавно закінчив медінститут, і поїхав у відпустку. Повертається, а син йому заявляє: 
- Я тут Павла Мойсейовича вилікував. Ти його тридцять років лікував, а я його - за один місяць! 
- Ідіот! Я на його нирках тебе вивчив, машину купив, дачу побудував ... А ти його ... вилікував !!!

Так, на жаль, буває не лише в медицині. Радьтеся з різними фахівцями. Ми надаємо консультації перважно безкоштовно.

<< Назад