Web-разработкаWordpress

Создание и настройка robots.txt для WordPress

При создании сайта реализуя движок WordPress, первое, о чем стоит подумать, и реализовать в механизме данной платформы, создание и настройку robots.txt. Все это необходимо для удачного продвижения вашего сайта в поисковых системах. Ведь именно в первые дни появления он начинает сканироваться поисковыми роботами. И не факт, что он будет интересен поисковикам без внедрения, и правильной настройки robots.txt.

Чем интересен движок Word Press для успешной работы в виртуальном пространстве? Своей простотой и надежностью. Стабильность работы – главная черта данной платформы. Robots.txt для WordPress дает стабильность индексирования созданного материала на сайте. А это необходимое условие для стабильного продвижения в поисковых системах. Причем, что самое интересное, есть вероятность скрыть от поисковиков информацию, которую не желательно выносить для последующей поисковой индексации. Дублирование контента довольно часто происходит без внедрения robots.txt, за что поисковые системы довольно строго наказывают сайты.

Создание robots.txt абсолютно не обременительное занятие. Несколько усилий, и файл готов для его последующей установки в корневую директорию сайта. Все, что от вас потребуется, обычный текстовый блокнот, который установлен на любом компьютере. Пример файла robots.txt для движка WordPress:

 

Хотелось бы сразу оговориться, что у многих вебмастеров robots.txt для сайта выглядит порой иным способом. Но это во многом зависит от различных особенностей созданного информационного контента (допустим, наличия аудио- и видеозаписей на страницах сайте). Все это вы в состоянии внедрить, при дальнейшем функциональном расширении своего ресурса.

Давайте коротко остановиться на записях в директиве созданного robots.txt. Наличие записи User-agent говорит о содержании поискового робота. Причем присутствие в обозначении символа звездочки «*», говорит о сканировании необходимого материала всеми поисковыми роботами. То есть User-agent: *

Созданная директива Crawl-delay дает возможность задать определенный промежуток времени поисковым роботам для просмотра страниц с вашего сервера. Однако, при особой загруженности сервера данная запись необходима. Именно она задает определенный промежуток времени в секундах, при переходе от одной просканированной страницы к следующей.

Директива Disallow дает указания поисковому роботу, что сканировать в процессе индексации, а что пропустить на созданных страницах. Количество данной записи Disallow не имеет ограничений. И уже вам решать, какая часть созданного контента подлежит индексации, а какая должна проскочить мимо поискового робота. Размещенная скобочка в данной записи «/» говорит о необходимой индексации созданного файла: Disallow: /cgi-bin. Запрет индексации задается при наличии файла в скобках с обеих сторон: Disallow: /cgi-bin/

Запись Host дает систематизацию созданного зеркала сайта. Ваш сайт будет правильно распознаваться поисковыми системами, что необходимо для результативного продвижения. Обычно данная запись ставится в конце созданного robots.txt. после директивы Disallow

Директива Sitemap даст возможность найти ваш сайт, и просканировать имеющуюся информацию. Вы задаете необходимый путь для последующей индексации поисковиками вашего контента.

Как видите, создание robots.txt – задача не обременительная, но необходимая, для удачной индексации вашего ресурса. Настройка robots.txt задает начальный и последующий подъем, как необходимой индексации материала, так и дальнейшей поисковой выдачи сайта

Читайте также:  Robots.txt и .htaccess - что это такое?
Теги

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *