robots.txt в WordPress какая у вас проблема с googlebot?

1. Почему у вас должен быть файл robots.txt в WordPress?
2. Как создать файл robots.txt для WordPress
3. Основной файл robots.txt для WordPress
4. CSS и JS файлы
5. выводы

Чтобы говорить о SEO, нужно неизбежно говорить о robots.txt в WordPress и о роли, которую этот файл играет в политике контроля доступа к индексации сайта ботами поисковых систем.

Этот файл помогает нам блокировать или авторизовать роботов поисковых систем, которые индексируют и отслеживают важную часть нашего блога. Хотя иногда неправильно настроенный файл robots.txt может привести к потере проиндексированного содержимого блога с последующей потерей позиций.

Оптимизация файла robots.txt очень важна и вносить изменения правильно - это путь к хорошей индексации ботами, которые выполняют эти задачи, если вы хотите присутствовать, не усложняйте!

В других статьях блога я говорил вам о robotx.txt в WordPress и как заблокировать нежелательных ботов, если вы заинтересованы посмотреть.

Существует довольно много недоразумений относительно индексации и неиндексации контента, и я постараюсь подчеркнуть важность файла robots.txt в WordPress, чтобы сделать его как можно более понятным.

Файл robots.txt в текстовом формате локализуется или создается (если он не существует) в корневой папке вашего веб-сайта (у вас может быть столько веб-сайтов, сколько вы установили в отдельных папках) и может помочь в оптимизации формы. важно вашего сайта.

Большинство разработчиков или пользователей склонны избегать редактирования файла robots.txt, но это не так сложно и не опасно , это не кусается! и любой человек с базовыми знаниями может создавать и редактировать свои файлы управления роботами.

Если на вашем веб-сайте нет файла robots.txt, вы увидите, что вы можете создать его за пару минут, не имея глубоких знаний о среде, я даже покажу вам генератор robots.txt, который вы можете использовать для WordPress.

Почему у вас должен быть файл robots.txt в WordPress?

Файл robots.txt помогает роботам (боты) поисковых систем понять, какие папки и файлы они могут индексировать, а какие нет. Когда индексирующий бот просматривает ваш веб-сайт и хочет проиндексировать его содержимое, в первую очередь он ищет этот файл robots.txt, чтобы знать, чего ожидать, то есть ограничения.

Если вы не нашли файл в вашей установке WordPress, скорее всего, он не существует, и вам придется его создать.

Как создать файл robots.txt для WordPress

Я бы посоветовал вам использовать онлайн-генератор, который позволяет вам делать это более или менее интуитивно или под руководством, таким образом вы гарантируете, что вы получаете в результате ваших собственных показаний.

С небольшими знаниями вы можете получить файл, который послужит основой для дальнейшего использования, если вы хотите добавить другие правила, которые боты должны учитывать.

Основной файл robots.txt для WordPress

Здесь я покажу вам базовую структуру файла robots.txt для WordPress, который может следовать за вами в качестве руководства или элемента управления, который вы уже создали (если он у вас есть): User-Agent: * Disallow: / cgi-bin / Disallow: / wp-admin / Disallow: / archives / Disallow: / wp-content / plugins / Disallow: /readme.html Disallow: / Refer / Disallow: / wp- * Disallow: / comments / feed / Пользовательский агент: Googlebot-Image Allow : / wp-content / uploads / Пользовательский агент: Adsbot-Google Разрешить: / Пользовательский агент: Googlebot-Mobile Разрешить: / Карта сайта: http://www.domain.com/post-sitemap.xml Карта сайта: http: / /www.domain.com/page-sitemap.xml Карта сайта: http://www.domain.com/hosting-sitemap.xml

Хотя не рекомендуется вызывать XML-файлы из карты сайта из файла robots.txt, для этого у вас есть очень хорошие плагины, такие как Yoast SEO, которые позволяют вам независимо вызывать файлы карты сайта без необходимости смешивать чурры с мериносами! ( оффтоп для тех кто не понимает поговорку ) :)

Нажмите на изображение, чтобы перейти к ссылке на плагин

Взгляните на этот файл robots.txt, который я предлагаю, но вы должны помнить, что адаптация его к вашим конкретным потребностям - лучший способ извлечь из этого максимум пользы. Не иметь больше кода должно быть лучше, в конце концов, боты поймут, что они могут и не могут индексировать , точка!

# robots.txt для блога WordPress. # Блокировать или разрешить доступ к вложенному контенту. (Если установка находится в / public_html). User-Agent: * Разрешить: / wp-content / uploads / Disallow: / cgi-bin Disallow: / wp-content / plugins / Disallow: / wp-content / themes / Disallow: / wp-includes / Disallow: / wp- admin / # Desindexar папки, которые начинаются с wp- Disallow: / wp- # Разрешить карту сайта, но не поиск. Карта сайта: http: //tu-web/sitemap.xml Disallow: /? S = Disallow: / search # Разрешить общий канал для Google Blogsearch. # Не допускайте индексации / постоянной ссылки / канала /, поскольку канал комментариев обычно располагается перед сообщениями. # Запретить URL-адреса, оканчивающиеся на / trackback /, которые служат в качестве Trackback URI (дублированный контент). Разрешить: / feed / $ Disallow: / feed Disallow: / comments / feed Disallow: / * / feed / $ Disallow: / * / feed / rss / $ Disallow: / * / trackback / $ Disallow: / * / * / feed / $ Disallow: / * / * / feed / rss / $ Disallow: / * / * / trackback / $ Disallow: / * / * / * / feed / $ Disallow: / * / * / * / feed / rss / $ Disallow: / * / * / * / trackback / $ # Избегайте блокировок CSS и JS. Разрешить: /*.js$ Разрешить: /*.css$ # Список ботов, которые вы должны разрешить. User-agent: Googlebot-Image Allow: / wp-content / uploads / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: / # Список ботов, которые генерируют оскорбительные запросы, даже если они следуют рекомендациям файла robots.txt User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # Slurp ( Yahoo!), Noxtrum и бот MSN, которые обычно генерируют чрезмерные запросы. Агент пользователя: noxtrumbot Задержка сканирования: 50 Агент пользователя: msnbot Задержка сканирования: 30 Агент пользователя: Задержка сканирования: 10

Будьте осторожны с задержкой сканирования, если вы установили высокое время, Google может не понравиться и отразить его в тестере robots.txt консоли поиска Google .

CSS и JS файлы

Некоторое время назад Google прекратил фокусироваться только на HTML-файлах, пропуская другие типы файлов, и некоторое время в этой части (эра 'Panda 4', которая началась примерно в мае 2014 года) уделяют пристальное внимание каскадным файлам стилей или CSS и файлы javascritp или JS .

Если в вашем файле robots.txt вы заблокируете доступ ботов Google к файлам CSS или JavaScript, Google предупредит вас об этом с помощью инструментов для веб-мастеров, которые теперь называются Консоль поиска Google (ранее Инструменты для веб-мастеров Google).

В консоли поиска Google вы можете проверить, выполняете ли вы этот блок, в опции Crawl , robots.txt Tester.

Следующим шагом является проверка в WordPress того, что вы не блокируете индексацию содержимого для ботов. Это подтверждается на панели инструментов WordPress, Настройки , Чтение , где написано Видимость для поисковых систем .

Также проверьте в консоли поиска Google « Отслеживание» , « Отслеживание ошибок» , где в идеале результат будет следующим.

Вы должны обратить пристальное внимание на этот экран при изменении файла robots.txt, поскольку через несколько часов после внесения изменений в файл, если они не были корректными или ожидаемыми роботами Google, вы можете найти список ошибок, которые вам придется решите, не хотите ли вы повредить индексацию вашего контента и, следовательно, позиционирование.

И в завершение этих проверок проверьте, загружается ли ваш файл robots.txt в Crawl , robots.txt Tester.

выводы

В WordPress, обращая внимание на новые правила, установленные Google для индексации контента, лучше не блокировать доступ к wp-включениям и, в частности, к плагинам .

Если вы хотите ладить с Google, и ваше позиционирование не выглядит обиженным, избегайте штрафов за ошибки доступа ботов к вашему сайту, хорошо управляйте файлом robots.txt, и все пойдет лучше.

Знаете ли вы, что существует также файл humans.txt, который вы можете использовать на своих сайтах? ... но это еще одна история для другой статьи в этом блоге, которую я надеюсь рассказать вам однажды. :)