Необходимость открыть оффшорный счет за границей, рано или поздно становится актуальной темой для любого развивающегося бизнеса. Но почему именно за границей, ведь на территории вашей страны имеется
По функциональным характеристикам банковские карточки делятся на кредитные и дебетовые. Кредитная карточка позволяет ее владельцу получать определенный кредит при оплате товаров или услуг, стоимость которых
Флешка в виде визитки- недорогой, но полезный промо сувенир. Она представляет собой usb flash накопитель в форме кредитной карты, как правило с нанесением логотипа.
В процессе разработки сайта выстраивается цепочка из людей, которые отвечают за определенные этапы его создания. Но мало кто знает, чем на самом деле занимается его «сосед по парте». В создании сайта
На сегодняшний день современные люди все чаще стали обращать внимание на дома из дерева. В основном большой популярностью пользуется дом из профилированного бруса. Так как он имеет небольшие размеры,
Еще как подобрать стиль одежды для себя? Сделать это можно, регулярно просматривая каталоги и лук-буки с коллекциями модельеров и дизайнеров. При этом не стоит забывать учитывать свои индивидуальные особенности
Рак, пожалуй, одно из самых страшных заболеваний человечества. Причём страшное сразу во многих смыслах: слово «рак» часто звучит как смертный приговор, и никакое другое заболевание не вызывает столько
- Почему у вас должен быть файл robots.txt в WordPress?
- Как создать файл robots.txt для WordPress
- Основной файл robots.txt для WordPress
- CSS и JS файлы
- выводы
Чтобы говорить о SEO, нужно неизбежно говорить о robots.txt в WordPress и о роли, которую этот файл играет в политике контроля доступа к индексации сайта ботами поисковых систем.
Этот файл помогает нам блокировать или авторизовать роботов поисковых систем, которые индексируют и отслеживают важную часть нашего блога. Хотя иногда неправильно настроенный файл robots.txt может привести к потере проиндексированного содержимого блога с последующей потерей позиций.
Оптимизация файла robots.txt очень важна и вносить изменения правильно - это путь к хорошей индексации ботами, которые выполняют эти задачи, если вы хотите присутствовать, не усложняйте!
В других статьях блога я говорил вам о robotx.txt в WordPress и как заблокировать нежелательных ботов, если вы заинтересованы посмотреть.
Существует довольно много недоразумений относительно индексации и неиндексации контента, и я постараюсь подчеркнуть важность файла robots.txt в WordPress, чтобы сделать его как можно более понятным.
Файл robots.txt в текстовом формате локализуется или создается (если он не существует) в корневой папке вашего веб-сайта (у вас может быть столько веб-сайтов, сколько вы установили в отдельных папках) и может помочь в оптимизации формы. важно вашего сайта.
Большинство разработчиков или пользователей склонны избегать редактирования файла robots.txt, но это не так сложно и не опасно , это не кусается! и любой человек с базовыми знаниями может создавать и редактировать свои файлы управления роботами.
Если на вашем веб-сайте нет файла robots.txt, вы увидите, что вы можете создать его за пару минут, не имея глубоких знаний о среде, я даже покажу вам генератор robots.txt, который вы можете использовать для WordPress.
Почему у вас должен быть файл robots.txt в WordPress?
Файл robots.txt помогает роботам (боты) поисковых систем понять, какие папки и файлы они могут индексировать, а какие нет. Когда индексирующий бот просматривает ваш веб-сайт и хочет проиндексировать его содержимое, в первую очередь он ищет этот файл robots.txt, чтобы знать, чего ожидать, то есть ограничения.
Если вы не нашли файл в вашей установке WordPress, скорее всего, он не существует, и вам придется его создать.
Как создать файл robots.txt для WordPress
Я бы посоветовал вам использовать онлайн-генератор, который позволяет вам делать это более или менее интуитивно или под руководством, таким образом вы гарантируете, что вы получаете в результате ваших собственных показаний.
С небольшими знаниями вы можете получить файл, который послужит основой для дальнейшего использования, если вы хотите добавить другие правила, которые боты должны учитывать.
Основной файл robots.txt для WordPress
Здесь я покажу вам базовую структуру файла robots.txt для WordPress, который может следовать за вами в качестве руководства или элемента управления, который вы уже создали (если он у вас есть): User-Agent: * Disallow: / cgi-bin / Disallow: / wp-admin / Disallow: / archives / Disallow: / wp-content / plugins / Disallow: /readme.html Disallow: / Refer / Disallow: / wp- * Disallow: / comments / feed / Пользовательский агент: Googlebot-Image Allow : / wp-content / uploads / Пользовательский агент: Adsbot-Google Разрешить: / Пользовательский агент: Googlebot-Mobile Разрешить: / Карта сайта: http://www.domain.com/post-sitemap.xml Карта сайта: http: / /www.domain.com/page-sitemap.xml Карта сайта: http://www.domain.com/hosting-sitemap.xml
Хотя не рекомендуется вызывать XML-файлы из карты сайта из файла robots.txt, для этого у вас есть очень хорошие плагины, такие как Yoast SEO, которые позволяют вам независимо вызывать файлы карты сайта без необходимости смешивать чурры с мериносами! ( оффтоп для тех кто не понимает поговорку ) :)
Нажмите на изображение, чтобы перейти к ссылке на плагин
Взгляните на этот файл robots.txt, который я предлагаю, но вы должны помнить, что адаптация его к вашим конкретным потребностям - лучший способ извлечь из этого максимум пользы. Не иметь больше кода должно быть лучше, в конце концов, боты поймут, что они могут и не могут индексировать , точка!
# robots.txt для блога WordPress. # Блокировать или разрешить доступ к вложенному контенту. (Если установка находится в / public_html). User-Agent: * Разрешить: / wp-content / uploads / Disallow: / cgi-bin Disallow: / wp-content / plugins / Disallow: / wp-content / themes / Disallow: / wp-includes / Disallow: / wp- admin / # Desindexar папки, которые начинаются с wp- Disallow: / wp- # Разрешить карту сайта, но не поиск. Карта сайта: http: //tu-web/sitemap.xml Disallow: /? S = Disallow: / search # Разрешить общий канал для Google Blogsearch. # Не допускайте индексации / постоянной ссылки / канала /, поскольку канал комментариев обычно располагается перед сообщениями. # Запретить URL-адреса, оканчивающиеся на / trackback /, которые служат в качестве Trackback URI (дублированный контент). Разрешить: / feed / $ Disallow: / feed Disallow: / comments / feed Disallow: / * / feed / $ Disallow: / * / feed / rss / $ Disallow: / * / trackback / $ Disallow: / * / * / feed / $ Disallow: / * / * / feed / rss / $ Disallow: / * / * / trackback / $ Disallow: / * / * / * / feed / $ Disallow: / * / * / * / feed / rss / $ Disallow: / * / * / * / trackback / $ # Избегайте блокировок CSS и JS. Разрешить: /*.js$ Разрешить: /*.css$ # Список ботов, которые вы должны разрешить. User-agent: Googlebot-Image Allow: / wp-content / uploads / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: / # Список ботов, которые генерируют оскорбительные запросы, даже если они следуют рекомендациям файла robots.txt User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # Slurp ( Yahoo!), Noxtrum и бот MSN, которые обычно генерируют чрезмерные запросы. Агент пользователя: noxtrumbot Задержка сканирования: 50 Агент пользователя: msnbot Задержка сканирования: 30 Агент пользователя: Задержка сканирования: 10
Будьте осторожны с задержкой сканирования, если вы установили высокое время, Google может не понравиться и отразить его в тестере robots.txt консоли поиска Google .
CSS и JS файлы
Некоторое время назад Google прекратил фокусироваться только на HTML-файлах, пропуская другие типы файлов, и некоторое время в этой части (эра 'Panda 4', которая началась примерно в мае 2014 года) уделяют пристальное внимание каскадным файлам стилей или CSS и файлы javascritp или JS .
Если в вашем файле robots.txt вы заблокируете доступ ботов Google к файлам CSS или JavaScript, Google предупредит вас об этом с помощью инструментов для веб-мастеров, которые теперь называются Консоль поиска Google (ранее Инструменты для веб-мастеров Google).
В консоли поиска Google вы можете проверить, выполняете ли вы этот блок, в опции Crawl , robots.txt Tester.
Следующим шагом является проверка в WordPress того, что вы не блокируете индексацию содержимого для ботов. Это подтверждается на панели инструментов WordPress, Настройки , Чтение , где написано Видимость для поисковых систем .
Также проверьте в консоли поиска Google « Отслеживание» , « Отслеживание ошибок» , где в идеале результат будет следующим.
Вы должны обратить пристальное внимание на этот экран при изменении файла robots.txt, поскольку через несколько часов после внесения изменений в файл, если они не были корректными или ожидаемыми роботами Google, вы можете найти список ошибок, которые вам придется решите, не хотите ли вы повредить индексацию вашего контента и, следовательно, позиционирование.
И в завершение этих проверок проверьте, загружается ли ваш файл robots.txt в Crawl , robots.txt Tester.
выводы
В WordPress, обращая внимание на новые правила, установленные Google для индексации контента, лучше не блокировать доступ к wp-включениям и, в частности, к плагинам .
Если вы хотите ладить с Google, и ваше позиционирование не выглядит обиженным, избегайте штрафов за ошибки доступа ботов к вашему сайту, хорошо управляйте файлом robots.txt, и все пойдет лучше.
Знаете ли вы, что существует также файл humans.txt, который вы можете использовать на своих сайтах? ... но это еще одна история для другой статьи в этом блоге, которую я надеюсь рассказать вам однажды. :)