- Почему у вас должен быть файл robots.txt в WordPress?
- Как создать файл robots.txt для WordPress
- Основной файл robots.txt для WordPress
- CSS и JS файлы
- выводы
Чтобы говорить о SEO, нужно неизбежно говорить о robots.txt в WordPress и о роли, которую этот файл играет в политике контроля доступа к индексации сайта ботами поисковых систем.
Этот файл помогает нам блокировать или авторизовать роботов поисковых систем, которые индексируют и отслеживают важную часть нашего блога. Хотя иногда неправильно настроенный файл robots.txt может привести к потере проиндексированного содержимого блога с последующей потерей позиций.
Оптимизация файла robots.txt очень важна и вносить изменения правильно - это путь к хорошей индексации ботами, которые выполняют эти задачи, если вы хотите присутствовать, не усложняйте!
В других статьях блога я говорил вам о robotx.txt в WordPress и как заблокировать нежелательных ботов, если вы заинтересованы посмотреть.
Существует довольно много недоразумений относительно индексации и неиндексации контента, и я постараюсь подчеркнуть важность файла robots.txt в WordPress, чтобы сделать его как можно более понятным.
Файл robots.txt в текстовом формате локализуется или создается (если он не существует) в корневой папке вашего веб-сайта (у вас может быть столько веб-сайтов, сколько вы установили в отдельных папках) и может помочь в оптимизации формы. важно вашего сайта.
Большинство разработчиков или пользователей склонны избегать редактирования файла robots.txt, но это не так сложно и не опасно , это не кусается! и любой человек с базовыми знаниями может создавать и редактировать свои файлы управления роботами.
Если на вашем веб-сайте нет файла robots.txt, вы увидите, что вы можете создать его за пару минут, не имея глубоких знаний о среде, я даже покажу вам генератор robots.txt, который вы можете использовать для WordPress.
Почему у вас должен быть файл robots.txt в WordPress?
Файл robots.txt помогает роботам (боты) поисковых систем понять, какие папки и файлы они могут индексировать, а какие нет. Когда индексирующий бот просматривает ваш веб-сайт и хочет проиндексировать его содержимое, в первую очередь он ищет этот файл robots.txt, чтобы знать, чего ожидать, то есть ограничения.
Если вы не нашли файл в вашей установке WordPress, скорее всего, он не существует, и вам придется его создать.
Как создать файл robots.txt для WordPress
Я бы посоветовал вам использовать онлайн-генератор, который позволяет вам делать это более или менее интуитивно или под руководством, таким образом вы гарантируете, что вы получаете в результате ваших собственных показаний.
С небольшими знаниями вы можете получить файл, который послужит основой для дальнейшего использования, если вы хотите добавить другие правила, которые боты должны учитывать.
Основной файл robots.txt для WordPress
Здесь я покажу вам базовую структуру файла robots.txt для WordPress, который может следовать за вами в качестве руководства или элемента управления, который вы уже создали (если он у вас есть): User-Agent: * Disallow: / cgi-bin / Disallow: / wp-admin / Disallow: / archives / Disallow: / wp-content / plugins / Disallow: /readme.html Disallow: / Refer / Disallow: / wp- * Disallow: / comments / feed / Пользовательский агент: Googlebot-Image Allow : / wp-content / uploads / Пользовательский агент: Adsbot-Google Разрешить: / Пользовательский агент: Googlebot-Mobile Разрешить: / Карта сайта: http://www.domain.com/post-sitemap.xml Карта сайта: http: / /www.domain.com/page-sitemap.xml Карта сайта: http://www.domain.com/hosting-sitemap.xml
Хотя не рекомендуется вызывать XML-файлы из карты сайта из файла robots.txt, для этого у вас есть очень хорошие плагины, такие как Yoast SEO, которые позволяют вам независимо вызывать файлы карты сайта без необходимости смешивать чурры с мериносами! ( оффтоп для тех кто не понимает поговорку ) :)
Нажмите на изображение, чтобы перейти к ссылке на плагин
Взгляните на этот файл robots.txt, который я предлагаю, но вы должны помнить, что адаптация его к вашим конкретным потребностям - лучший способ извлечь из этого максимум пользы. Не иметь больше кода должно быть лучше, в конце концов, боты поймут, что они могут и не могут индексировать , точка!
# robots.txt для блога WordPress. # Блокировать или разрешить доступ к вложенному контенту. (Если установка находится в / public_html). User-Agent: * Разрешить: / wp-content / uploads / Disallow: / cgi-bin Disallow: / wp-content / plugins / Disallow: / wp-content / themes / Disallow: / wp-includes / Disallow: / wp- admin / # Desindexar папки, которые начинаются с wp- Disallow: / wp- # Разрешить карту сайта, но не поиск. Карта сайта: http: //tu-web/sitemap.xml Disallow: /? S = Disallow: / search # Разрешить общий канал для Google Blogsearch. # Не допускайте индексации / постоянной ссылки / канала /, поскольку канал комментариев обычно располагается перед сообщениями. # Запретить URL-адреса, оканчивающиеся на / trackback /, которые служат в качестве Trackback URI (дублированный контент). Разрешить: / feed / $ Disallow: / feed Disallow: / comments / feed Disallow: / * / feed / $ Disallow: / * / feed / rss / $ Disallow: / * / trackback / $ Disallow: / * / * / feed / $ Disallow: / * / * / feed / rss / $ Disallow: / * / * / trackback / $ Disallow: / * / * / * / feed / $ Disallow: / * / * / * / feed / rss / $ Disallow: / * / * / * / trackback / $ # Избегайте блокировок CSS и JS. Разрешить: /*.js$ Разрешить: /*.css$ # Список ботов, которые вы должны разрешить. User-agent: Googlebot-Image Allow: / wp-content / uploads / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: / # Список ботов, которые генерируют оскорбительные запросы, даже если они следуют рекомендациям файла robots.txt User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # Slurp ( Yahoo!), Noxtrum и бот MSN, которые обычно генерируют чрезмерные запросы. Агент пользователя: noxtrumbot Задержка сканирования: 50 Агент пользователя: msnbot Задержка сканирования: 30 Агент пользователя: Задержка сканирования: 10
Будьте осторожны с задержкой сканирования, если вы установили высокое время, Google может не понравиться и отразить его в тестере robots.txt консоли поиска Google .
CSS и JS файлы
Некоторое время назад Google прекратил фокусироваться только на HTML-файлах, пропуская другие типы файлов, и некоторое время в этой части (эра 'Panda 4', которая началась примерно в мае 2014 года) уделяют пристальное внимание каскадным файлам стилей или CSS и файлы javascritp или JS .
Если в вашем файле robots.txt вы заблокируете доступ ботов Google к файлам CSS или JavaScript, Google предупредит вас об этом с помощью инструментов для веб-мастеров, которые теперь называются Консоль поиска Google (ранее Инструменты для веб-мастеров Google).
В консоли поиска Google вы можете проверить, выполняете ли вы этот блок, в опции Crawl , robots.txt Tester.
Следующим шагом является проверка в WordPress того, что вы не блокируете индексацию содержимого для ботов. Это подтверждается на панели инструментов WordPress, Настройки , Чтение , где написано Видимость для поисковых систем .
Также проверьте в консоли поиска Google « Отслеживание» , « Отслеживание ошибок» , где в идеале результат будет следующим.
Вы должны обратить пристальное внимание на этот экран при изменении файла robots.txt, поскольку через несколько часов после внесения изменений в файл, если они не были корректными или ожидаемыми роботами Google, вы можете найти список ошибок, которые вам придется решите, не хотите ли вы повредить индексацию вашего контента и, следовательно, позиционирование.
И в завершение этих проверок проверьте, загружается ли ваш файл robots.txt в Crawl , robots.txt Tester.
выводы
В WordPress, обращая внимание на новые правила, установленные Google для индексации контента, лучше не блокировать доступ к wp-включениям и, в частности, к плагинам .
Если вы хотите ладить с Google, и ваше позиционирование не выглядит обиженным, избегайте штрафов за ошибки доступа ботов к вашему сайту, хорошо управляйте файлом robots.txt, и все пойдет лучше.
Знаете ли вы, что существует также файл humans.txt, который вы можете использовать на своих сайтах? ... но это еще одна история для другой статьи в этом блоге, которую я надеюсь рассказать вам однажды. :)
Похожие
Почему SEO копирайтинг невероятно важенПОЧЕМУ SEO КОПИРИТИРОВАНИЕ ОЧЕНЬ ВАЖНО Поисковая оптимизация или «Поисковая оптимизация», или просто SEO, - это набор методов, которые заканчиваются в верхней части списка результатов поисковых сайтов, таких как Google, Yahoo или Bing. Это бесплатная запись в списке результатов, поскольку она относится к поисковым терминам (ключевым словам), которые кто-то использует в контенте Почему у пилота на пилоте не может быть единственного шрама?
... вас есть шрам на теле, не беспокойтесь о полете. Если это затронуто, это только заставит шрам порваться и не быть опасным для жизни. Кроме того, этот показатель инцидентов очень маленький. Пока пилот быстро опускает самолет, инцидент не вызовет слишком больших последствий. Однако, для пилотов, наоборот, в этот раз они должны сосредоточиться на том, чтобы справляться с лучшими, когда происходит инцидент, поэтому им самим не позволено произойти. Как местный SEO заменил желтые страницы
Таким образом, для большинства из нас ясно, что желтые страницы становятся все более SEO плагины: что лучше для WordPress?
... txt и .htaccess Контролируйте и индексируйте свой блог Если вы все еще используете плагин ALLIn One SEO, пришло время заменить или перейти на плагин Yoast's WordPress SEO. Этот плагин объединяет функции самых популярных плагинов, таких как Robots meta и RSS footer. Вы можете сделать скачать бесплатный плагин здесь , Посмотрите видео ниже, объясняющее шаг за шагом, как настроить плагин Yoast. Видео SEO для WordPress Pagination (несколько страниц / постов)
Введение. Изначально поддержка SEO (поисковой оптимизации) WordPress оставляет желать лучшего. С помощью WordPress SEO, такого как Yoast WordPress SEO, веб-сайт WordPress можно настроить так, чтобы он работал в удобной для поисковых систем форме. Однако для разбиения на страницы WordPress требуется пользовательская настройка, чтобы избежать дублирования Как SEO обучение может помочь вашему бизнесу
Если ваша компания заинтересована в обучающих семинарах по поисковой оптимизации (SEO) или семинарах по управлению Как правильно использовать атрибут TITLE для ссылки
Использование атрибутов TITLE ссылки стало более популярным с появлением таких широко используемых скриптов, как WordPress, который по умолчанию дублирует ссылку на заголовок сообщения в своем атрибуте TITLE. Тем не менее, несмотря на то, что этот метод использования атрибута TITLE является обычным поведением, он является неправильным и раздражающим. Название не должно быть дублированием якорного текста (связанный пост: 5 плагинов WordPress SEO, которые вы не можете пропустить
В очень информативной встрече WordPress прошлой ночью в De Fabriek в Девентере укусила Роя Хьюискеса ( Chapter42 Пик Он очень Как отзывы клиентов могут улучшить вашу SEO
Отзывы клиентов на вашем сайте могут быть мощным инструментом. Они могут существенно повлиять на коэффициент конверсии вашего сайта и - при правильной реализации - на ваш рейтинг кликов на страницах результатов поиска (SERP). Тысячи раз в день люди полагаются Основы SEO: внутренние ссылки как фактор ранжирования
Внешние и внутренние ссылки, наряду со многими другими факторами, играют ключевую роль в поисковой оптимизации . Создание полезной структуры внешних ссылок требует больших усилий, времени и усилий. Напротив, работа с внутренними ссылками управляема. В чем именно разница между обоими типами ссылок, иллюстрирует этот график Sistrix : Как использовать Alt-теги для повышения SEO с Pinterest
... wordpress-website/"> закрепить кнопку на вашем сайте, чтобы им было легко нажимать эту важную кнопку. Но подождите ... они нажимают «Прикрепить это», и это то, что они видят .. ОК ... так что я мог бы ввести это описание вручную, чтобы доказать свою точку зрения. Когда кто-либо прикрепляет изображение с вашего веб-сайта, Pinterest просматривает alt-тег вашего
Комментарии
Теперь, когда у вас есть лучшее представление о том, как входящий маркетинг может функционировать как ваша стратегия внешних ссылок для SEO, как вы планируете реализовать эту теорию на практике?Теперь, когда у вас есть лучшее представление о том, как входящий маркетинг может функционировать как ваша стратегия внешних ссылок для SEO, как вы планируете реализовать эту теорию на практике? Каков ваш опыт работы с входящим маркетингом и что еще вы хотели узнать об этом? Дайте нам знать в разделе комментариев ниже! источники «Отношения между SEO и входящим маркетингом» ( Как SMB, как вы начинаете с SEO?
Как SMB, как вы начинаете с SEO? Начни здесь. Требовать все Будучи маленькой рыбкой в большом пруду, вы должны бороться за каждый листинг, за каждый авторитет и за любой шанс, который вы должны получить перед вашей аудиторией. Это может быть довольно пугающим. Избавьтесь от этого страха, топая в Интернете и создавая свое присутствие. Сейчас. Требуйте каждый листинг, каждый профиль и ничего не оставляйте на столе. Этот список поможет вам начать: Кроме того, почему, черт возьми, я должен обслуживать MSNbot, Slurp или Googlebot заголовок HTTP, адресованный SEOmoz?
Кроме того, почему, черт возьми, я должен обслуживать MSNbot, Slurp или Googlebot заголовок HTTP, адресованный SEOmoz? Это может поставить под угрозу видимость моей поисковой системы. Если бы они ползали сами, предоставив своему пользовательскому агенту X-Robots-Tag «noindex» и 403, можно было бы выполнить, по крайней мере, когда они платят за мои усилия. С их текущей настройкой это технически невозможно. Они могли бы переключиться на 80legs.com Вы задаетесь вопросом, почему другие сайты занимают от 1 до 10 мест на странице результатов поисковой системы Google (SERP), в то время как у вас число от 40 до 50?
Вы задаетесь вопросом, почему другие сайты занимают от 1 до 10 мест на странице результатов поисковой системы Google (SERP), в то время как у вас число от 40 до 50? SEO SpyGlass расскажет вам, почему. Мгновенно. Дело в том, что в этих главных местах в поисковой выдаче есть 10 сайтов, и каждый из них определил, как туда добраться. Если вы хотите одну из этих позиций, вы должны сделать две вещи: 1. Вы должны выяснить SEO стратегии, которые используют Должен ли SEO быть дорогим, чтобы быть хорошим?
Должен ли SEO быть дорогим, чтобы быть хорошим? Вовсе нет. Есть, конечно, и выгодные предложения, которые приводят к желаемым результатам. Тем не менее, обычно это веб-сайты, которые меньше по размеру и работают в нише с небольшой конкуренцией. В принципе следует обратить внимание на репутацию оферента и его SEO предложения. Авторитетные провайдеры характеризуются среди прочего следующими критериями: SEO цены рассчитываются индивидуально, Многие люди задают вопрос «Как долго должен быть мой контент?
Многие люди задают вопрос «Как долго должен быть мой контент?» На этот вопрос нет однозначного ответа; однако большинство людей говорят, что 500 слов - это хорошая минимальная длина для обычного блога. Смешивание в более длинных должностях власти - превосходная идея. Исследования показали, что более длинные сообщения (более 1000 слов) имеют тенденцию занимать более высокие места. Помните, что Google любит посты с авторитетом, посты с более чем 2000 слов. (К вашему сведению: этот пост Что это значит для вас, как начинающий SEO?
Что это значит для вас, как начинающий SEO? Во-первых, проявлять осторожность в используя методы и приемы SEO, которые возникли до этих обновлений , потому что они могут нарушать ожидания Google. Во-вторых, сосредоточьтесь на повторяющихся темах в обновлениях Google - публикуйте качественную информацию и подчеркивайте удобство работы . Теперь, У вас может быть самый красивый дизайн сайта в мире, но что толку от этого, если никто не может его найти?
У вас может быть самый красивый дизайн сайта в мире, но что толку от этого, если никто не может его найти? Взгляните на некоторые сайты Clickbank и все шаблоны сайтов Click Funnel, которые используют маркетологи. Это не самые красивые сайты, но они приносят миллионы долларов продаж. Это реальность - дизайн сам по себе ничего не значит, когда речь идет о трафике и продажах. Когда у вас есть новый веб-сайт (и новый домен), у вас есть пустой холст и новый старт, когда дело Может быть, вы подумаете, а как насчет входящих ссылок?
Может быть, вы подумаете, а как насчет входящих ссылок? Да, они тоже важны. Но если вы хотите позиционировать себя по определенным ключевым словам, вам нужен SEO на странице. Хорошая работа в этом аспекте жизненно важна. Следуйте этому контрольному списку, и вы будете на пути к успеху. Контрольный список для оптимизации SEO на странице Создать хороший контент Содержание страницы - это то, что делает ее достойной хорошей позиции в результатах Мало того, что вы хотите создавать свой контент для себя, но вы хотите, чтобы как можно больше людей посещали ваш сайт, но у вас еще нет долгого охвата?
Мало того, что вы хотите создавать свой контент для себя, но вы хотите, чтобы как можно больше людей посещали ваш сайт, но у вас еще нет долгого охвата? Вы часами исследуете и прилагаете много усилий при написании своих постов, только чтобы в итоге выяснить, что они не читаются и что ваш сайт в Google в любом случае на первых 10 страницах не отображается? Поисковая оптимизация, называемая для краткости SEO, может стать вашим ключом к успеху на ваших сайтах. Поисковая оптимизация Что это значит для вас как владельца бизнеса?
Что это значит для вас как владельца бизнеса? Мир движется к Интернету - именно в сети вы найдете клиентов, получателей вашего бренда. Прямо сейчас вы должны инвестировать деньги в создание веб-сайта компании и позиционирование сайта в поиске Google. Определите, что такое позиционирование сайтов? Концепция позиционирования страницы связана с поисковой системой Google. Каждый бизнес может быть описан с помощью ключевых слов. Люди вводят разные слова в поисковик. Дети гуглят
Txt в WordPress?
Txt в WordPress?
Xml Disallow: /?
Txt, который вы можете использовать на своих сайтах?
Теперь, когда у вас есть лучшее представление о том, как входящий маркетинг может функционировать как ваша стратегия внешних ссылок для SEO, как вы планируете реализовать эту теорию на практике?
Каков ваш опыт работы с входящим маркетингом и что еще вы хотели узнать об этом?
Вы задаетесь вопросом, почему другие сайты занимают от 1 до 10 мест на странице результатов поисковой системы Google (SERP), в то время как у вас число от 40 до 50?
Должен ли SEO быть дорогим, чтобы быть хорошим?
Многие люди задают вопрос «Как долго должен быть мой контент?
Что это значит для вас, как начинающий SEO?