Все заказывают пластиковые карты у нас
Сравнить цены закажите просчет заказа в компании
«Пластикана»
Онлайн заказ или звоните по телефону
+7 (495) 229-43-70

Новости

Как Majestic и LinkScape получают свои необработанные данные?

Плачет ли ваш встроенный детектор хулиганства в агонии, когда вы читаете объявления об инструментах анализа ссылок, утверждающих, что сканировали веб-страницы в триллионах Плачет ли ваш встроенный детектор хулиганства в агонии, когда вы читаете объявления об инструментах анализа ссылок, утверждающих, что сканировали веб-страницы в триллионах? Может ли крошечный SEO-магазин или удаленная поисковая система на ранних стадиях, работающая на бесплатном оборудовании, построить индекс такого размера? Google потребовалось десять лет, чтобы достичь этих показателей, и одна только команда веб-спама Google превосходит численность персонала SEOmoz а также величавый , не говоря об инфраструктуре.

Ну, это не так тенисто, как вы могли бы подумать, хотя в этом есть серьезное хвастовство и хулиганство.

Прежде всего, и SEOmoz, и Majestic не владеют индексированной копией Интернета. Они обрабатывают разметку только для извлечения гиперссылок. Это означает, что они анализируют веб-ресурсы, в основном HTML-страницы, для хранения данных о связях. Как только каждая ссылка и ее атрибуты (значения HREF и REL, текст привязки и т. Д.) Сохраняются под URI веб-страницы, разметка отбрасывается. Вот почему вы не можете искать эти индексы по ключевым словам. Нет полнотекстового индекса, необходимого для вычисления графов ссылок.

Требования к хранилищу для графа ссылок в Интернете намного меньше, чем для полнотекстового индекса, который приходится обрабатывать основным поисковым системам Требования к хранилищу для графа ссылок в Интернете намного меньше, чем для полнотекстового индекса, который приходится обрабатывать основным поисковым системам. Другими словами, это правдоподобно.

Величественно ясно описывает этот процесс, и открыто говорит, что они индексировать только ссылки ,

С SEOmoz это совсем другая история. Они запутывают информацию о технологии, стоящей за LinkScape, до уровня, который можно охарактеризовать как почти змеиный жир. Конечно, можно утверждать, что они могут быть совершенно невежественны, но я этого не покупаю. Вы не можете создать такой инструмент, как LinkScape, являющийся дебилом с IQ чуть ниже амебы. На самом деле, я знаю, что LinkScape был разработан очень яркими людьми, поэтому мы имеем дело с вводящая в заблуждение коммерческая подача :

Давайте добавим в комментарий в Sphinn , где представитель SEOmoz опубликовал « Наши боты, наш обход, наш индекс ».

Конечно, это полная чушь. У SEOmoz нет ресурсов для выполнения такой задачи. Другими словами, если - и это большой ЕСЛИ - они работают так, как описано выше, они используют что-то чрезвычайно подлое, нарушающее веб-стандарты и мое понимание честности и честности. На самом деле это не так, но потому что это не так, LinkScape и OpenSiteExplorer в своей текущей форме должны умереть (см. Ниже, почему).

Они оскорбляют ваш интеллект так же, как и мой, и это, очевидно, неправильно, но я предполагаю, что они делают это исключительно в маркетинговых целях. Не то чтобы им нужно было прикрывать свои действия такой дымовой завесой. LinkScape может быть успешным со всеми фактами на столе. Я бы назвал это аккуратным инструментом SEO, если бы он был легитимным.

Так что же не так с высказываниями SEOmoz выше и LinkScape вообще?

Давайте начнем с «Сканирования за последние 45 дней: 700 миллиардов ссылок, 55 миллиардов URL-адресов, 63 миллиона корневых доменов». Это означает «просканировано… 55 миллиардов веб-страниц, включая 63 миллиона страниц корневых индексов, содержащих 700 миллиардов ссылок». 13 ссылок на странице правдоподобно. ползком 55 миллиардов URI требуют отправки HTTP GET-запросов для получения 55 миллиардов веб-ресурсов в течение 45 дней, то есть примерно 30 терабайт в день. Правдоподобно? Может быть.

Правда? Не так, как есть. Составление чисел, таких как «просканированные ссылки на 700 миллиардов ссылок», предполагает всеобъемлющий индекс в 700 миллиардов URI. Я очень сомневаюсь, что SEOmoz «просканировал» 700 миллиардов URI.

Когда SEOmoz действительно будет сканировать сеть, им придется уважать такие веб-стандарты, как протокол исключения роботов (REP). Вы найдете их сканера в ваших журналах. Организация, сканирующая Интернет, должна

  • сделать это с помощью пользовательского агента, который идентифицирует себя как сканер, например «Mozilla / 5.0 (совместимый; Seomozbot / 1.0; + http: //www.seomoz.com/bot.html)»,
  • приносить robots.txt хотя бы ежедневно,
  • предоставить метод блокировки их сканера с помощью robots.txt,
  • соблюдайте директивы индексатора, такие как «noindex» или «nofollow», как в элементах META, так и в заголовках ответа HTTP.

SEOmoz подчиняется только <META NAME = "SEOMOZ" CONTENT = "NOINDEX" />, в соответствии с их страница источников , И именно эта страница показывает, что они покупают свои данные из различных служб, в том числе поисковых систем. Они не сканируют ни одну веб-страницу.

Опытные оптимизаторы должны знать, что сканирование, анализ и индексация это разные процессы. Почему SEOmoz настаивает на термине «ползать», принимая все зенитный огонь они могут получить, когда они явно ничего не ползают?

Два утверждения из трех в «Наши боты, наш обход, наш индекс» - явная ложь. Если SEOmoz выполняет какое-либо сканирование, в дополнение к обработке купленных данных, без соблюдения и передачи описанной выше процедуры, это будет подлым. Я действительно надеюсь, что этого не происходит.

На самом деле, я бы хотел увидеть, как SEOmoz ползет. Я был бы очень, очень рад, если бы они не купили ни одного байта сторонних результатов поиска. Зачем? Потому что я мог заблокировать их в robots.txt. Если они не получают доступ к моему контенту, мне не нужно беспокоиться о том, подчиняются ли они моим директивам индексатора (метатеги роботов) или нет.

В качестве примечания, требование, чтобы элемент META роботов «SEOMOZ» отказался от анализа ссылок, является простой кражей. Добавление такого кода на мои страницы занимает много времени, и это дорого. Кроме того, добавление дополнительной строки кода в каждый раздел HEAD в итоге приводит к значительному расходу пропускной способности - $$! - с течением времени. Должен ли я инвестировать свои с трудом заработанные деньги, чтобы не дать мне раскрыть исходящие ссылки на моих конкурентов? Только по этой причине я должен сообщить SEOmoz в FTC с просьбой закрыть LinkScape как можно скорее.

По какой-то причине они не подчиняются тегу X-Robots («noindex» / «nofollow» /… в заголовке HTTP). Работая с приобретенными данными из различных источников, они не могут гарантировать, что они даже получат эти заголовки. Кроме того, почему, черт возьми, я должен обслуживать MSNbot, Slurp или Googlebot заголовок HTTP, адресованный SEOmoz? Это может поставить под угрозу видимость моей поисковой системы.

Если бы они ползали сами, предоставив своему пользовательскому агенту X-Robots-Tag «noindex» и 403, можно было бы выполнить, по крайней мере, когда они платят за мои усилия. С их текущей настройкой это технически невозможно. Они могли бы переключиться на 80legs.com полностью, это решит проблему, при условии, что 80legs работает на 100% по REP и сканирует как «SEOmozBot» или около того.

С MajesticSEO это не проблема, потому что я могу заблокировать их гусеничный с
Пользователь-агент: MJ12bot
Disallow: /

Исследователь сайта Yahoo также предоставляет слишком много данных. Я не могу заблокировать это без потери трафика с поисковых систем. Так как он, вероятно, умрет, когда Microsoft настигнет search.yahoo.com, я не очень об этом кричу. Google и Bing не раскрывают мои данные о связях никому.

У меня проблема с SEOmoz LinkScape, а также с OpenSiteExplorer. Это достаточно серьезно, и я говорю, что они должны закрыть его, если они не хотят менять свою архитектуру. И это не имеет никакого отношения к вводящим в заблуждение продажам, или высокомерному поведению, или сочувствию (соответственно, возможно, отсутствие сочувствия).

Анализ конкурентных ссылок OpenSiteExplorer / LinkScape предоставляет, не давая мне реальный шанс отказаться, подвергает риску мой бизнес. Столько, сколько я ценю возможность проанализировать моих конкурентов, наоборот, это совершенно зло. Поэтому просто убей его.

Мой дубль слишком экстремальный? Пожалуйста, просветите меня в комментариях.

Обновление: A сообщение от Майкла ВанДемара И его Сфинн дискуссия , первая тема LinkScape в Sphinn , а также Сфинн комментирует эту брошюру ,

Похожие

Как сделать анализ токсичных ссылок за 10 минут с Majestic
Поиск проблем со ссылками может быть очень трудоемким и трудоемким процессом. Благодаря Majestic и их Запатентованная ссылка киллера
Как местный SEO заменил желтые страницы
Таким образом, для большинства из нас ясно, что желтые страницы становятся все более
Как правильно использовать атрибут TITLE для ссылки
Использование атрибутов TITLE ссылки стало более популярным с появлением таких широко используемых скриптов, как WordPress, который по умолчанию дублирует ссылку на заголовок сообщения в своем атрибуте TITLE. Тем не менее, несмотря на то, что этот метод использования атрибута TITLE является обычным поведением, он является неправильным и раздражающим. Название не должно быть дублированием якорного текста (связанный пост:
Как SEO обучение может помочь вашему бизнесу
Если ваша компания заинтересована в обучающих семинарах по поисковой оптимизации (SEO) или семинарах по управлению
Как отзывы клиентов могут улучшить вашу SEO
Отзывы клиентов на вашем сайте могут быть мощным инструментом. Они могут существенно повлиять на коэффициент конверсии вашего сайта и - при правильной реализации - на ваш рейтинг кликов на страницах результатов поиска (SERP). Тысячи раз в день люди полагаются
Как сделать пресс-релизы для SEO Преимущества в 2016 году
Друг спросил мое мнение о пресс-релизах для целей SEO, и я решил записать свой ответ ему, чтобы все могли его прочитать. Во-первых, давайте поговорим о прямых обратных ссылках, которые вы можете получить, отправив пресс-релиз. Они бесполезны. Пресс-релизы могут
SEO веб-хостинг - Как провайдеры хостинга влияют на SEO
Влияет ли веб-хостинг на SEO и если да, что вы должны знать об этом? Ваш хостинг-провайдер, то есть компания, которая размещает ваш сайт, влияет на ваши усилия по SEO разными способами. Хороший хостинг-провайдер может помочь вам быстрее достичь ваших целей SEO, а плохой хостинг-провайдер может помешать вам. Чтобы перейти непосредственно к делу, позвольте мне сначала
Как проводить локальные исследования SEO-конкуренции
Предприятия пытаются превзойти друг друга по-разному и убедиться, что их имя указано в верхней части списка. Вот как выглядит типичная страница результатов поиска Google, когда вы выполняете поиск по ключевой фразе, такой как «косметическая стоматология, Остин, Техас»:
Как укрепляется SEO, SEA и наоборот
SEO (поисковая оптимизация или SEA (реклама в поисковых системах или интернет-реклама через Google AdWords)) преследует одну общую цель: сделать ваш сайт доступным для целевой аудитории в Интернете. Это всего лишь два разных способа сделать это. Для ясности немного больше о разнице между SEO и SEA. С SEO вы оптимизируете свой сайт таким образом, что Google отображает ваш сайт бесплатно с определенным ключевым словом. Вы улучшаете свою онлайн-доступность без оплаты. В SEA вы платите Google
SEO для приложений - как это сделать правильно
Как разработчик, ваша главная цель должна заключаться в том, чтобы передать ваше приложение как можно большему количеству пользователей. Для этого ваше приложение должно быть видимым. Ваши потенциальные клиенты должны быть в состоянии найти его, когда они ищут ключевые слова в вашей нише. Тем не менее, это не всегда так. Сегодня в магазинах приложений миллионы приложений, и каждый день добавляются новые. Это означает, что вашей работе все труднее быть замеченной. Ваше приложение определенно
Как разблокировать ключевые слова «Не указано» в Google Analytics
... своих пользователей: отчет по поисковым запросам. Все большее количество результатов в этой части Google Analytics указывается как «не предоставлено» - не очень полезно, когда вы пытаетесь узнать, что ищут люди. Примечание: «не указано» отменяется для платных результатов поиска. Это просто обычные результаты поиска, которые часто скрыты от глаз. Почему данные скрыты и «не предоставлены»? В октябре 2011 года

Комментарии

Как SMB, как вы начинаете с SEO?
Как SMB, как вы начинаете с SEO? Начни здесь. Требовать все Будучи маленькой рыбкой в ​​большом пруду, вы должны бороться за каждый листинг, за каждый авторитет и за любой шанс, который вы должны получить перед вашей аудиторией. Это может быть довольно пугающим. Избавьтесь от этого страха, топая в Интернете и создавая свое присутствие. Сейчас. Требуйте каждый листинг, каждый профиль и ничего не оставляйте на столе. Этот список поможет вам начать:
Теперь, когда у вас есть лучшее представление о том, как входящий маркетинг может функционировать как ваша стратегия внешних ссылок для SEO, как вы планируете реализовать эту теорию на практике?
Теперь, когда у вас есть лучшее представление о том, как входящий маркетинг может функционировать как ваша стратегия внешних ссылок для SEO, как вы планируете реализовать эту теорию на практике? Каков ваш опыт работы с входящим маркетингом и что еще вы хотели узнать об этом? Дайте нам знать в разделе комментариев ниже! источники «Отношения между SEO и входящим маркетингом» (
О представляет каждая метрика, как данные собираются и обрабатываются и как их использовать?
Теперь, когда у вас есть лучшее представление о том, как входящий маркетинг может функционировать как ваша стратегия внешних ссылок для SEO, как вы планируете реализовать эту теорию на практике? Каков ваш опыт работы с входящим маркетингом и что еще вы хотели узнать об этом? Дайте нам знать в разделе комментариев ниже! источники «Отношения между SEO и входящим маркетингом» (
Как использовать все эти данные?
Как использовать все эти данные? Изучите данные, чтобы определить, работают ли определенные тренды лучше в определенном географическом местоположении. Сформируйте гипотезу и проверьте, какие прибыли или убытки вы сделали. Хотя вы не сможете выделить факторы, по крайней мере, вы получите представление о том, что эффективно, чем больше вы изменяете гипотезу. Понять оценка релевантности
Но как это влияет на мой SEO, что пользователи теперь ищут голосом, а не пишут, как это делали раньше?
Но как это влияет на мой SEO, что пользователи теперь ищут голосом, а не пишут, как это делали раньше? Простые люди не говорят так, как мы пишем. Но дело в том, что, кроме того, письменные поиски были специально обобщены: «купить сыр». С помощью голосового поиска пользователь имеет тенденцию использовать полные предложения, гораздо более похожие на то, что он использует в своей повседневной работе: «Где я могу купить хороший сыр в Мадриде». Задача SEO состоит в том, чтобы попытаться приспособиться
Один из первых вопросов, которые мы задаем, - как вы оцениваете успех SEO и какие данные вы собираете, чтобы определить прогресс?
Один из первых вопросов, которые мы задаем, - как вы оцениваете успех SEO и какие данные вы собираете, чтобы определить прогресс? Многие компании отслеживают основные элементы SEO - трафик и рейтинги, но большинство упускают некоторые другие ключевые данные, которые должны быть включены в каждую стратегию измерения SEO. Ниже вы найдете десять ключевых точек данных, которые мы отслеживаем для каждого клиента, чтобы помочь определить стратегические направления для текущих и будущих SEO-кампаний.
Как разместить свой интернет-магазин в Google как можно ближе для поиска?
Как разместить свой интернет-магазин в Google как можно ближе для поиска? Это по-прежнему один из самых важных вопросов для операторов магазинов Magento, поэтому поисковая оптимизация (SEO) продолжает оставаться стандартной задачей маркетинга для интернет-магазинов. Клиенты довольны = Google счастлив Но SEO изменилось за эти годы, потому что он должен был адаптироваться к изменениям Google. Google все больше «осознает», отображают ли результаты поиска поисковой системы
Как вы можете защитить себя как компания?
Как вы можете защитить себя как компания? Как вы находите серьезного SEO-Angentur или уважаемого SEO? Во-первых, рекомендуется, чтобы Руководство для веб-мастеров Google, чтобы получить первый обзор того, какие меры нарушают руководящие принципы. Клиент должен настаивать на том, чтобы уполномоченное SEO-агентство изложило план оптимизации прозрачным образом. Если предприниматель
Как мы можем работать вместе как SEO агентство?
Как мы можем работать вместе как SEO агентство? чем SEO агентства Мы обслуживаем клиентов как модульно, так и постоянно поддерживаем SEO. В зависимости от вашего бюджета, целей и пожеланий, мы работаем с вами на нашей бесплатной первоначальной консультации, чтобы адаптировать набор услуг модулей и / или постоянной поддержки или полной поддержки
Как эти данные сравниваются с Исследование 2016 года ?
Как SMB, как вы начинаете с SEO? Начни здесь. Требовать все Будучи маленькой рыбкой в ​​большом пруду, вы должны бороться за каждый листинг, за каждый авторитет и за любой шанс, который вы должны получить перед вашей аудиторией. Это может быть довольно пугающим. Избавьтесь от этого страха, топая в Интернете и создавая свое присутствие. Сейчас. Требуйте каждый листинг, каждый профиль и ничего не оставляйте на столе. Этот список поможет вам начать:
Любой может показать вам, что такое SEO, как оно работает и что вы должны учитывать; Однако, как применить это к реальному миру?
Любой может показать вам, что такое SEO, как оно работает и что вы должны учитывать; Однако, как применить это к реальному миру? Для начала любая стратегия SEO требует предварительного анализа сети, чтобы узнать, с чего мы начали. С другой стороны, анализ результатов, отслеживание, выявление областей для улучшения и подготовка отчетов, которые вы можете сравнивать месяц за месяцем, - это важные аспекты, которые вы должны знать, как это сделать, если вы хотите, чтобы ваш бизнес развивался.

Плачет ли ваш встроенный детектор хулиганства в агонии, когда вы читаете объявления об инструментах анализа ссылок, утверждающих, что сканировали веб-страницы в триллионах?
Может ли крошечный SEO-магазин или удаленная поисковая система на ранних стадиях, работающая на бесплатном оборудовании, построить индекс такого размера?
Правдоподобно?
Правда?
Почему SEOmoz настаивает на термине «ползать», принимая все зенитный огонь они могут получить, когда они явно ничего не ползают?
Зачем?
Должен ли я инвестировать свои с трудом заработанные деньги, чтобы не дать мне раскрыть исходящие ссылки на моих конкурентов?
Кроме того, почему, черт возьми, я должен обслуживать MSNbot, Slurp или Googlebot заголовок HTTP, адресованный SEOmoz?
Мой дубль слишком экстремальный?
Почему данные скрыты и «не предоставлены»?