Привет, друзья! Я уже писал про и то какой вред они могут нанести сайту. Сегодняшняя тема напрямую связана с этим явлением. Я расскажу про атрибут rel=canonical.
Атрибут rel=canonical был введен Google 12 февраля 2009 года. Он учитывается до сих пор, поисковой системой Яндекс в том числе. Атрибут rel=canonical указывает поисковым роботам какая страница является предпочтительной при индексации, если на сайте имеется несколько страниц с одинаковым содержимым, но с разными URL-адресами.
Допустим существует 2 страницы:
http://сайт/chto-takoe-alexa-rank.html
http://сайт/chto-takoe-alexa-rank.html?id=4535
В данном случае первая страница является основной, именно для нее и должен быть прописан атрибут rel=canonical. А вторая страница является лишь ее копией, но с другим URL-адресом. Следовательно, если не будет прописан rel=canonical, то поисковая система будет индексировать как основной адрес, так и дубль страницы.
Конечно, поисковые системы не глупы и со временем выкинут дубль из индекса, но на это требуется время. А если сайт ежедневно пополняется несколькими сотнями новых страниц, то отсутствие указания канонического URL-адреса может негативно сказаться на продвижении.
Возьмем интернет магазин с 10 000 товарами. У каждого товара на сайте своя страница и несколько дублей. Представляете как подпортит продвижение сайта могут 20 000 дублированных страниц?
Неканонические страницы или дубли генерируют движки управления, такие как WordPress, phpBB и прочие. Если у вас сайт написан на чистом HTML, то дублированных страниц в принципе быть не должно, если только вы их специально не добавляли конечно.
Если мы обратимся к справочнику вебмастера в Google и Яндекс, то увидим следующее:
Сообщение Google
Рекомендации Яндекс
Указание атрибута rel=canonical не является строгой директивой. При отсутствии данного атрибута, поисковые системы попытаются определить каноническую страницу самостоятельно.
С тех пор, как Google ввел данный атрибут, прошло много времени и практически на всех CMS и конструкторах сайтов есть возможность его прописать. В конструкторах сайтов он обычно прописывается автоматически, а для движков существуют дополнения в виде модулей и плагинов.
Если взять CMS WordPress, то практически все SEO плагины предоставляют возможность прописать канонический URL автоматически. Я пользуюсь плагином All In One Seo Pack, поэтому покажу на его примере.
В настройках плагина нужно отметить галочкой, чтобы автоматически прописывались канонические URL-адреса.
Если взглянем на исходный код страницы, то увидим что rel=canonical прописан. И если поисковый робот зайдет на этот дубль страницы, то увидит, что страница не является основной.
Вот такой вот интересный атрибут. Конечно, ничего нового я вам не открыл. Но почему-то многие не обращают внимания на вот такие мелочи, особенно владельцы небольших интернет-магазинов.
Сейчас в интернете довольно популярны email рассылки (email маркетинг) . Особенно это актуально в сфере SEO новостей. Просматривая одну из очередных рассылок, посвященных устранению дублей страниц, я заметил следующее:
Вроде мелочь, но заставляет засомневаться. Исходя из этих слов, тег rel="canonical" , а вернее атрибут, должен прописываться на странице дубле и указывать ссылкой на саму себя!
Внесем ясность в этот неоднозначный вопрос. Почему атрибут, а не тег? Потому, что rel="canonical" это именно атрибут (часть) ссылки, а не самостоятельный тег. Итак, вот ПРАВИЛЬНЫЙ вариант использования атрибута rel="canonical" : каноническая ссылка ставится со страницы дубля на страницу оригинал. Выглядит это примерно так: на странице дубле, которая находится по адресу http://yoursite.com/dubl, создайте элемент следующего вида:
Ну и на десерт – мнение Мэтта Каттса насчет rel="canonical" и его применения:
Привет, друзья. Пора бы мне уже довести до логического завершения тему про управление индексацией сайта. Я вам напомню, какие методы управления индексацией вообще существуют: файл robots.txt, мета-тег robots, заголовок X-Robots-Tag, ну и 301-редирект здесь можно упомянуть, как метод борьбы с дублями, что так же является неотъемлемой частью качественной индексации. И обо всем этом я вам уже рассказывал, но есть еще один очень важный и интересный способ борьбы с дублями, в чем-то альтернатива редиректу, это атрибут rel="canonical" , который присваивается тегу link и располагается в части
любой html-страницы.Выглядит это как-то так:
Что немаловажно – данный тег поддерживается всеми поисковыми системами , в том числе нашими любимыми Яндекс и Google.
Итак, сегодня я вам расскажу, как и для чего нужно использовать тег rel canonical , в каких ситуациях он действительно эффективен, а заодно убедимся в этой самой эффективности на реальном эксперименте. Приготовьтесь:)
Для начала напомню вам о тех постах, что я затронул в начале:
Сперва стоит пройтись по теории, чтобы понять для чего данный атрибут вообще был создан, какие цели преследовались и узнать, что же рекомендуют поисковики.
Привожу ссылки на официальную позицию поисковых систем: Google об атрибуте rel="canonical" и Яндекс про атрибут rel="canonical" тега . Разумеется, и mail.ru тут как тут – про значение canonical в теге — не могли же они отстать от Яндекса, но это и хорошо, все под копирку, нам же проще.
Что такое каноническая страница? Это рекомендуемый экземпляр из набора страниц с очень похожим содержанием.
Зачем нужно указывать каноническую страницу? Если поисковая система видит, что страницы очень похожи или одинаковы, то согласно алгоритмам в результатах поиска появится только одна предпочтительная страница, которая, по мнению поисковой системы, лучше всего отвечает на запрос пользователя.
А как мы знаем, поисковик не всегда угадывает наши желания, потому лучше перестраховаться и указать нужную страницу самостоятельно. Сделать это можно добавив ссылку rel="canonical" в раздел
неканонических версий всех страниц HTML.Еще оказывается, можно указывать каноническую ссылку для не HTML содержимого , а, например, для pdf, doc или других файлов при помощи заголовков. Типа как X-Robots-Tag HTTP header, только тут будет Link HTTP header. Но это уже совсем для гик-маньяков, так что рассказывать об этом не буду.
Что будет, если атрибут rel="canonical" указывает на несуществующую страницу? А если каноническими назначено несколько страниц набора? В этом случае поисковая система просто проигнорирует данные правила и будет поступать, как и раньше — вычислять подходящий экземпляр из набора страниц согласно алгоритмам.
Можно ли использовать атрибут rel="canonical" для указания канонического URL на другом домене? Можно, но не нужно. Важно понимать, что атрибут canonical это всего лишь подсказка или рекомендация, а не строгое правило в отличие от редиректа, который и стоит использовать в данном случае.
На основании всего вышенаписанного, а так же по информации из других официальных источников (блоги поисковых систем и блоги их сотрудников) можно сделать выводы о том, что тег link rel="canonical":
Все, с теорией покончено, теперь я вам расскажу, зачем и для чего я использую тег rel="canonical" на своих сайтах. Главное и основное – это борьба и предупреждение появления дублей. В основном это дубли, связанные с параметрами или метками в url. Не всегда уместно бороться с этими проблемами . Метки иногда очень важны, например, когда ведется кампания в контексте и в метках передаются важные статистические сведения, да и много еще чего можно отслеживать метками. Закрывать такие адреса в robots.txt мне не по душе, использовать мета роботс не получится, а редирект уничтожит все данные.
Классический пример использования канонических адресов это интернет магазины с кучей сортировок по еще большей куче различных параметров товаров – мне кажется, ради этого и придумали данный атрибут.
Это все понятно. Но вот только о самом главном для нас seo’шников нигде не сказано – а как дела обстоят с передачей ссылочного веса? Что если на неканонический адрес стоят ссылки, что же будет с канонической страницей, получит ли она от этого бонусы? А если сперва появилась ссылка, а rel="canonical" был указан позже? А что будет, если все наоборот?
Вопросов много, а официальных комментариев нет. На вопросы кто виноват и что делать, ответ один – надо ставить эксперимент! Хотел я такой эксперимент поставить, но оказалось, что его уже не так давно провел Игорь, автор блога bakalov.info , за что ему огромное спасибо.
Вот цитата с его блога о том, какова цель, какие варианты развития событий и ожидаемый результат:
Цель эксперимента: выяснить, будет ли передан «вес ссылки» со страницу А на страницу С, в том случае, если страница А ссылается на страницу Б, а на странице Б стоит rel="canonical", который указывает, что канонической страницей является страница С.
Вариант №1. Страница А ссылается на страницу Б и эта ссылка проиндексирована поисковыми системами. Через некоторое время на странице Б устанавливается rel="canonical", который указывает, что канонической является страница С, что в итоге приводит к исключению страницы Б из индекса.
Вариант №2. На странице Б устанавливается rel="canonical", который указывает, что канонической является страница С, что приводит к исключению страницы Б из индекса. Через некоторое время после этого со страницы А на страницу Б устанавливается ссылка.
Необходимо выяснить в каком из двух вариантов будет передан «вес ссылки» со страницы А на страницу С. Под «весом ссылки» я понимаю так называемый «анкорный вес», т.е. если страница акцептор ищется по тексту стоящей на нее ссылки, то считаем, что «вес ссылки» передается, если не ищется, то не передается.
Полное описание и ход эксперимента .
Я же сообщу результаты эксперимента и выводы:
Для Яндекса не имеет значения, что появилось раньше – rel="canonical", или внешняя ссылка – в любом случае «вес ссылки» будет передан с неканонического URL на канонический.
Для Google на самом деле все аналогично, хотя в посте Игоря говорится иначе: если канонический адрес был указан и страницы уже склеились, а потом появилась внешняя ссылка, то вес передается, а если внешняя ссылка появилась раньше, чем каноникал, то вес не перетекает.
Просто «перетекание» веса во втором случае заняло несколько больше времени, ведь согласно комментарию на блоге сказано, что каноническая страница все же ищется по анкорному тексту.
Короче, все работает!
В очередной раз обобщая всю информацию изложенную в посте, хочу сказать, что использовать тег link rel="canonical" нужно . В первую очередь это отличный способ предотвратить дублирование контента (особенно это касается ошибок и недоработок большинства CMS) и наложение санкций за это со стороны поисковых систем.
Удачи вам, друзья! Оставляйте комментарии и задавайте вопросы.
С уважением, Александр Алаев
Если ваш сайт имеет идентичный или очень похожий контент, доступный по разным URL , тогда новый формат позволит указать тот URL , который должен возвращаться в поисковой системе. Также можно быть уверенным, что все характеристики, такие как ссылочный вес и т.д. передадутся на нужную версию адреса.
Теперь вы можете добавить этот тег, для указания вашей версии адреса, внутри тега
на страницах с дублированным контентом:Таким образом, Google поймет, что все дубликаты ссылаются на канонический адрес, указанный в теге. Дополнительные свойства адреса, такие как PageRank и связанные сигналы также перенесутся с дублированных страниц на указанную.
Подобный тег будет полезным в основном при использовании различных движков (phpBB, IPB , WordPress, и т.д., напр. сайту ipbskins.ru – разработка дизайна сайта на IPB , приходится использовать длинный robots.txt в целях избежания дублированного контента), создающих множество похожих страниц, например, это могут быть страницы:
печатной версии статьи:
http://site.ru/article01.html?print=true
текстовой версии статей для моб. телефонов:
http://site.ru/lofiversion/article01.html
дублированные из-за недостатка движка:
http://site.ru/articles/?id=1&category=new
http://site.ru/articles/?id=1&tag=keyword
и ряд других…
Этот стандарт может быть адаптирован любой поисковой машиной при индексации сайта.
Для популярного блог-движка WordPress уже разработан плагин canonical , вставляющий тег на нужные страницы. Другие популярные движки для блогов, форумов, интернет-магазинов и т.д. также в ближайшем будущем расширят свою функциональность (следите за обновлениями).
Ответы на некоторые популярные вопросы по тегу:
Является ли rel=“canonical” подсказкой или директивой?
Это подсказка, которую мы берем во внимание и во взаимодействии с другими сигналами вычисляем наиболее релевантную страницу для отображения в поисковых результатах.
Могу ли я использовать относительный путь для указания canonical, например так: ?
Да, относительные пути распознаются также, как и в обычном теге . Даже если вы введете тег
Это нормально, если канонические адреса содержат не полностью дублированный контент?
Мы позволяем небольшие различия, такие как порядок сортировки в таблице продуктов. Также мы понимаем, что канонические адреса могут парситься роботом в разное время, поэтому все это нормально.
Что если rel=“canonical” возвращает 404 ошибку?
Мы продолжим индексировать ваш контент и использовать эвристический подход, для определения канонического адреса, однако, мы рекомендуем, чтобы вы использовали существующие URL
в качестве канонических.
Что если rel=“canonical” ещё не проиндексирован?
Мы стараемся достучаться до канонического URL
быстро. Как только мы его проиндексируем, тогда сразу же перерассмотрим подсказку rel=“canonical”.
Может ли канонический урл содержать редирект?
Да, вы можете указать редирект, в этом случае поисковая машина обработает просесс перенаправления как обычно и попытается проиндексировать новый адрес.
Что если я имею противоречивые сигналы для rel=“canonical”?
Наши алгоритмы мягкие: мы можем следовать по каноническим цепям, однако, мы настоятельно рекомендуем, чтобы вы на страницах указывали единственный канонический адрес, чтобы быть уверенным в оптимальном результате канонизации.
Может ли этот тег для ссылки предложить канонический адрес на совершенно другом домене?
Нет. Чтобы мигрировать на другой домен, более подходящ. В настоящее время Google поддерживает канонизацию внутри поддоменов или внутри одного домена. Таким образом, владельцы сайтов могут указать www.example.com
вместо example.com
или help.example.com
, однако, не могут указать example.com
вместо example-widgets.com
.
Звучит интересно, но могу ли я увидеть пример?
Да, wikia.com помогла нам, как трастовый тестер. Например, вы замтетите, что исходный код по адресу http://starwars.wikia.com/wiki/Nelvana_Limited содержит rel=canonical http://starwars.wikia.com/wiki/Nelvana
.
Два адреса почти идентичны, исключая то, что Nelvana_Limited, первый URL , содержит короткое сообщение возле заголовка. Это хороший пример использования тега в будущем. С rel=canonical, свойства двух адресов обьединяются и поисковые результаты отображают нужную версию.
Если у вас есть какие-либо вопросы по использованию нового тега, вы можете их задать в комментариях на официальном блоге Google для вебмастеров .
1. Помимо избавления от естественного дублированного контента (из-за недостатка движка), мы также избавляемся от дублированного контента искусственного, когда конкуренты нам пытаются насолить, добавляя в страницы с произвольными параметрами в URL .
2. Теперь нет надобности использовать robots.txt для запрета индексации таких страниц, как “печатная версия” и других дубликатов (напр. в WordPress нужно было закрывать путь /teg/) и угождать каждому поисковику отдельно (есть общие стандарты для robots.txt, но есть также и ряд особенностей работы каждого поисковика с этим файлом, поэтому мы раньше не могли предусмотреть запрет индексации некоторых страниц сразу для всех ботов).
3. Мы теперь имеем хороший инструмент для ускорения индексации сайта 🙂
Здравствуйте, уважаемые читатели блога сайт! В лице canonical, который является атрибутом тега link, отвечающего за формирование служебных ссылок, вебмастера получили отличный инструмент для создания канонических страниц сайта. Но для чего это нужно?
С появлением систем управления контентом () создание сайтов стало доступно практически всем, поскольку данное ПО берет на себя значительную часть обеспечения функционирования ресурса и одновременно расширяет возможность реализации самых различных опций.
Но ЦМС (движки по-простому) имеют некоторые недостатки (по закону недостижимости абсолютного идеала), которые, впрочем, легко устранимы при помощи разнообразных средств. Минусом, например, является генерация дублей, одним из инструментов борьбы с которыми как раз и служит упомянутый выше canonical.
Итак, термин «canonical» в общем смысле означает «принятый за образец», «соответствующий канонам». В нашем случае каноническими можно считать базовые странички в ряду других с похожим содержанием, но с разными адресами (URL).
Канонические страницы в пределах сайта призваны выявлять дублированный контент, который в этом случае просто не будет учитываться поисковиками. Поначалу rel canonical признавался только Гуглом и крупными "буржуйскими" поисковиками Bing и Yahoo, но на данном этапе и лидер рунета Яндекс сподобился обратить на него свое внимание, так что вебмастерам это упрощает задачу.
Поясню на примере применение каноникал. В процессе работы тот же Вордпресс может генерировать веб-страницы с отчасти или полностью идентичным контентом. Возьмем главную страницу, на которую выводятся анонсы (начальные фрагменты текста постов). По мере наполнения блога статьями число таких анонсов будет, естественно, постоянно увеличиваться.
В какой-то момент их количество будет таким, что они уже не будут умещаться на одной веб-странице. Ведь абсолютно непродуктивно впихивать их все в одно место, тем более, что ресурс будет развиваться и насыщаться новыми материалами.
Для этого в Вордпрессе предусмотрено разбиение главной на несколько частей, каждая из которых будет по сути самостоятельной страничкой с указанием, в том числе в составе URL, ее номера в текущей пагинации.
Это не что иное как нумерация этих самых страничек в составе главной. Кстати, вы можете по своему желанию на пример такой:
Вот, например, какие пронумерованные страницы с анонсами постов присутствуют на этом блоге:
//goldbusinessnet..com/page/3/ - третья и т.д.
Какие же это дубли, спросите вы? Ведь содержание всех анонсов коренным образом отличается, поскольку они являются фрагментами разных статей. Так-то оно так, но ведь название и описание этих страниц будет идентичным (для главной или категорий, например).
Несмотря на то, что это неполные дубли по своей сути, ввиду вырисовывается серьезная проблема, которую необходимо устранить.
Rel canonical, как я отмечал в начале статьи, указывается в блоке служебных элементов , которые находятся в составе тега head , являясь атрибутом служебной ссылки link. Открыть исходный код можно с помощью сочетания , действующего для всех популярных браузеров (Хром, Мазила, Опера и Интернет Эксплорер).
На скриншоте выше отображен HTML код первой страницы пагинации главной, для которой прописан каноникал, содержание которого указывает, что именно она сама является канонической:
Если откроем код второй странички, то там будет указан точно такой же тег каноникал (для простоты его часто называют так, хотя по сути это параметр атрибута rel, как вы знаете):
Аналогично каноническая страница определяется для каждой из рубрик, а также для разделенных на несколько страничек объемных статей, где также будет присутствовать постраничная навигация.
Именно в таком виде должен присутствовать rel canonical для каждой страницы блога WordPress. Любой другой вариант будет неверным. Проверьте исходный код для всех основных страниц своего блога, включая записи (статьи). Вполне может оказаться, что вы увидите вот такой каноникал:
То есть для второй страницы пагинации в качестве атрибута href прописан URL этой же странички, хотя должен присутствовать адрес первой. Если внимательно посмотрите на исходный код, то для вас станет очевидным, что виноват во всем плагин All in One SEO Pack.
Без этого расширения, конечно, никуда, но иногда при его работе приходится следить за ситуацией. В данном случае, ежели вы увидели такую же картину, как на предоставленном выше скриншоте, либо у вас установлена совсем старая версия AiOSP, либо не правильно выставлены его настройки. Значит, время бить тревогу и исправлять ситуацию, о чем мы и поговорим ниже.
Итак, как должен выглядеть адрес канонической странички в качестве параметра атрибута href, мы выяснили. Если у вас пока это дело не настроено и канонические страницы вовсе отсутствуют как класс, срочно засучите рукава и за работу, тем более, что привести все в надлежащий вид не составит труда.
Самым простым и продуктивным способом не только прописать canonical, но и корректно его настроить, является применение главного , который вы можете установить , а затем а админ-панели.
После этого в левом меню появится отдельный раздел, где можно настроить нужные опции. Переходите во вкладку «All in One SEO» - «Основные настройки» и в самом верху отметьте галочками две опции:
Первая опция позволит активировать канонические URL для всего ресурса, а вторая скорректирует их настройку для всех страниц пагинации. Как раз активация опции «Запретить пагинацию для канонических URL» исключит появление неправильных ссылок с canonical (см. последний скриншот).
Каноническими везде будут назначены первые страницы, что вполне логично. В завершение не забудьте нажать кнопочку обновления. После этого все необходимые каноникал на вашем сайте будут корректно расставлены.
Применение каноникал лишь один из методов борьбы с дублированным контентом. Вы можете , где описаны практически все виды дублей, которые могут генерироваться на WordPress, а также полная инструкция по их нивелированию. В заключение посмотрите, что думает по этому поводу гуру CEO Мэтт Каттс:
