Чтобы предотвратить появление страницы в результатах поиска Google, вставьте в HTML-код страницы атрибут noindex или заголовок noindex в запросе HTTP. Во время сканирования робот Googlebot обнаружит его и проигнорирует страницу, даже если на нее ссылаются другие сайты.
Внимание! Поисковый робот не обнаружит директиву noindex , если страница заблокирована в файле robots.txt. Такая страница может быть представлена в результатах поиска (например, если на нее есть ссылка на другой странице).
Директива noindex позволяет контролировать доступ к отдельным страницам сайта, поэтому ее рекомендуется использовать, если у вас нет доступа к корневому каталогу на сервере.
Добавить директиву noindex можно двумя способами. Их результаты равнозначны, а выбор зависит от того, в какой степени вы можете управлять сервером и как осуществляете публикацию контента.
Чтобы заблокировать большинство поисковых роботов , добавьте следующий метатег в раздел
веб-страницы:
Если вы хотите закрыть доступ к странице только роботам Google , используйте такой код:
Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.
Чтобы обнаружить метатеги, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ваш сайт после добавления тега. Повторное сканирование страницы роботом Google можно запросить при помощи инструмента . Другая причина – файл robots.txt блокирует этот URL от робота Google, и метатег не обнаруживается. Чтобы разблокировать вашу страницу для Google, необходимо изменить файл robots.txt. Это можно сделать с помощью Инструмента проверки файла robots.txt .
Вместо метатега можно возвращать заголовок X-Robots-Tag . В ответе должно быть указано значение noindex или none . Пример HTTP-ответа, где X-Robots-Tag запрещает роботам индексировать страницу.
В первую очередь давайте начнем с того, что существует несколько принципиально разных понятий: тег
– тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.
Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.
rel=”nofollow” – значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.
Ниже будут рассмотрены все примеры использования тега
Тег
Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:
для ссылок
Тег
Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:
для контента - вариант 1
< noindex >< / noindex > |
для контента - вариант 2
Текст, запрещённый к индексированию
< ! -- noindex -- > Текст, запрещённыйкиндексированию< ! -- / noindex -- > |
Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер. Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.
rel=”nofollow” для ссылок
Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:
rel=”nofollow”
текст ссылки
Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок . Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:
Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.
Нужно ли использовать rel=”nofollow” для внутренних ссылок
Как использовать совместно тег
Вот пример кода, когда оптимизаторы используют тег
"совместно
Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь >.
Этот мета-тег устанавливается в секцию
на той странице, которая не должна индексироваться и выглядит это следующим образом:Мета-тег
… ...< head > < meta name = "robots" content = "noindex, nofollow" / > . . . < / head > |
Суть значений noindex и nofollow в мета-теге остается та же:
Noindex – запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.
– запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).
Комбинации
Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:
Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно
Если вам необходимо закрыть от индексации страницы только для Google, можно использовать . Так говорит справка Google .
Если закрыть от индексации только для Яндекса – . Об этом также очень подробно написано в справке Яндекс .
Некоторые оптимизаторы не понимают разницу между мета-тегом и закрытием соответствующей страницы в файле robots.txt . Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:
Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.
Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:
Поэтому для непроиндексированных страниц можно использовать любой из вариантов.
Если же страница уже была проиндексирована, рекомендуется установить в секцию
мета-тег . Это исключит ее из индекса и предотвратит последующее попадение в него.Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO . Примерно вот так это выглядит:
Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:
Правильно настроив его, вы сможете видеть контент, завернутый в тег
И использование мета-тега :
Теперь вы знаете как с помощью данных методов настроить правильную индексацию сайта, что может повлиять в лучшую сторону на его продвижение в целом.
Правильное использование тега и атрибута noindex, nofollow – самый первый шаг в грамотной сео-оптимизации. Ведь noindex и nofollow играют огромную роль при передаче веса с одного сайта на другой.
Как можно догадаться, тег ноиндекс используется для запрета индексации какой-то части html-кода (картинки и ссылки нельзя закрыть от индексации этим тегом , а лишь текст). Если все же закрыть анкор с ссылкой этим тегом, то не проиндексируется лишь анкор, а ссылка все равно попадет в индекс. Однако тег не является валидным, поэтому некоторые html-редакторы отказываются его воспринимать (в частности, визуальный редактор в wordpress удаляет noindex). Но тегу можно придать валидность:
в такой форме тэг абсолютно валиден – так его можно прописывать в редакторе wordpress не боясь, что тег исчезнет. Ноиндекс воспринимается исключительно поисковиком Яндексом, а Гугл на него никак не реагирует.
Не стоит путать обычный тег с мета-тегом noindex, прописываемым вначале страницы, их задачи разные. Простой тег запрещает для индексации только ту часть кода страницы, которая находится между открывающимся < noindex> и закрывающимся тегами. Пример:
Что же касается мета-тега, то он запрещает индексировать всю страницу (запрет прописывается в файле ) – такую страницу Яндекс вообще не индексирует.
Кстати, ошибается, когда советует закрывать все ссылки тэгами nofollow noindex, но об этом чуть ниже.
Тег работает безотказно: вся текстовая информация внутри него не попадает в индекс яндекса. Однако некоторые оптимизаторы утверждают, что порой текст внутри ноиндекс индексируются – увы, такое действительно бывает. Дело в том, что яндекс все же изначально индексирует весь html-код, даже тот, что внутри тега, но потом проводит фильтрацию. Поэтому первое время действительно текст внутри ноиндекс может быть проиндексирован, но вскоре тег срабатывает и «все лишнее» вылетает из индекса.
Кстати, соблюдать вложенность тегов noindex совершенно необязательно — тег сработает даже при неправильной вложенности (это написано в справке Яндекса):
Внимание!!! Используя открывающийся тег () , не забудьте поставить закрывающийся — ( ) , иначе весь текст, следующий после не будет проиндексирован.
Этот тэг стоит использовать в тех случаях, когда мы хотим спрятать от яндекса ненужную часть html-кода страницы, дабы в индекс робота этой поисковой системы не лезла «грязь». Основываясь на этом, можно сказать, что noindex стоит использовать, чтобы:
Но тег ноиндекс не нужен в некоторых случаях.
Атрибут nofollow предназначен для закрытия от индексации ссылок как для Гугла, так и для Яндекса. Он используется для того, чтобы не передавать вес со ссылающегося сайта на ссылаемый. То, что Яндекс не знает о нофоллоу — миф, убедитесь сами — ссылка . Кстати, тег nofollow не сохраняет вес на странице — если какая-та ссылка «нофоллоу», то вес по ней не перетекает, а сгорает , либо, если есть другие не закрытые данным тегом ссылки на странице, перераспределяется между ними. Кстати, отсюда следует, что если у вас на странице есть хотя бы одна активная внешняя гиперссылка, то вес со страницы уходит — поэтому не стоит закрывать все внешние ссылки тегом nofollow . Вес вы все равно не сохраните (он сгорит, если все внешние ссылки закрыть нофоллоу).
Принципиальное отличие между noindex nofollow: ноиндекс – тег, закрывающий от индексации текст, нофоллоу – атрибут тега , запрещающий передавать вес по ссылке. Пример использования нофоллоу:
< a href= "http://example.ru" rel= "nofollow" > анкорИспользовать атрибут nofollow нужно в том случае, если нет необходимости в передаче веса со ссылающегося сайта на тот web-ресурс, на который ведет ссылка. Поэтому тег используем, чтобы:
Оба тега, и ноиндекс , и нофоллоу отлично чувствуют себя, когда их ставят рядом друг с другом. Пример их совместного использования:
< noindex>< a href= "http://example.ru" rel= "nofollow" > анкорНо как и было сказано выше, совсем необязательно закрывать ссылки тегом noindex, это бессмысленно. Вы так сможете запретить индексировать анкор, но не саму ссылку. Самой ссылке хватает тега nofollow. Но несмотря на это, многие оптимизаторы (в большей степени — новички), страхуясь, закрывают ссылку обеими тегами — nofollow noindex . Они лишь делают лишнюю работу — толка от нее никакого, задачи этих тегов разные. Просмотрите любую мою статью (к примеру эту — ), ни одна ссылка там не закрыта тегом ноиндекс. Не доверяете мне, загляните на блог опытного оптимизатора. И школа Старт Ап, учащая своих студентов закрывать все ссылки ноиндексом, ошибается.
Исключительно для тех, кто дочитал до этих строг, я делюсь эксклюзивной информацией, которая, впрочем, известна опытным оптимизаторам, они ее и не скрывают, но не особо ей афишируют.
Новички-оптимизаторы занимаются настоящим маразмом: они все внешние ссылки с сайта прячут внутрь тега и атрибута noindex, nofollow . Или хуже того: вообще на страничке нет ни одной внешней ссылки, боясь потерять «драгоценный» тИЦ. Спрашивается, зачем это делать, зачем так бояться потерять немного веса со страницы? Что, от этого действия сильно упадет тИЦ сайта или PR странички? Или страницу невозможно будет вывести в топ по СЧ или НЧ-запросам? Глупости. Не нужно жадничать: 1-2 внешние ссылки со странички только улучшат доверие к ней со стороны поисковых систем, и сейчас я вам это докажу.
Любой текст, написанный кем-либо, должен содержать ссылки на источники, которые использовались при его написании, иначе возникнут сомнения по поводу достоверности излагаемого материала. Сами посудите, вы бы стали доверять книжке, у которой в списке литературы стояло бы 1-2 источника? Вдумайтесь, даже у маленькой брошюрки в источниках находится 10-20 материалов.
Как вообще определить, можно ли доверять информации в статье? Если мысли в тексте подкрепляются авторитетным мнением, то доверять можно. Вспомните про википедию, любая статья в ней содержит море ссылок, а если их недостаточно, то модераторы удаляют материал. Также и с любой статьей на вашем сайте: если у вас не будет стоять достаточно ссылок на сторонние АВТОРИТЕТНЫЕ ресурсы, то цена такому материалу нулевая! В первую очередь, вы должны заботиться о читателях, поэтому руководствуйтесь двумя правилами:
Поисковики всегда помогут попасть в топ сайту, который сделан для людей, поэтому ссылайтесь на хорошие ресурсы, не бойтесь — 1-2 полезные ссылки не только не помешают, а еще и укрепят позиции сайта. И не забывайте, не стоит все внешние ссылки закрывать nofollow, не бойтесь делиться весом, он же все равно уйдет со странички. Мнение «не мне, так не другим» в корне не правильное, поделитесь сейчас вы открытой ссылкой, и потом кто-нибудь поставит ссылку на вас безвозмездно.
И еще: активно перераспределяйте вес между ссылками, закрывая некоторые nofollow (но не noindex — снова напоминаю, это бессмысленно). Нужные внешние ссылки оставляйте открытыми, а ненужные закрывайте, чтобы вес доставался только первым.
Сео-оптимизация в случае с noindex nofollow должна быть правильной. Надеюсь, из моей статьи стало понятно как правильно и неправильно использовать ноиндекс и нофоллоу .
В апреле, поисковик Yandex, обрадовал рунетовских веб-мастеров, включением поддержки атрибута rel=»nofollow» в ссылках. Какую пользу это нам — блоггерам принесет? Как правильно прописать атрибут rel=»nofollow» в ссылках и что теперь будет с ?
Давайте попробуем разобраться в этих новинках Яндекса.
Rel=» « — атрибут в ссылке , указывающий отношение ссылки к целевой странице. Также, есть еще атрибут Rev=» « , указывающий отношение целевой страницы к ссылке, например (ссылка с rev=»sponsor» указывает, что это спонсорская ссылка). Но об этом в следующей статье.
Nofollow — статус, говорящий о том,что вы не одобряете данную ссылку.
Исходя из вышесказанного:
Rel=nofollow — определяет отношение вашей ссылки к целевой странице как не одобряемое. Применительно к поисковикам, данный атрибут указывает индексирующим роботам, что по данной ссылке не следует переходить на целевую страницу.
Rel=nofollow был введен и стандартизирован в 2005 году, в ответ на многочисленный ссылочный спам, присутствующий в блогах. Инициатором введения была поисковая система Google, .
Google , встречая ссылку с данным атрибутом, не следует по данной ссылке и не передает вес PR целевым страницам. Также, данные ссылки не учитывались в расчетах распределения ссылочного веса по ссылкам страницы. Но, так было до 2010 года. На данный момент, Google, также не передает ссылочный вес и не следует по ссылкам с rel=»nofollow», но вот ссылочный вес, внутри страницы, стал распределятся и на эти ссылки но впустую. То есть, если у вашей страницы PR-10 и 10 ссылок на странице, где 5 из них закрыты, то каждая открытая ссылка передавала по 2PR на целевую страницу. Теперь каждая открытая ссылка будет передавать 1PR по открытым ссылкам и по 1PR в пустоту по закрытым. Но эта статья не о Google, вернемся к Яндексу.
Yandex, до апреля месяца 2010г., не учитывал данный статус. В рекомендациях Яндекса находим нашумевший тег
Так в чем же проблема?
Зачем Яндексу понадобилось вводить поддержку rel=»nofollow»?
Все дело в том, что тег . Данный тег нигде в мире, кроме самого Яндекс, не поддерживается и не стандартизирован. При проверке ресурса на ошибки в коде и поддержке web-стандартов, веб-мастера всегда получали «не валидный» код. То есть, ваш ресурс содержит ошибки. Но, спешу вас успокоить, это не критическая ошибка и практически ни на что не влияет. Для тех кому важен валидный код, вот структура, рекомендованная самим Yandex для валидности вашего кода:
Еще одна проблема тега
Атрибут со статусом rel=»nofollow»
стандартизирован и используется во всем мире для указания поисковикам, что ссылка не одобрена автором и по ней не нужно следовать.
Например, если закрыть служебную страницу от индексации в robots.txt, а ссылку оставить открытой, робот проследует на данную страницу, но не проиндексирует ее. Зачем тогда тратить ресурсы робота на переходы по ненужным страницам? Еще есть один нюанс, если на вашу служебную страницу ведут открытые ссылки с других внешних источников, то ваша, как бы закрытая страница, попадет в поиск, даже если она закрыта в robots.txt. Об этом также расскажу в следующих статьях.
Исходя из всего этого, по многочисленным просьбам и жалобам веб-мастеров, Яндекс ввел поддержку стандартизированного W3C атрибута со статусом rel=»nofollow». Атрибут закрывает ссылки от переходов роботом и не передает вес. Теперь многое стало проще. Но есть один нюанс. Анкоры ссылок будут проиндексированы как текст.
Тег очень важен, если вы хотите, чтобы часть текста, со всеми анкорами ссылок и т.д., не индексировалась и не попала в поисковую базу Yandex.
Например, у вас на странице может быть служебная информация, или блок текста с сайта, который используется как негативный пример. Вы не хотите, чтобы поисковик связал ваш сайт с данным текстом или индексировал служебную информацию и сохранил у себя в базе. Для этого данный блок обрамляется тегом .
К сожалению, такого инструмента для Google не существует. Вполне возможно, что Google или консорциум W3C в будущем обратят внимание на данный тег или придумают свой, и веб-мастера получат в свой инструментарий еще один полезный инструмент.
P.S.
Теперь осталось дождаться включения поддержки Яндексом канонического атрибута rel=»canonical»,
о котором я писал в , и многие блогеры вздохнут с облегчением.
Хорошая новость, в конце мая 2011г. Яндекс стал учитывать атрибут rel=»canonical»
. Принесет это облегчение или нет, покажет время.
В последнее время, анализируя проблемные сайты клиентов, часто сталкиваюсь с тем фактом, что многие из них активно используют тег
Стоит заметить, что в документации указан ответ на вопрос “как использовать этот тег”, но совсем не сказано “зачем он введён”. Отчасти, это и является причиной возникновения многих вопросов от вебмастеров.
Если мы поищем в Google ответ на вопрос какая польза от тега noindex или любые рекомендации от сотрудников Яндекса по этому поводу, то ожидаемого ответа на вопросы, зачем он всё-таки был введён и в каких случаях его рекомендуется использовать, мы не получим. Сотрудники Яндекса не берут на себя ответственность в подобных рекомендациях, но при этом и не запрещают использовать noindex в своих целях.
Какие были преимущества у этого тега?
1. Можно было закрыть блок внешних ссылок от индексации (как это делает, например, студия Артемия Лебедева в легендарном смайлике).
Действительно, удобно было закрывать таким способом немодерируемые ссылки, в том числе и в комментариях. Но после введения Яндексом возможности использовать rel=nofollow, как это делают другие крупные поисковые системы, можно смело отказаться от тега noindex, если он использовался только для закрытия внешних ссылок.
2. Можно управлять сниппетом (описанием сайта) в поисковой выдаче.
Так как Яндекс не всегда умеет формировать из контента страницы хорошие сниппеты для своей выдачи, оптимизаторы нашли выход использовать
3. Для Google показывать одно, для Яндекса – другое!
Тегом
4. Подбирать оптимальную плотность ключевых фраз.
Доходит до того, что в тексте оптимизаторы лишние фразы закрывают этим тегом, чтобы Яндекс не счел этот текст спамным. При этом, для посетителей он-таки часто остаётся спамным 🙂 Отсюда и корни большинства бед в SEO , а нужно было лишь дать оптимизаторам этот тег. С другой стороны, Яндекс всегда может узнать по таким маркерам, работал ли с текстом оптимизатор или это нормальный контент.
Кстати, Яндекс не рекомендовал использовать noindex для подбора оптимальной плотности ключевиков, это уже происки оптимизаторов (об этом яндекс и не мог подозревать при введении поддержки тега), зато он активно пессимизирует документы, где часто встречается этот тег.
5. Закрывать счетчики и баннеры.
Экономя на каждой ссылке, вебмастера закрывали в noindex и счетчики посещаемости. Прошло много лет, сейчас Яндекс прекрасно понимает, где что у вас расположено на сайте (в том числе и счетчики). Закрывать их от индексации смысла нет, лучше убрать всё неиспользуемое.
Как мы видим,
Учитывая всё вышеперечисленное, настоятельно не рекомендуется использовать инструмент серой оптимизации noindex, особенно если он раньше не использовался на сайте и существуют дополнительные проблемы с ресурсом (фильтры, подмена релевантной страницы, и другие).
И ещё… У яндекса нет ни одной причины продолжать поддерживать тег noindex (разве что “не трогать то, что работает”). После ввода поддержки атрибута nofollow для ссылок, сложно понять мотив яндексоидов оставить noindex. Возможно, скоро его поддержка будет прекращена.
Таков мой взгляд на однобокий тег noindex. А что вы думаете по этой теме?
