Приветствую вас, дорогие читатели моего блога!
Продолжаю серию статей на тему поисковой оптимизации, и в сегодняшней статье речь пойдет о зеркале сайта. Для кого-то это вовсе не новая информация, а кто-то услышит ее впервые.
Если у вас есть сайт или блог, то он может существовать по двум адресам:
Дело в том, что сайт с тройным W и без него, это два совершенно разных домена с одинаковым содержимым. Получается, что в сети существует точная копия вашего сайта, но на другом домене.
Зеркало сайта – это сайт, являющийся полной или частичной копией другого сайта, либо если настроен серверный редирект со страницы одного сайта на страницу другого.
Поисковые системы автоматически склеивают зеркала сайтов, и в индексе остается только один сайт – главное зеркало. Соответственно они не будут учитывать ссылки, которые оставляют на не главное зеркало, а это значит, что тот ссылочный вес, который вы могли бы получить, попросту пропадет.
Кроме этого, порой случается так, что поисковый робот может посчитать главным зеркалом вовсе не то, что нужно. Поэтому необходимо указать роботу поисковой системы, какое зеркало является главным.
Если по какой-то причине 2 зеркала стали отображать разное содержимое и в структуре не прописан принудительный редирект, то через несколько недель робот автоматически расклеит зеркала.
Google как то не особо париться по этому поводу. Никаких предупреждений и рекомендаций. Но в панели управления Google Webmasters, можно самому указать главное зеркало. И после того, как вы подтвердите владение доменом, главным зеркалом будет считаться именно то, что вы указали.
Что касается Яндекс, он более капризен, и в разделе «Помощь вебмастеру» есть целый раздел посвященный зеркалу сайта. Этот раздел доступен по ссылке —
Описано там практически то же, что и в этой статье.
Ну вот мы и подошли к главной теме этого поста – проверке и настройке основного зеркала.
Для начала попробуйте ввести домен своего сайта с WWW и без него. Если у вас идет автоматическое перенаправление только на один из этих доменов, значит все отлично. У вас настроен редирект и роботы ПС именно этот адрес считают главным зеркалом. Если перенаправления нет, то необходимо срочно прописать 301 редирект. Иначе вы попросту теряете часть ссылочной массы.
Теперь необходимо проверить по какому адресу индексируют наш сайт поисковые системы.
Для этого откройте поиск Яндекса и в поисковую строку введите следующее:
site:сайт
Вместо моего домена введите свой, и нажмите поиск.
Появиться список страниц вашего сайта. Вам нужно направить курсор мышки на любую ссылку своего сайта, и в нижнем левом углу отобразиться ваше главное зеркало. В моем случае оно без «W».
Теперь, то же самое нужно проделать с поисковой системой Google. Если главное зеркало отображается одинаково, и оно вас устраивает, то отлично. Если же нет, то нужно все исправить.
Для этого заходим в Яндекс Вебмастер. И в меню выбираем раздел «Настройка индексирования» — «Главное зеркало». Здесь нужно будет указать какое зеркало стоит считать Яндексу главным.
После этого переходим в Google Webmasters. В правом верхнем углу находиться иконка, изображающая настройки. Кликаем по ней и в появившемся меню выбираем «Настройки сайта».
Вам аналогично Яндексу предложат выбрать основное зеркало:
Теперь нужно указать главное зеркало в файле robots.txt, чтобы Яндекс его определил. Выглядит это примерно так:
User-agent: * Disallow: /wp-includes Disallow: /wp-feed Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Host: сайт Sitemap: http://сайт/sitemap.xml User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: YandexImages Allow: /wp-content/uploads/
В моем случае надпись — Host: сайт как раз и указывает, на главное зеркало, оно без www. Остальные надписи у вас могут отличаться, в зависимости от того, какие файлы вы разрешаете и запрещаете индексировать.
После того, как вы указали поисковым системам главное зеркало, нужно настроить на главное зеркало, чтобы не терять ссылочной массы. Даже если на ваш сайт уже ссылаются по разным адресам, то редирект переправит пузомерки на основное зеркало через какое-то время.
Для того, чтобы сделать 301 редирект, нужно зайти на свой хостинг и скачать на компьютер файл .htaccess затем отредактировать его в блокноте или в и снова закачать на хостинг. Я советую именно второй вариант.
Внимание. Редирект в файле.htaccess будет работать только на web-сервере Apache.
Стандартный файл.htaccess для движка WordPress выглядит примерно так:
# BEGIN WordPress RewriteEngine On RewriteBase / RewriteRule ^index\.php$ - [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule . /index.php [L] # END WordPress
Для того, чтобы сделать редирект 301 с домена без www на домен с www, нужно добавить вот эти строки в этот файл:
RewriteCond %{HTTP_HOST} ^.*)$ http://www.сайт/$1
Вместо моего домена, введите свой. У вас должно получиться вот так:
# BEGIN WordPress RewriteCond %{HTTP_HOST} сайт RewriteRule (.*) http://www..php$ - [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule . /index.php [L] # END WordPress
Если же вы хотите сделать главное зеркало без WWW, то редирект нужно прописать наоборот, то есть следующим образом:
RewriteCond %{HTTP_HOST} ^www..*)$ http://сайт/$1
Зайдите в раздел «Индексирование» в пункт «Переезд сайта». Выберите новый домен, который будет главным зеркалом. Если в списке нет нужного адреса, то следует .
Если не планируете менять домен, а просто хотите сменить протокол или префикс, то для этого есть два пункта:
Чтобы выбрать главное зеркало нужно пройти несколько этапов:
Раньше это делалось довольно сложно и долго. На данный момент все проходит очень быстро и, обычно, без проблем.
И да, советую переходить на HTTPS , т.к. Google дает таким адресам чуть больше преимуществ за повышенную безопасность передачи данных по этому протоколу.
Если вы планируете сделать главным адрес с протоколом HTTPS (или с префиксом www), то добавляйте адрес именно с этим протоколом (префиксом), например, https://сайт.
Есть другой вариант перехода на главное зеркало — просто сделать 301-редирект. Но если сначала сделать настройки в Яндекс Вебмастере, то переезд пройдет быстрее. Яндекс пишет, что смена занимает от одной до трех недель. После этого сайт начинает участвовать в поиске под именем нового главного зеркала.
Яндекс склеивает все домены и показывает в поиске только главное зеркало. Страницы неглавного зеркала будут в поиске до тех пора, пока страницы главного зеркала их не вытеснят. Вытесненные страницы будут исключены из поиска, но могут храниться в базе Яндекса.
Проверить является ли сайт зеркалом, можно добавив его в Яндекс.Вебмастер.
При необходимости зеркало может быть отклеено.
Да, учитываются. Например, это полезно, если интернет-ресурс переезжает на новый домен. Если старый домен станет неглавным зеркалом нового, это поможет сайту сохранить позиции в поиске.
Да, робот склеит такие сайты, но использовать этот способ не рекомендуется. Вместо него лучше настроить перенаправление на соответствующие друг другу страницы.
Если сайты перестают являться зеркалами друг друга и отдают разное содержимое, в течение нескольких недель они расклеиваются роботом.
Вы можете сообщить роботу о необходимости расклейки сайтов с помощью специального инструмента в сервисе Яндекс.Вебмастер.
После того, как адреса расклеятся, они будут отображаться как отдельные, не связанные между собой ресурсы.
Главное зеркало сайта – это адрес url, который считается основным для данного сайта. Часто бывает, что при индексации поисковыми системами Google и Yandex одна из них принимает за главное зеркало сайт с www а другая без www. Но для поискового робота эти адреса выглядят, как два разных сайта, что может привести к определенным проблемам. Поэтому необходимо,чтобы и Yandex, и Google считали главным зеркалом один и тот же адрес.
Для начала, необходимо определить, какой адрес поисковые системы считают главным зеркалом.
Этот участок текста написан уже позднее, так как совершенно случайно пару месяцев спустя после написания основной статьи, удалось обнаружить бесплатный онлайн сервис, который мгновенно и сразу в определяет главное зеркало.
Изначально этот сервис был создан для проверки доменов на склейку. Но когда мы вводим имя домена, в результате выдается информация о склеенных доменах и какой из них Google, Yandex считает главным зеркалом.
Вводим урл сайта в поле и получаем результат:
Определить главное зеркало сайта можно с помощью формы добавления сайта в систему Яндех: Сообщить о новом сайте .
Введите адрес вашего сайта в необходимое поле. Если адрес является главным зеркалом, Яндекс ответит, что сайт уже добавлен в систему. В противном случае, всплывет окно с надписью, что сайт добавить нельзя, так как он является неглавным зеркалом.
Узнать главное зеркало, определенное гуглом, можно в инструментах вебмастера Google, для этого надо пройти регистрацию и затем подтвердить права на управление сайтами. Затем в панели вебмастера, в настройках индексации сайта, посмотреть, какой адрес является главным зеркалом.
Есть еще один способ, узнать главное зеркало: набрать в поисковой строке Google и Yandex адрес вашего сайта. Url сайта, указанного в результатах поиска (с www или без www) и будет основным зеркалом.
Если все же так случилось, что поисковики определили разные зеркала, то рекомендуется сменить главное зеркало в Google. Это легко сделать в панели вебмастеров. Google легко и быстро переиндексирует ваш сайт, в отличие от медлительного Яндекса.
Здравствуйте, уважаемые читатели блога. Сегодня я хотел бы раскрыть очень важную тему, касающуюся, в первую очередь, сайтов, с которых качают много файлов.
Однако и для рядовых веб-ресурсов эта тема окажется полезной.
В этой статье я расскажу о том, что такое зеркало сайта, какое зеркало будут считать главным поисковые системы, и как «убедить» поисковики считать главным зеркалом тот сайт, который мы считаем подходящим.
Прежде всего, давайте определимся, что вообще такое зеркало сайта и для чего оно нужно.
Зеркало сайта – точная или почти точная копия какого-либо сайта, доступная под разными адресами, но содержащая одинаковый контент .
К примеру, у вас есть сайт с адресом «www.example.ru», но также он доступен по адресу «www.site.ru». В этом случае сайты считаются зеркалами.
Поисковые системы, индексируя интернет, часто сталкиваются с сайтами-клонами, нарушающими авторское право владельца сайта-прототипа. Естественно, что поисковики пытаются такие сайты наказать за воровство идеи, дизайна, контента и т.д. Но при этом нужно уметь отличать сайты-клоны от зеркал сайтов, что в настоящее время поисковики делают очень неплохо. Но все же мы можем помочь Гуглу, Яндексу и другим поисковым системам определить главный сайт и его зеркала, связав их в одну «кучу». Но об этом чуть позже.
Для чего же нужно зеркало или нужны несколько зеркал? Дело в том, что сайт, расположенный на сервере хостинг-провайдера, может быть загружен запросами пользователей. Особенно это заметно в тех случаях, когда сайт предлагает своим посетителям скачать какие-либо файлы. В этом случае скорость скачивания будет сильно зависеть от мощности сервера (вашего хостера), но в любом случае эта мощность конечна. Если же мы создадим копию сайта или несколько копий, то позволим нашим посетителям скачивать информацию с сайта намного быстрее. Это основной смысл зеркал, но далеко не единственный.
Итак, зеркало сайта нужно:
На seo-оптимизацию сайта зеркала прямо не влияют. Но если сайт будет доступен на нескольких серверах, то улучшится его скорость загрузки, что положительно скажется на поведенческих факторах – в частности на показателе отказов.
Кроме этого, сайты-зеркала делят между собой показатели тИЦ и PR – они у веб-ресурсов одни на всех. Т.е. если у главного сайта тИЦ равен «Х», у первого зеркала «Y», а у второго «Z», то у всех них будет один тИЦ, равный «X+Y+Z». Тоже самое касается и PR.
Негативные последствия могут произойти в том случае, если поисковики определят главное зеркало сайта неверно. Тогда вы будете раскручивать один сайт, а он будет считать неосновным, и весь вес перейдет на лже-главное зеркало.
Существует несколько способов, позволяющих склеивать два или большее количество зеркал в один сайт.
Чаще всего это делается в файле robots.txt, где можно прямо указать основное зеркало таким образом:
Но этот способ отлично воспринимает только Яндекс, для Гугла придется использовать другие методы.
Второй по популярности способ – настройка . В этом случае вам нужно на всех сайтах-зеркалах отредактировать файл.htaccess, добавив в него несколько строк:
| RewriteEngine on RewriteCond %{HTTP_HOST} ^site.ru RewriteRule ^(.*)$ http://www.site.ru/$1 RewriteBase / |
RewriteEngine on RewriteCond %{HTTP_HOST} ^site.ru RewriteRule ^(.*)$ http://www.site.ru/$1 RewriteBase /
В панелях Яндекс.Вебмастер и Вебмастерс.Гугл также можно настроить главное зеркало.
Вот где можно сделать это в Яндексе (в качестве зеркал учитываются только проиндексированные сайты)
А так можно поступить с Гуглом.
Ну, это совсем просто. Просто избавьтесь от всего того, что вы делали на предыдущих шагах:=). Но если поисковые системы сами с похожим контентом, то самым грамотным способом их расклеить будет изменение информации на сайтах. Сделайте так, чтобы они были как можно меньше похожими друг на друга, и тогда через некоторое время (как правило, около месяца) поисковики сами автоматически расклеют зеркала.
Надеюсь, что эта статья была полезна.
Если интересует тема создания и настройки зеркала сайта - это статья для вас. Расскажу вам, что такое зеркало и как его сделать.
Вообще, под зеркалами вебмастерами часто понимаются разные вещи. И цели у таких зеркал тоже разные: безопасность сайта, смена адреса и некоторые другие. Обо всем этом поведаю ниже.
Зеркало - дубликат, копия сайта. Зеркальное копирование своего или чужого сайта может быть полным или частичным.
При этом, более глубокое понятие «зеркала» употребляется в разных контекстах и может принимать немного иные значения:
Сложно сказать определенно, какой из вариантов используется чаще: скорее всего у небольших сайтов однозначно первый, у крупных - второй.
Итак, роботы Яндекса и Гугла считают зеркалами полные копии сайтов..ru/about-2 или сайт/about-2 и www.15blogggers.ru/about-2.
При этом, идентичный контент может быть показан как с перенаправлением, так и без..15blogggers.ru/about-2. При отсутствии редиректа, контент просто показывается по двум адресам, но в поисковой выдаче участвует главное зеркало и только оно.
Если вы еще не поняли, для чего конкретно создаются зеркала, расскажу на конкретных примерах.
Я могу сделать зеркало сайта на другом, более красивом домене, чтобы впоследствии перенести туда сайт, сохранив и поисковый трафик, и закладочную аудиторию постоянных посетителей (предварительно подготовив их к переезду на красивый домен). Такие случаи часто возникают в коммерции при слиянии и поглощении фирм - когда наименование и адрес новой объединенной компании должны измениться. Поэтому надо склеить новый домен с существующим.
Я могу «забронировать» домен. Сделаю зеркало сайта для бронирования схожих адресов. Например: kondicionery.ru и konditsionery.ru, fotostudiya.ru и fotostudia.ru. Еще пример: seo-moscow.ru и moscow-seo.ru. Зачем? Ну, для защиты от конкурентов, на всякий случай. Много причин. Иногда бывает так что, допустим, «fotostudia» пользователю проще запомнить и ввести - и речь не только об адресной строке браузера, но и о поисковых запросах. Статистика по запросам изобилует всевозможными опечатками и ошибками: «фольцваген», «ай фон» и др.
Из этого вытекает следующая цель.
Я могу сделать зеркало сайта для продвижения в нескольких странах на разных языках. Пример из жизни: computeruniverse.net, computeruniverse.de, computeruniverse.ru (русская версия что-то не работает в последнее время, вообще работала).
Про создание зеркал с целью стабильной доступности сайта я уже говорил - подобная схема не только обеспечит доступ к сайту в случае падения основного сервиса, но и распределит нагрузку по нескольким серверам т.е. в целом сайт будет всегда отзываться быстрее чем с одного «перегруженного» сервера.
Я могу сделать зеркало сайта, чтобы вывести его из под фильтра. Допустим, зафильтровал Яндекс сайт под одним доменом (или заблокировал Роскомнадзор по IP), а я делаю зеркало на новом сервере, делаю редирект - и снова в топе. Не страшны ни фильтры Яндекса , ни блокировки.
Сейчас расскажу, как создать зеркало для сайта с двумя распространенными целями: объединим домены с «www.» на обычный (+ обратно) и сделаем сайт-зеркало с новым доменом.
В этом деле нам пригодится 301 редирект. Зайдите в корень сайта на своем хостинге и найдите там файл «.htaccess». Создайте, если его нет. Например, в Notepad++. Сделайте пустой файл и где-нибудь его сохраните.
Обратите внимание что я выбрал ALL TYPES в типе файла. По невнимательности ошибки бывают и у меня - недавно редактировал hosts-файл для Windows и сохранил его не глядя как «hosts.txt». С «.htaccess» тоже бывало.
Второй момент - после успешной загрузки хтацесса на хостинг вы потеряете его из виду. Если пользуетесь встроенным браузерным менеджером cPanel, то и не увидите. А если пользуетесь FTP-менеджером, то включите в настройках отображение скрытых файлов и все будет нормально.
Итак, склеим две версии сайта: «15blogggers.ru» и «www.15blogggers.ru». Чтобы это сделать основной версией сайта сайт «www.15blogggers.ru» (вместо сайта семи блоггеров должен быть ваш сайт, это понятно), добавьте в.htaccess файл следующий код:
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^15blogggers\.ru$
RewriteRule ^(.*)$ https://www.15blogggers.ru/$1
Чтобы была основной версия 15blogggers.ru (без «www»), код в.htaccess должен иметь другой вид:
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.15blogggers\.ru$
Ребята, обратите внимание, если вы хотите сделать в качестве зеркала сайт на кириллическом домене (например 7блоггеров.рф) - адрес должен быть в формате punycode: «xn--8-btbddam3byadt.xn--p1ai» или «www.xn--8-btbddam3byadt.xn--p1ai», где «.xn--p1ai» это «.рф».
После заполнения файла.htaccess выбранным способом, нужно изменить файл robots.txt - он тоже находится в корне сайта.
Нам нужно передать привет Яндексу и Гуглу, чтобы он знал, какой адрес будет основным.
User-agent: Yandex
Host: 15blogggers.ru
User-agent: Google
Host: 15blogggers.ru
Host - основной домен.
Теперь нужно подстраховаться и уведомить поисковые системы через панель вебмастера о сделанных изменениях. Это делать не обязательно - но перестраховаться не бывает лишним. В любом случае, склеивать зеркала Яндекс будет примерно месяц.
Для нового домена (в т.ч. в другой доменной зоне), тоже понадобится.htaccess файл - на этот раз у второстепенного домена. Код:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^15blogggers\.com
RewriteRule ^(.*)$ https://15blogggers.ru/$1
RewriteCond %{HTTP_HOST} ^www.15blogggers\.com
RewriteRule ^(.*)$ https://15blogggers.ru/$1
Подробная информация по данному типу склейки с новым доменом содержится в видеоролике:
Есть еще ролик от специалистов Яндекса, только его нельзя встроить, перейдите по ссылке ниже.
Напоследок научу вас проверять зеркала своих и чужих сайтов. Ну это просто, если вы заходите по адресу www.15blogggers.ru, а вас перебрасывает на 15blogggers.ru - зеркало работает. В данном случае, 15blogggers.ru это основной домен, а www.15blogggers.ru - второстепенный.
Второй способ проверить работоспособность зеркал (уже склеенных поисковиками) - ввести в поисковую строку Яндекса или Гугла адрес зеркала сайта. В поисковой выдаче вы увидите отображение основного домена.
Проверить домен на склейку (вариант для ленивых) можно и при помощи сервиса XSEO . Перейдите по адресу и введите домен для проверки.
Индексируются ли зеркала?
Поскольку поисковые роботы склеивают зеркала, впоследствии индексируется из них только основной сайт - главное зеркало. Соответственно, он же и участвует в поисковой выдаче. Как ускорить индексацию сайта — .
Что будет, главное зеркало не указывать совсем?
Бывает так, что вебмастера склеивают зеркала сайта, но при этом забывают сделать указание для поисковых машин о том, какое из зеркал является основным. В этом случае поисковый робот самостоятельно выберет основное зеркало в соответствии со своим внутренним алгоритмом.
Чтобы не было ошибок, не забудьте указать роботу адрес главного зеркала: через директиву Host в robots.txt, серверным редиректом в.htaccess. Примеры настроек я приводил выше.
Можно ли напрямую проверить в Яндексе сайт-зеркало?
Можно. Это делается через аддурилку („Сообщить о новом сайте“). Если добавленный домен будет являться зеркалом, вы увидите: «Указанный вами сайт www.15blogggers.ru является неглавным зеркалом сайта 15blogggers.ru».
При создании зеркала на другом домене, учитываются ли характеристики старого?
Да. Если вы делаете второстепенным зеркалом старый домен с показателями для главного зеркала по новому адресу - это поможет сохранить существующие позиции в выдаче.
Склеятся ли сайты при перенаправлении на главное зеркало со всех страниц неглавного зеркала?
Да. Но лучше так не делать. Сделайте нормально - пусть каждая страница перенаправляет на соответствующую ей страницу на главном зеркале.
Почему сайт пропал из поиска после настройки серверного редиректа на новый домен?
Вероятно т.к. новый домен на момент склейки уже был зеркалом (неглавным). А старый сайт не участвует в поиске, т.к. перенаправляет, а новый еще не появился в поиске потому что не прошло достаточное количество времени, чтобы ПС распознали его как главное зеркало.
Что делать, если структура зеркал отличается?
Ничего страшного не произойдет, в том случае если вы правильно настроите серверные редиректы между страницами зеркал. URL на неосновном зеркале должен строго перенаправлять на URL с идентичным контентом на главном сайте, а страницы со старой структурой - на страницы с новой структурой. Приведу пример для наглядности:
www.6bloggers.ru/old -> www.15blogggers.ru/old
www.6bloggers.ru/new -> www.15blogggers.ru/new
www.15blogggers.ru/old -> www.15blogggers.ru/new
Как расклеить зеркала?
Вернуть настройки в robots.txt и.htaccess к первоначальным. Так поисковая машина узнает, что сайты перестали быть зеркалами, отдают разный контент и можно их расклеить. Это произойдет за 2-3 недели, в редких случаях до 2 месяцев. Напомню, проверить расклейку можно в Вебмастере через форму ”Сообщить о новом сайте“: если сайт ранее был неглавным зеркалом и успешно добавился в форму - все прошло удачно.
Какими сервисам пользоваться для работы с доменами?
Полный список сервисов я описал в этой статье: .
Вот пожалуй и все. Успехов в создании зеркал.
