Сайт о телевидении

Сайт о телевидении

» » Указать главное зеркало в гугле. Расширение настроек зеркал в вебмастере

Указать главное зеркало в гугле. Расширение настроек зеркал в вебмастере

В этой статье я вам расскажу о том, что такое главное зеркало сайта, о доменах с WWW и без WWW и прочих вещах, связанных с этой интересной историко-технической темой. А для начала разберём понятие «WWW» и определим, как правильнее записывать адрес.

Коротко об истории WWW и как правильно писать

WWW – это английская аббревиатура, которая расшифровывается как world wide web, что можно перевести на русский язык, как «всемирная паутина». Понятие «WWW» ввели в 1989 году Тим Бернерс-Ли и Роберт Кайо – дядьки, которые изобрели Интернет. Этими тремя буками они отмечали текст, который являлся гиперссылкой, чтобы её было легко распознать.

С тех пор прошло более 25 лет и теперь каждый знает, где просто текст, а где гиперссылка. И поэтому надобность в WWW отпала. Сегодня WWW можно считать рудиментарным атрофированным органом, который хоть и есть, но не на что уже не пригоден.

Любой сайт будет доступен по адресу с WWW и без WWW, однако в строке браузера будет отображаться лишь один вариант – тот, который выбран главным зеркалом. Главное зеркало сайта может быть как с WWW, так и без него.

Чтобы указать главное зеркало сайта c WWW, вставьте в.htaccess такой код:

RewriteEngine On RewriteCond %{http_HOST} ^example\.ru$ RewriteRule ^(.*)$ http://www.example.ru/$1

RewriteEngine On

RewriteCond % { http_HOST } ^ example \ . ru $ [ NC ]

RewriteRule ^ (. * ) $ http : //www.example.ru/$1

А если хотите сделать без WWW, то такой:

RewriteEngine On RewriteCond %{http_HOST} ^www.example\.ru$ RewriteRule ^(.*)$ http://example.ru/$1

RewriteEngine On

RewriteCond % { http_HOST } ^ www . example \ . ru $ [ NC ]

Здравствуйте уважаемые читатели, в этой статье я хочу вам рассказать о небольшом мошенничестве, с продажей зеркал сайтов. А также рассказать, как не попасться на уловки мошенников…

Здравствуйте уважаемые читатели, в этой статье я хочу вам рассказать о небольшом мошенничестве, с продажей зеркал сайтов. А также рассказать, как не попасться на уловки мошенников.

Что такое зеркало .
Само по себе зеркало представляет точную копию основного сайта на другом домене. То есть ни дизайн, ни логотип не должны отличатся.
Зеркало сайта делается по нескольким причинам. Самой важной окажется то, что разработчики хотят обеспечить своему сайту максимальный uptime, в связи с этим делают несколько копий сайта на разных серверах и в случае недоступности основного сайта, посетитель попадает на его зеркало.

Как относятся поисковики к зеркалам .
К зеркалам сайтов поисковые системы относятся довольно нормально. Просто дополнительный домен склеивается с основным и всё. И в выдаче участвует только основной сайт. Однако ссылки проставленые на сайт зеркало полным весом перетекают на основной сайт. ТИЦ и PR для таких сайтов высчитывается только на основной, а зеркалу даётся просто так. По этому не стоит бояться что пузомерки будет нарастить сложнее. Они поднимаются точно так, как и с одним доменом.

Мошенничество с зеркалами .
Уже не раз видел когда продают домены с показателями ТИЦ и PR, причём не дорого. Низкая цена всегда вызывает подозрение, но вот не каждый способен найти подвох. А подвох в том, что ТИЦ и PR у доменов не настоящий, а клееный. То есть он отображается, как у главного домена, к которому был приклеен продаваемый. Держаться он будет, но не долго, до первого апдейта, после чего отвалится и его не станет. По этому стоит быть аккуратным при покупке доменов с ТИЦ и PR.

Как узнать является ли домен зеркалом или нет .
Вообще вариантов проверки существует много, но я расскажу два самых простых. Первый — воспользоваться сервисом по анализу сайтов и доменов. Просто вбиваете интересующий вас домен и вам выдаёт его параметрыи если он склеен, то вам напишут рядом с показателями ТИЦ и PR. Сам сервис cy-pr.com
Второй способ — установка плагина в браузер. Называется RDS bar. Я в одной статье рассказывал, что данное дополнение проводит анализ сайта и при переходе на интересующий вас домен высветится надпись, клей или нет.

Надеюсь данная статья поможет вам избежать мошенничества с доменами. Да и вообще я считаю, что лучше не покупать домены с показателями, а начинать всё самому с нулёвым доменом. Тогда хоть можно будет гордится своими достижениями.

Главное зеркало сайта или основной домен сайта следует указывать поисковым системам для того, чтобы они точно знали какой из доменов считать основным, а какой зеркалом.

Указание главного зеркала сайта является одним из пунктов по технической оптимизации сайта. Это действие можно сделать тремя способами:

  1. Настройкой файла robots.txt
  2. Настройкой файла.htaccess
  3. Настройкой соответствующих разделов в инструментах для вебмастеров поисковых систем Яндекса и Google.

Уточняю один момент. В данном посте мы рассмотрим самый распространенный случай по определению главного зеркала сайта – с WWW или без WWW.
Другие ситуации, которые возникают, например, при переезде сайта на другой домен мы опустим.

Честно говоря, современный аналитический уровень возможностей поисковых систем, на мой взгляд, может легко обеспечить решение этой задачи.

Но все ведущие специалисты по продвижению все-таки настоятельно рекомендуют проводить такую настройку.

Причем настаивают выполнять все три вышеперечисленных пункта, несмотря на то, что пункт с robots.txt носит рекомендательный характер для поисковых систем.

Настройка robots.txt

Файл robots.txt представляет собой текстовый файл с набором определенных директив. Расположен этот файл в главной директории сайта. Редактируется простейшими редакторами типа «Блокнот».


Очень хорошо и подробно описано применение этого файла и его команд в справочном разделе сервиса Яндекс Вебмастер. Также можно расширить свой кругозор в этом вопросе на сайте robotstxt.org.ua.

В этой публикации нам следует указать поисковым системам главное зеркало сайта. Делается это при помощи директивы Host следующим образом:

Обращаю Ваше внимание, что эту директиву используют только для поискового робота Яндекс. Фрагмент выглядит примерно таким образом:

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
……………
Disallow: /tag
Disallow: /feedback
Host: сайт

Проверить корректность заполнения файла robots.txt можно в том же Яндекс Вебмастере. В разделе «Настройка индексирования» есть подраздел, который так и называется «Анализ robots.txt».

Отмена директивы Host в Яндексе

Поисковая система Яндекс объявила, что с марта 2018 года директива Host в файле robots.txt больше поддерживаться не будет.

Хорошо это или плохо? Скорее хорошо. Ведь Google и ранее не учитывал эту директиву. Теперь правила указания основного зеркала сайта становятся более унифицированными.

Настройка файла.htaccess

Определение главного зеркала сайта в файле.htaccess осуществляется путем настройки 301 Редиректа.


Как это делается можно . Здесь даны примеры настройки для блогов на CMS WordPress.

Файл.htaccess, как и robots.txt, также является текстовым файлом и располагается в главной директории сайта. В этом случае все его директивы должны выполняться для всего сайта. Если же такие файлы встречаются в других директориях сайта, то его команды будут действовать только в этой директории и в подчиненных ей поддиректориях.

Настройка главного зеркала сайта в инструментах вебмастеров.

Для настройки главного зеркала сайта в инструментах для вебмастеров Яндекса и Google следует иметь аккаунт в этих поисковых системах.

Также для этого следует подтвердить права на сайт. Как это делается, надеюсь, Вы уже знаете.

Заостряю Ваше внимание на одном нюансе. В инструментах вебмастеров Google следует подтверждать права как на домен с www, так и без www.

Это делается довольно просто, путем размещения небольшого файла в основной директории или указания специальных тегов.

Настройка зеркала в Яндексе

Указание главного зеркала в Яндексе происходит в разделе «Настройка индексирования». В подразделе «Главное зеркало» дается три варианта, которые следует указать. По умолчанию система выбирает – «На усмотрение робота».

Таким образом производилась настройка в старой версии Вебмастера. В новом Вебмастере Яндекса этот параметр настраивается несколько по другому. Думаю, что главное зеркало Яндекс определяет при регистрации сайта в этом сервисе. Вы ведь явно указываете протокол и URL основного домена с www или без него.

При необходимости главное зеркало можно перенастроить в разделе «Индексирование» — подразделе «Переезд сайта».

Настройка зеркала в Google

В инструментах для вебмастеров Google возможность настройки находится сразу при входе в раздел «Настройки сайта». Но еще раз повторюсь, что подтвердить права на домен придется дважды. Для домена с www и без www.

Вот такие нехитрые, но необходимые действия следует проделать, чтобы у поисковых систем не осталось вопросов о Главном Зеркале Вашего сайта или сайтов Ваших клиентов.

Главное зеркало – основная версия сайта. Зеркалом именуют полную или практически полную копию сайта, размещённую по другому интернет-адресу. Она повторяет контент на 80% и выше. Для поисковых роботов, наличие приставки www перед адресом делает сайт совершенно другим, то есть www.названиесайта.ru и названиесайта.ru – понимаются, как физически отличающиеся адреса.

Яндекс и Google индексируют сайты по-разному: первый может считать главным сайтом www.сайт.ru, а второй – сайт.ru. Или наоборот. Именно поэтому важно «тыкнуть их носом» в главный и зеркальный сайты.

Почему важно чтобы сайт имел главное зеркало?

Обычно зеркало сайта возникает из-за www-префикса.. Но случаются и переезды на другой домен с оставлением того же контента сайта, но без настройки редиректа.

Но если не сделать это по-умному, то ТИЦ и PageRank только снизятся для каждого сайта, разделившись, из-за непонимания поисковиками, что должно считаться главным зеркалом, а что – второстепенным. Поэтому, чтобы не навредить себе, вебмастер должен дать понять роботам Яндекс и Google – какая версия сайта является главным зеркалом.

Также перестанет работать часть ссылок и поведенческие факторы. Если по ссылкам переходят на сайт.ru и проводят там долго времени - это сигнал поисковой системе о качестве сайта. При этом переход по ссылке на www.сайт.ru - никакого влияния на сайт.ru не окажет.

Как проверить и определить, указано ли главное зеркало.

Проверка правильности настройки зеркала проста – в адресной строке используемого браузера вводится адрес сайта.

Возьмём адрес www.сайт.ru, как и в прошлых примерах. Если после ввода адреса и символы www не исчезли, перенаправив пользователя на сайт.ru, то далее следует проверка сайт.ru тем же способом.

Если после перехода адрес снова не изменился – то есть к нему не добавились символы www, – то значит, что зеркало не настроено. Получается, что оба указанных адреса индексируются поисковыми системами как самостоятельные сайты.

Виртуальный хостинг сайтов для популярных CMS:

И это плохо, поскольку все показатели распыляются на 2 сайта. Как поправить ситуацию – рассмотрим ниже.

Какую версию выбрать основной – с www или без?

Большинство сайтов сейчас отображаются без приставки www, поскольку она являла собой некую отличительную черту адреса на заре становления Internet как глобальной сети. Тогда буквы www считались прогрессивным префиксом, который отождествлялся с Интернетом как жутко интересной новинкой.

По мере того, как он плотнее входил к нашу жизнь, сайтостроители задали тенденцию к упрощению. В том числе это коснулось и самих адресов. Поэтому, выбирая основное зеркало сегодня, следует задавать адрес без www, который стал уже анахронизмом, пережитком времени.

Главное зеркало в инструментах Яндекс Вебмастер и Google Search Console.

Значения главного и второстепенного зеркала задаются с помощью файлов.htaccess и robots.txt, которые должны быть помещены в корневую директорию домена. В первом необходимо прописать условие – если пользователь заходит на www.сайт.ru, то он перенаправляется на сайт.ru. Какой вид это имеет в коде – можно найти в интернете для каждого конкретного случая (в зависимости от того, какая CMS используется).

Поскольку файл.htaccess не гарантирует абсолютно одинакового понимания роботами от Яндекс и Google какая версия является главным зеркалом, то в инструментарии web-мастера нужно проделать нижеследующую работу.

Для Яндекса:

  1. Зайти в инструменты вебмастера, пункт «Настройка индексирования» – «Главное зеркало».
  2. Указать в нём один из трёх имеющихся вариантов: «на усмотрение робота», «www.сайт.ru» или «сайт.ru» (вместо «сайт.ru» следует подставлять нужный адрес сайта). В этом случае выбор должен быть остановлен на «сайт.ru».

Для Гугла:

  1. Зайти в Google Search Console, в раздел – «Сообщения».
  2. В пункте «Выберите предпочтительную версию» – указать желаемую версию сайта.

Директива host в robots.txt для Яндекса

Для Яндекса указание в.htaccess и инструментах вебмастера не гарантирует стопроцентный результат. Поэтому следует в файле robots.txt в корне директории с сайтом прописывать директиву, отправляющую Яндекс на нужный сайт – Host. В файле прописывается следующее:

User-agent: Yandex
Disallow: /wp-admin
Host: сайт.ru

В сроке «Disallow:» указывается всё, что, по мнению вебмастера, не должен делать и куда не должен заглядывать робот от Яндекса – cgi-bin, админка и т.п. В приведенном примере от индексации закрыта администраторская часть wordpress.

После этого, Яндекс правильно определяет основное зеркало сайта.

Как сделать главное зеркало с SLL и HTTPS

После перевода сайта на протокол HTTPS, Google начинает https-сайты повышать в позициях выдачи, т.к. считает их сайтами с повышенной безопасностью. Поэтому, кроме перехода на безопасный протокол шифрования, после такого шага необходимо выполнить редирект зеркала на основное, содержащее HTTPS.

Если до этого сайт http://сайт.ru был основным, а http://www.сайт.ru – вспомогательным, то теперь основным станет https://сайт.ru, а два указанные – вспомогательными зеркалами. Причиной переезда сайта на новый адрес, с буковкой «s» является установка на сайт сертификатов SSL, повышающих безопасность (данные, которые передаются на сайт шифруются).

Мониторинг проиндексированных страниц сайта.

Роботам требуется определённое время, чтобы «прочитать» изменения, произошедшие на сайте. А потому проверяются показатели посещаемости и количество страниц в индексе спустя 2-4 недели.

Это делается, чтобы удостовериться, что выполненные ранее действия привели к желаемому результату. Если что-то не получилось – необходимо проверить – возможно, где-то закралась ошибка. Даже лишняя запятая, закравшаяся в код, может сделать файлы robots.txt и.htaccess бесполезными для поисковых систем.

Здравствуйте, уважаемые читатели блога. Сегодня я хотел бы раскрыть очень важную тему, касающуюся, в первую очередь, сайтов, с которых качают много файлов.

Однако и для рядовых веб-ресурсов эта тема окажется полезной.

В этой статье я расскажу о том, что такое зеркало сайта, какое зеркало будут считать главным поисковые системы, и как «убедить» поисковики считать главным зеркалом тот сайт, который мы считаем подходящим.

Прежде всего, давайте определимся, что вообще такое зеркало сайта и для чего оно нужно.

Зеркало сайта – точная или почти точная копия какого-либо сайта, доступная под разными адресами, но содержащая одинаковый контент .

К примеру, у вас есть сайт с адресом «www.example.ru», но также он доступен по адресу «www.site.ru». В этом случае сайты считаются зеркалами.

Поисковые системы, индексируя интернет, часто сталкиваются с сайтами-клонами, нарушающими авторское право владельца сайта-прототипа. Естественно, что поисковики пытаются такие сайты наказать за воровство идеи, дизайна, контента и т.д. Но при этом нужно уметь отличать сайты-клоны от зеркал сайтов, что в настоящее время поисковики делают очень неплохо. Но все же мы можем помочь Гуглу, Яндексу и другим поисковым системам определить главный сайт и его зеркала, связав их в одну «кучу». Но об этом чуть позже.

Для чего же нужно зеркало или нужны несколько зеркал? Дело в том, что сайт, расположенный на сервере хостинг-провайдера, может быть загружен запросами пользователей. Особенно это заметно в тех случаях, когда сайт предлагает своим посетителям скачать какие-либо файлы. В этом случае скорость скачивания будет сильно зависеть от мощности сервера (вашего хостера), но в любом случае эта мощность конечна. Если же мы создадим копию сайта или несколько копий, то позволим нашим посетителям скачивать информацию с сайта намного быстрее. Это основной смысл зеркал, но далеко не единственный.

Итак, зеркало сайта нужно:

  • для уменьшения нагрузки на сервер;
  • для возможности проведения технических работ на «запасном» сайте без отключения самого сайта;
  • для сохранности данных (резервные данные никогда не помешают);
  • для того чтобы сайт был доступен по нескольким url-адресам.

Роль зеркал в SEO

На seo-оптимизацию сайта зеркала прямо не влияют. Но если сайт будет доступен на нескольких серверах, то улучшится его скорость загрузки, что положительно скажется на поведенческих факторах – в частности на показателе отказов.

Кроме этого, сайты-зеркала делят между собой показатели тИЦ и PR – они у веб-ресурсов одни на всех. Т.е. если у главного сайта тИЦ равен «Х», у первого зеркала «Y», а у второго «Z», то у всех них будет один тИЦ, равный «X+Y+Z». Тоже самое касается и PR.

Негативные последствия могут произойти в том случае, если поисковики определят главное зеркало сайта неверно. Тогда вы будете раскручивать один сайт, а он будет считать неосновным, и весь вес перейдет на лже-главное зеркало.

Как склеивать зеркала

Существует несколько способов, позволяющих склеивать два или большее количество зеркал в один сайт.

Файл роботс

Чаще всего это делается в файле robots.txt, где можно прямо указать основное зеркало таким образом:

  • Host: www.site.ru

Но этот способ отлично воспринимает только Яндекс, для Гугла придется использовать другие методы.

Редирект

Второй по популярности способ – настройка . В этом случае вам нужно на всех сайтах-зеркалах отредактировать файл.htaccess, добавив в него несколько строк:

RewriteEngine on RewriteCond %{HTTP_HOST} ^site.ru RewriteRule ^(.*)$ http://www.site.ru/$1 RewriteBase /

RewriteEngine on RewriteCond %{HTTP_HOST} ^site.ru RewriteRule ^(.*)$ http://www.site.ru/$1 RewriteBase /

Панель вебмастеров

В панелях Яндекс.Вебмастер и Вебмастерс.Гугл также можно настроить главное зеркало.

Вот где можно сделать это в Яндексе (в качестве зеркал учитываются только проиндексированные сайты)

А так можно поступить с Гуглом.

Как расклеить зеркала

Ну, это совсем просто. Просто избавьтесь от всего того, что вы делали на предыдущих шагах:=). Но если поисковые системы сами с похожим контентом, то самым грамотным способом их расклеить будет изменение информации на сайтах. Сделайте так, чтобы они были как можно меньше похожими друг на друга, и тогда через некоторое время (как правило, около месяца) поисковики сами автоматически расклеют зеркала.

Надеюсь, что эта статья была полезна.