Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.
Индексация в Яндекс
Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает
Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.
Проверить индексацию сайта в Яндексе можно несколькими способами:
- с помощью Яндекс Вебмастера;
- с использованием операторов поисковой системы;
- с помощью расширений и плагинов;
- с помощью онлайн-сервисов.
Индексация страниц сайта в Яндекс Вебмастер
Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».
Статистика обхода в Яндекс Вебмастер
Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.
Раздел содержит информацию о страницах:
- новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
- изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
- история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).
На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.
А это график истории обхода.
В этом пункте отображены страницы, которые Яндекс нашел.
N/a — URL не известен роботу, т.е. робот её раньше не встречал.
Какие выводы из скрина можно сделать:
- Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
- Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.
Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.
Страницы в поиске
Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.
Информацию в разделе «Страницы в поиске» вы можете использовать:
- для отслеживания изменений количества страниц в Яндексе;
- для слежения за добавленными и исключенными страницами;
- для выяснения причин исключения сайта из поисковой выдачи;
- для получения информации о дате посещения сайта поисковиком;
- для получения информации об изменении поисковой выдачи.
Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.
Проверка количества страниц в индексе Яндекса с помощью операторов
Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.
Будем использовать два оператора:
- «site» — поиск по всем поддоменам и страницам указанного сайта;
- «host» — поиск по страницам, размещенным на данном хосте.
Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.
Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.
Проверка индексации с помощью плагинов и расширений
Проверить индексацию сайта с помощью сервисов
Таких сервисов очень много. Я покажу вам два.
Serphunt
Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.
Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.
Нажимаем «Начать проверку» и через несколько секунд получаем результат:
Доброго дня, читатели . Я всегда получаю много вопросов от вебмастеров, владельцев сайтов и блогеров об ошибках и сообщениях, которые появляются в Яндекс.Вебмастер. Многих такие сообщения пугают.
Но, хочу сказать, не все сообщения бывают критичны для сайта. И в ближайших статьях я постараюсь максимально полно охватить все возможные вопросы, которые могут возникать у вебмастеров. В данной статье пойдет речь о разделах:
- Диагностика — Диагностика сайта
- Индексирование — Страницы в поиске
О том, и зачем он нужен, я писала ещё несколько назад. Если вы не знакомы с данным инструментом, ознакомьтесь сначала со статьей по ссылке.
Диагностика сайта
Возможные проблемы
1. В файле robots.txt не задана директива Host
Данное замечание Яндекс примечательно тем, что директива Host не является стандартизированной директивой, ее поддерживает только поисковая система Яндекс. Нужна она в том случае, если Яндекс неправильно определяет зеркало сайта.
Как правило, зеркало сайта определяется Яндексом автоматически на основе URL, которые формирует сама CMS, и на основе внешних ссылок, которые ведут на сайт. Чтобы указать главное зеркало сайта, не обязательно указывать это в файле robots.txt. Основной способ — использовать 301 редирект, который либо настроен автоматически в CMS, либо необходимый код вносится в файл.htachess.
Обращаю внимание, что указывать директиву в файле robots.txt нужно в тех случаях, когда Яндекс неправильно определяет главное зеркало сайта, и вы не можете повлиять на это никаким другим способом.
CMS, с которыми мне приходилось работать в последнее время, WordPress, Joomla, ModX, по умолчанию редиректят адрес с www на без, если в настройках системы указан адрес сайта без приставки. Уверена, все современные CMS обладают такой возможностью. Даже любимый мной Blogger правильно редиректит адрес блога, расположенного на собственном домене.
2. Отсутствуют мета-теги
Проблема не критичная, пугаться ее не нужно, но, если есть возможность, то лучше ее исправить, чем не обращать внимание. Если в вашей CMS по умолчанию не предусмотрено создание мета-тегов, то начните искать плагин, дополнение, расширение или как это называется в вашей CMS, чтобы иметь возможность вручную задавать описание страницы, либо, чтобы описание формировалось автоматически из первых слов статьи.
3. Нет используемых роботом файлов Sitemap
Конечно, лучше эту ошибку исправить. Но обратите внимание, что проблема может возникать и в тех случаях, когда файл sitemap.xml есть, так и в тех, когда его действительно нет. Если файл у вас есть, но Яндекс его не видит, просто перейдите в раздел Индексирование — Файлы Sitemap. И вручную добавьте файл в Яндекс.Вебмастер. Если такого файла у вас вообще нет, то в зависимости от используемой CMS, ищите варианты решения.
Файл sitemap.xml находится по адресу http://vash-domen.ru/sitemap.xml
4. Не найден файл robots.txt
Все же этот файл должен быть, и если у вас есть возможность его подключить, лучше это сделать. И обратите внимание на пункт с директивой Host.
Файл robots.txt находится по адресу http://vash-domen.ru/robots.txt
На этом фонтан ошибок на вкладке Диагностика сайта у меня иссяк.
Индексирование
Страницы в поиске
Начнем именно с этого пункта. Так будет легче структурировать информацию.
Выделяем в фильтре «Все страницы»
Опускаемся ниже, справа на странице «Скачать таблицу» Выбираем XLS и открываем файл в Excel.
Получаем список страниц, которые находятся в поиске, т.е. Яндекс о них знает, ранжирует, показывает пользователям.
Смотрим, сколько записей в таблице. У меня получилось 289 страниц.
А как понять, сколько должно быть? Каждый сайт уникален и только вы можете знать, сколько страниц вы опубликовали. Я покажу на примере своего блога на WordPress.
В блоге на момент написания статьи имеется:
- Записи — 228
- Страницы — 17
- Рубрики — 4
- Метки — 41
- + главная страница сайта
В сумме имеем 290 страниц, которые должны быть в индексе. В сравнении с данными таблицы разница всего в 1 страницу. Смело можно считать это очень хорошим показателем. Но и радоваться рано. Бывает так, что математически все совпадает, а начинаешь анализировать, появляются нестыковки.
Есть два пути, чтобы найти ту одну страницу, которой нет в поиске. Рассмотрим оба.
Способ первый. В той же таблице, которую я скачала, я разделила поиск на несколько этапов. Сначала отобрала страницы Рубрик. У меня всего 4 рубрики. Для оптимизации работы пользуйтесь текстовыми фильтрами в Excel.
Затем Метки, исключила из поиска Страницы, в результате в таблице остались одни статьи. И тут, сколько бы статей не было, придется просмотреть каждую, чтобы найти ту, которой нет в индексе.
Обращаю внимание, что в каждой CMS своя структура. У каждого вебмастера свои SEO , canonical, файла robots.txt.
Опять же, если на примере WordPress, обратите внимание, какие разделы сайта у вас индексируются, а какие закрыты. Здесь могут быть и страницы Архива по месяцам и годам, страницы Автора, пейджинг страниц. У меня все эти разделы закрыты настройками мета тега robots. У вас может быть иначе, поэтому считайте все, что у вас не запрещено для индексации.
Если взять для примера Blogger, то владельцам блогов нужно считать только опубликованные Сообщения, Страницы и главную. Все остальные страницы архивов и тегов закрыты для индексации настройками.
Способ второй. Возвращаемся в Вебмастер, в фильтре выбираем «Исключенные страницы».
Теперь мы получили список страниц, которые исключены из поиска. Список может быть большой, намного больше, чем со страницами, включенными в поиск. Не нужно бояться, что что-то не так с сайтом.
При написании статьи я пыталась работать в интерфейсе Вебмастера, но не получила желаемого функционала, возможно, это временное явление. Поэтому, как и в предыдущем варианте, буду работать с табличными данными, скачать таблицу можно также внизу страницы.
Опять же, на примере своего блога на WordPress я рассмотрю типичные причины исключения.
В полученной таблице нам в первую очередь важна колонка D — «httpCode». Кто не знает, что такое ответы сервера, прочитайте в википедии . Так вам будет легче понять дальнейший материал.
Начнем с кода 200. Если вы можете попасть на какую-то страницу в интернете без авторизации, то такая страница будет со статусом 200. Все такие страницы могут быть исключены из поиска по следующим причинам:
- Запрещены мета тегом robots
- Запрещены к индексации в файле robots.txt
- Являются неканоническими, установлен мета тег canonical
Вы, как владелец сайта, должны знать, какие страницы какие настройки имеют. Поэтому разобраться в списке исключенных страниц должно быть не сложно.
Настраиваем фильтры, выбираем в колонке D — 200
Теперь нас интересует колонка E — «status», сортируем.
Статус BAD_QUALITY
— Недостаточно качественная. Самый неприятный из всех статус. Давайте разберем его.
У меня в таблице оказалось всего 8 URL со статусом Недостаточно качественная. Я их пронумеровала в правой колонке.
URL 1, 5, 7 — Страницы фида, 2,3,4,5,8 — служебные страницы в директории сайта wp-json. Все эти страницы не являются HTML документами и в принципе не должны быть в этом списке.
Поэтому внимательно просмотрите свой список страниц и выделите только HTML страницы.
Статус META_NO_INDEX.
Из индекса исключены страницы пейджинга, страница автора, из-за настроек мета тега robots
Но есть в этом списке страница, которой не должно быть. Я выделила url голубым цветом.
Статус NOT_CANONICAL.
Название говорит само за себя. Неканоническая страница. На любую страницу сайта можно установить мета тег canonical, в котором указать канонический URL.
Многие начинающие веб-мастера ошибочно полагаю, что после создания сайта он автоматически сразу же должен появится в поисковых системах. И очень удивляются, когда, введя в строку поиска адрес своего сайта, получают в ответ от поисковика «по вашему запросу ничего не найдено». Почему же так происходит?
Поисковым системам нужно время, чтобы узнать о новом сайте, проиндексировать его и занести в свои базы. Обычно 2-3 недели. Если Вы делитесь ссылкой на свой сайт в социальных сетях, то индексация происходит быстрее, потому что сейчас поисковые системы в первую очередь просматривают страницы социальных сетей.
Но Вы можете сами сообщить поисковым системам о Вашем новом сайте. Например, добавить сайт в поисковую систему Яндекс (Yandex) Вы можете по ссылке:
Полезно иметь аккаунт на Яндексе. Тогда Вам будут доступны дополнительные инструменты для работы с сайтом в поисковых системах: количество страниц в поиске, ТИЦ, внешние ссылки, возможность загрузить карту сайта, отслеживать посещаемость сайта (с помощью очень удобного сервиса Яндекс-метрика) и т. д.
Здесь также Вам потребуется аккаунт в Google. И также будут доступны дополнительные инструменты для работы с сайтом.
Поисковые системы являются источником бесплатных целевых посетителей для Вашего сайта. Ведь, когда люди ищут информацию, они прежде всего обращаются к поисковым системам.
Но добавление сайта в поисковые системы - это только первый шаг на пути к получению траффика из поисковиков. Ведь люди будут вводить не адрес вашего сайта, а свои конкретные поисковые запросы - слова или словосочетания для поиска нужной им информации. И Вам нужно, чтобы под конкретные поисковые запросы Ваш сайт выходил на первой, максимум на второй странице поисковиков.
Как этого добиться? Я сама пока далеко не профессионал в этом вопросе. Но я знаю, у кого можно и нужно этому поучиться.
Если Вам понравилась эта статья, поделитесь с друзьями в социальных сетях с помощью кнопок ниже:
Эта запись была написана
в Среда, Август 21st, 2013 в 11:41 пп и опубликована в .
Комментариев: 103
- Игорь пишет:
Добрый вечер. Подскажите «чайнику»- сделал сайт на конструкторе, все вроде правильно (может быть), понимаю, что сразу много ждать не стоит, но как узнать — он вообще жив, пусть где-то на сотой странице?
- анастасия пишет:
Здравствуйте. Создала сайт 2 месяца назад, а в поисковике не выходит. Подскажите что делать? https://www.santexnik-master59.com
- Алексей пишет:
Добрый день. Проверьте сайт http://www.lubipek12.ru
Счётчик Тиц установлен, но нет изменений по нему. Когда сайт попадет в этот рейтинг?
- Александр пишет:
Спасибо за помощь, без вас бы даже и не узнал, что сайты надо индексировать!
- Кирилл пишет:
создал я сайт html способом я не уверен работает или нет ноя зделал все как надо а url не хочет делать вот навсякий случий полная ссылка котороя у меня отображается (не через поисковик) file:///C:/Users/%D0%9A%D0%B8%D1%80%D0%B8%D0%BB%D0%BB/Desktop/ru.sayt.org.html
- Наталья пишет:
Здравствуйте. Я абсолютный новичок в создании сайтов. Создала бесплатную версию на конструкторе сайтов. Домен присвоила. По адресу нахожу сразу. Но как сделать так, чтобы сайт в поисковиках назывался и выпадал в списке типа «Персональная страница….»? Спасибо.
- Наталья пишет:
Спасибо! Очень интересная информация. О том, что сообщить поисковикам можно самим увидела только у вас. Обязательно воспользуюсь вашим советом.
- Наталья пишет:
Очень интересная статья. Только у вас прочитала о том, что можно самим заявить о себе поисковикам. Обязательно воспользуюсь.
- Наталья пишет:
Доброе утро!!! Подскажите,созданный сайт интернет- магазин надо регистрировать???
- Светлана пишет:
Здравствуйте, скажите когда сайт http://bomond.cool/ будет высвечиваться в поиске? при вводе не конкретного названия а сопутсвующих слов. Еще подскажите когда исчезнет старый не рабочий сайт с поиска,если к нему нет доступа для удаления. хостинг и домен не проплачен. сайт не работает. нужно чтобы не высвечивался в поиске. ссылка http://bomond.pro/
Яндекс стремится находить ответ на запрос пользователя, предоставляя на странице результатов информацию и ссылки на нее в интернете. Мы создали и развиваем поиск , исходя из нашего понимания, что нужно пользователям, и какая информация является ценной.
Поэтому следование рекомендациям, приведенным ниже, поможет в индексировании и лучшем ранжировании вашего сайта, в то время как применение обманных техник может привести к понижению его позиций или исключению его из поиска .
Основные принципы
Создавайте сайты с оригинальным контентом или сервисом. Реклама не является той ценностью, ради которой пользователи приходят на сайт.
Думайте о пользователях, а не о поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков? Приходят ли пользователи на ваш сайт или интернет-магазин не только из поисковых систем?
Тщательно продумайте дизайн - он должен помогать посетителям увидеть главную информацию , ради которой сайт создан.
Будьте честны. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Думайте о том, что пользователь получит, придя на ваш сайт .
Примеры к принципам
Если в этом разделе не описан какой-то прием, помогающий искусственно повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и выше описанным принципам.
Мы стараемся не индексировать или не ранжировать высоко:
- Сайты, которые вводят в заблуждение посетителей: при скачивании какого-либо файла (аудио, видео, торрент-файл и пр.) загружается посторонняя программа. Или посторонняя программа размещается под видом популярного приложения и т. д. Примером такого нарушения являются так называемые программы-обертки .
- Сайты, использующие устройства посетителей для майнинга криптовалют .
Сайты, копирующие или переписывающие информацию с других ресурсов и не создающие оригинальный контент.
- Сайты, копирующие или переписывающие информацию с других ресурсов, с низкокачественным автоматическим переводом контента на другой язык, не создающие оригинальный контент.
Страницы и сайты, единственной целью которых является перенаправление посетителя на другой ресурс, автоматически («редирект»
) или добровольно.
Автоматически сгенерированный (бессмысленный) текст.
Сайты с каталогами (статей, программ, предприятий и т. п.), если они являются только агрегаторами контента, не создают тексты и описания самостоятельно и не предоставляют никакого уникального сервиса.
Страницы с невидимым или слабовидимым текстом или ссылками .
Сайты, отдающие разный контент посетителям и роботам поисковых систем («клоакинг»
),
Сайты, предоставляющие товары или информацию по партнерским программам, но не представляющие никакой ценности для посетителя.
Сайты, использующие обманные техники (например, вредоносный код , опасные для посетителей сайта настройки CMS и серверов, вирусы в партнерских программах , вредоносные мобильные редиректы), перенаправляющие посетителей на сторонние ресурсы или меняющие окно результатов поиска на страницы других ресурсов при переходе из поисковых систем.
Сайты, пытающиеся повлиять на поисковую систему путем имитации действий посетителей .
Сайты, основным предназначением которых является агрессивная демонстрация рекламных материалов (в том числе popup, popunder , clickunder).
-
