Индексирующий робот Яндекса регулярно обходит страницы сайтов и загружает их в поисковую базу. При этом робот может загрузить не все нужные вам страницы из-за их недоступности.
Яндекс.Вебмастер позволяет узнать, какие страницы вашего сайта обходит робот и выявить адреса страниц, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.
Данные о страницах доступны в Яндекс.Вебмастере на странице Индексирование → Статистика обхода . Информация обновляется ежедневно в течение шести часов с момента посещения страниц роботом.
По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию о конкретном разделе, выберите его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).
Если в списке не все страницы, которые должны участвовать в поиске, сообщите о них с помощью инструмента Переобход страниц .
Информацию о страницах можно выгрузить в формате XLS или CSV с учетом примененных фильтров .
Информация о страницах представлена следующим образом:
Новые и изменившиеся - количество страниц, которые робот обошел впервые, и страниц, статус которых изменился после очередного обращения к ним робота.
История обхода - количество страниц, которые робот обошел, с учетом кода ответа сервера.
Чтобы просмотреть изменения, установите переключатель в положение Последние изменения . В результате отобразится до 50 000 изменений.
Вебмастер показывает следующие сведения о страницах:
код ответа сервера, полученный роботом при посещении страницы.
Основываясь на этой информации, можно узнать, как часто робот обходит страницы сайта, а также понять, какие страницы только появились в базе робота, а к каким робот обращается повторно.
Появление страницы в поисковой базе
Для страницы, которую робот обошел впервые, в столбце Было отображается статус N/a, а в столбце Стало - ответ сервера (например, 200 OK).
После успешной загрузки в поисковую базу страница может появиться в результатах поиска с ближайшими обновлениями поисковой базы. Информация о ней становится доступна в разделе Страницы в поиске .
Повторное обращение робота к странице
Если робот ранее обошел страницу, то при повторном обращении к ней статус может измениться: в столбце Было отображается ответ сервера, полученный во время предыдущего посещения робота, в столбце Стало - ответ сервера, полученный при последнем обращении.
Например, участвующая в поиске страница стала недоступна для робота. В этом случае она исключается из поиска. Через некоторое время после этого ее можно увидеть в списке исключенных в разделе Страницы в поиске .
Удаленная из поиска страница еще может оставаться в поисковой базе для проверки ее доступности. Как правило, робот продолжает обращаться к такой странице, пока на нее ведут ссылки или она не закрыта в файле robots.txt .
Чтобы увидеть список страниц, установите переключатель в положение Все страницы . Список может содержать до 50 000 страниц сайта.
Вы можете просмотреть список страниц сайта, которые обошел робот, и следующую информацию о них:
дата последнего посещения страницы роботом (дата обхода);
адрес страницы относительно корневого каталога сайта;
код ответа сервера при последней загрузке страницы роботом.
Совет. Если в списке отображаются страницы, которые уже удалены с сайта или не существуют, вероятно, робот находит ссылки на них при посещении других ресурсов. Чтобы робот перестал обращаться к ненужным страницам, запретите их индексирование с помощью директивы Disallow в файле robots.txt .
Информацию о страницах и изменениях в поисковой базе робота можно фильтровать по всем представленным параметрам (дате обхода, URL страницы, коду ответа сервера) с помощью значка . Ниже описано несколько примеров:
По ответу сервера
Можно составить список страниц, которые робот обошел, но не смог загрузить из-за ответа сервера 404 Not Found.
При этом можно выявить новые страницы, недоступные роботу, установив переключатель в положение Последние изменения :
А также - получить общий список страниц, недоступных роботу, установив переключатель в положение Все страницы :
По URL с указанием определенного фрагмента адреса
Можно составить список страниц, адрес которых содержит определенный фрагмент. Для этого выберите из списка значение Содержит и в поле укажите нужное значение.
По URL с указанием специальных символов
Специальные символы позволяют задавать не строгое соответствие строки, а ее начало, подстроку и более сложные условия с применением регулярных выражений. Чтобы использовать их, выберите из списка значение Условия , а само условие введите в поле. Можно добавить несколько условий - каждое из них должно начинаться с новой строки.
Для условий доступны правила:
выполнять любое из условий (соответствует оператору «ИЛИ» );
выполнять все условия (соответствует оператору «И» ).
Символ | Описание | Пример |
---|---|---|
* | Использование символа * |
|
@ | ||
~ | регулярному выражению | |
! | Отрицание условия |
Символ | Описание | Пример |
---|---|---|
* | Соответствует любому количеству любых символов | Отобразить данные по всем страницам, которые начинаются с https://example.com/tariff/ , включая указанную страницу: /tariff/* Использование символа * Символ * может быть полезен при поиске URL, которые содержат два определенных элемента или более. Например, можно найти новости или анонсы за определенный год: /news/*/2017/ . |
@ | Выбранные данные содержат указанную строку (но не обязательно строго соответствуют) | Отобразить данные по всем страницам, URL которых содержит указанную строку: @tariff |
~ | Условие является регулярным выражением | Отобразить данные по страницам, URL которых удовлетворяет регулярному выражению . Например, можно выбрать все страницы, в адресе которых есть одно или несколько упоминаний: ~table|sofa|bed |
! | Отрицание условия | Исключить данные по страницам, URL которых начинается со строки https://example.com/tariff/ : !/tariff/* |
При использовании символов не учитывается регистр.добавьте сайт в Яндекс.Вебмастер и подтвердите права на него. Также проверьте, не было ли сбоев на сервере. Если сервер выдает ошибку, робот прекращает индексирование и сделает следующую попытку в порядке общего обхода.
Сотрудники Яндекса не могут ускорить добавление страниц в поисковую базу.
Мы не прогнозируем сроки индексирования сайтов и не даем гарантий, что тот или иной сайт будет проиндексирован. Как правило, от момента узнавания роботом о сайте до появления его страниц в результатах поиска проходит от нескольких дней до двух недель.
Робот берет ссылки с других страниц, а это значит, что на какой-то странице указаны ссылки на секретные разделы вашего сайта. Вы можете как закрыть их паролем, так и указать запрет для робота Яндекса в файле robots.txt . И в том, и в другом случае робот не будет скачивать секретную информацию.
1. Автоматическая переиндексация сайта не выполняется:+ при загрузке файлов по ФТП
- при создании новых сообщений форума
- при возвращении активности ранее деактивированным элементам
- при загрузке статических страниц через интерфейс системы
- при импорте элементов инфоблоков
+ при импорте учебных курсов
Вам нужно провести конференцию или аналогичное мероприятие? Аренда конференц залов в Киеве - вот, что Вам нужно. Доступные цены и высочайшее качество гарантировано!
2. Обновить поисковый индекс необходимо:
После импорта данных через файл CSV
- после активации ранее неактивных элементов
+ изменения параметров морфологического поиска
- после добавления элементов инфоблоков
+ после добавления файлов через ФТП
+ после изменения, добавления правил сортировки
+ создания списка «стоп»-слов
3. Ручная переиндексация:
Не требуется никогда
+ необходима при изменениях адресов форумов, блогов
+ требуется при добавлении информации не через интерфейс системы
+ требуется для модуля Социальная сеть, если выполнялась переиндексация сайта
- необходима только по требованию системы
+ необходима при изменении информации без изменения даты
- требуется при изменения адресов в настройках компонентов при использовании инфоблоков
+ необходима при изменениях в учебных курсах
4. Ограничение области поиска может быть задано с помощью настроек компонента:
- «Форма поиска»
+ «Страница поиска»
5. Чтобы динамическая страница могла участвовать в поиске по её свойствам необходимо:
Включить инфоблок в список индексируемых в настройках модуля «Поиск»
+ поставить соответствующие опции в настройках свойств инфоблока.
- включить инфоблок в список индексируемых в настройках модуля «Информационные блоки»
6. В индексе участвуют:
+ информационные блоки, для которых в настройках свойств указано соответствующее разрешение
+ статические страницы, для которых задан заголовок $APPLICATION -> SetTITLE<>
- статические страницы, в настройках свойств которых разрешено участие в поиске
- любые статические страницы
- информационные блоки, для которых в настройках свойств указано правильные адреса страниц
7. Результат поиска выдается в соответствии с
+ правами пользователя
+ заданными ограничениями на область поиска
- ограничениями модулей и компонентами системы
8. Ограничения на область поиска в настройках модуля «Поиск» можно наложить:
+ на тип файла по маске
- на вид информации (статическая или динамическая)
+ на размер файла
+ на конкретные папки и файлы
- на количество индексируемых документов
9. Использование Google Sitemap позволяет:
+ быстрее попасть в результаты поисковой выдачи
+ уменьшить нагрузку на сайт
- получить преимущества при ранжировании
+ более полно проиндексировать сайт
10. Для правильной работы поиска необходимо чтобы URL страниц, заданных в настройках инфоблока вели
+ на реальные страницы с компонентами или программным кодом, обрабатывающим передаваемые ему параметры
- на реальные страницы
- на реальные страницы с компонентами, в которых подключены именно эти инфоблоки
11. Для определения документов, не участвующих в поиске, на странице настроек модуля «Поиск» служит поле:
Маска включения
- Символы, по которым не производится разделение документа на слова
+ Маска исключения
12. Поисковая фраза: «немецкий автомобиль» не (опель или opel) (1938 или 1939) - для модуля «Поиск» означает найти
Немецкие автомобили производства ранее 1938 или позднее 1939 года не Опель.
+ немецкие автомобили производства всех компаний, кроме Опель, 1938 или 1939 года выпуска с точной фразой в тексте «немецкий автомобиль».
- немецкие автомобили производства всех компаний, кроме Опель, 1938 или 1939 года выпуска.
- немецкие автомобили производства 1938 или 1939 года не Опель.
13. Вес - это:
Инструмент, позволяющий отдать при выдаче результатов поиска предпочтение документам той или иной тематики
- значение, определяющее релевантность документа запросу
+ параметр правила сортировки в поисковой выдаче
14. Использование быстрого поиска
+ увеличивает скорость выдачи результатов
- ограничивает число найденых документов
+ ухудшает ранжирование
15. Правила сортировки используются для:
Исключения определенных документов из поиска
- снижения нагрузки на сервер при выполнении переиндексации сайта
+ управления порядком вывода информации в списке результатов поиска
16. Ограничения на область поиска по статической и динамической информации можно задать:
В настройках свойств инфоблока
- в настройках свойств страницы
- в настройках модуля Поиск
+ в настройках компонента Страница поиска
17. На странице «Переиндексация сайта» (Настройки > Поиск > Переиндексация) можно выполнить переиндексацию
+ блогов
+ форумов
- cоциальной сети
+ инфоблоков
+ статических страниц
+ учебных курсов
18. Чтобы статическая страница могла участвовать в поиске необходимо:
+ создать заголовок страницы
- сохранить страницу с именем index.php
- задать ключевые слова страницы