Сегодня я с ужасом обнаружил, что целая куча страниц на всех моих сайтах выпали из Яндекса. Из-за этого трафик везде просел в два-три раза, а как понимаете — это полная печаль 🙁 Почему страницы выпали из Яндекса?
Причина, скорее всего, кроется в недавнем падении моего сервера, об этом я писал в своем живом журнале, тут писать, по понятным причинам, не мог. Сервер лежал почти сутки, называется, поковырялся в пятницу вечером!
НИКОГДА НИЧЕГО НЕ ДЕЛАЙТЕ НА СЕРВЕРЕ В ПЯТНИЦУ ВЕЧЕРОМ!
Почему? Потому что и у ребят, которые держат хостинг тоже есть выходные. Они оставляют дежурного специалиста, и я на собственном опыте убедился, что в это время суток сажают не самых лучших. Но это ладно, тема для отдельного разговора.
Сначала я подумал, что трафик просел из-за Пасхи , люди гуляют, интернетом пользуются реже. На выходных у меня всегда проседает немного посещаемость, а на большие праздники еще сильнее.
Но наступил понедельник, а трафик так и остался на пасхальном уровне, и вот тогда я начал беспокоиться. Полез стразу в Яндекс вебмастер, и вот что я вижу:
40% статей на этом блоге вылетели из индекса! Понятно, почему ! Связано ли это с падением сервера? Захожу в Яндекс вебмастер и сморю на исключенные страницы:
Как хорошо видно на фото, страницы вылетели из индекса 23 числа. Когда было падение сервера? Смотрим:
Как видно на графике, падение сервера было тоже 23 числа. Но это пока догадки, написал в Яндекс, через несколько часов получил ответ:
Здравствуйте, Андрей!
Все указанные страницы Вы можете найти среди исключенных из поиска в соответствующем разделе «Яндекс.Вебмастера». Дело в том, что 23 апреля, когда робот обращался к ним, Ваш сервер вернул код ответа 404. Сейчас со страницами все в порядке, роботу уже об этом известно, поэтому они смогут вернуться в поиск уже после следующего обновления поисковой базы.
О двух других сайтах, пожалуйста, напишите отдельно с помощью формы на странице .
Правило вести о каждом сайте отдельную переписку помогает нам избежать путаницы и быстрее отвечать Вам.
Спасибо за понимание, ждем Вашего письма!
Все ясно, пришел робот, а сайт в ауте, он не долго мучаясь выкинул пол сайта из индекса. МОЛОДЕЦ! ВОЗЬМИ С ПОЛКИ ПИРОЖОК!
Я все понимаю, алгоритмы там всякие, но вот объясните мне, сотрудники Яндекса: почему ОДИН раз не найдя страницу ваша поисковая система сразу выкидывает ее из индекса? В то же время у меня до сих пор в индексе много страниц, которые я уже как пол года назад удалил, и они все в индексе?
Но не об этом даже хотел я написать, это была прелюдия. В процессе решения этого вопроса у меня возник закономерный вопрос:
Рыская по интернету я нашел отличное решение по МАССОВОМУ поиску выпавших из индекса страниц, будь то из Яндекса или Google. Для этого нам понадобятся две программы: SiteMap Generator и .
Первая программа (бесплатная) поможет нам выкачать с сайта все статьи. Запускаем программу, пишем адрес сайта и запускаем сканирование:
Когда все страницы собраны, переходим во вкладку Yahoo и копируем список всех страниц.
Далее вставляем все это в таблицу EXEL и сортируем по алфавиту. Так как программа спарсила нам и все картинки, которые нам не нужны, благодаря сортировке мы сможем все их быстро найти и удалить. Теперь открываем Key Collector и идем в НАСТРОЙКИ программы:
В ИНТЕРФЕЙСЕ настраиваем все так, как показано на фото выше. Далее переходим в другую вкладку и удаляем все символы из указанных полей:
Теперь прописываем в верхнем правом поле адрес нашего сайта и запускаем сбор позиций Яндекс или Google:
После того как все закончилось выгружаем результат в EXEL. Что мы видим?
А видим простую картину: если страница не в индексе, то в выдаче релевантной страницей будет главная страница или другая похожая статья. Отсортируем левую колонку по алфавиту и сразу увидим страницы, которые выпали из индекса:
Все это делается за пять минут. Что дальше? В моем случае нужно ждать обновления выдачи (сегодня утром он случился), если же страницы выпали из индекса по другим причинам, то можно загнать их обратно способами, изложенными в этой статье — как можно ускорить индексацию сайта?
Написал это больше для себя, чтобы не забыть алгоритм, все может повторится, ну и вам может быть пригодится. И еще урок для всех: держи ноги в тепле, в сервер в холоде…
Не нашли ответ? Воспользуйтесь поиском по сайту
Яндекс - это загадка! По идее 1000 страниц (уникального?) контента должны давать как минимум 1000 посетителей. Если речь идёт о поисковом трафике, то здесь многое зависит от того, сколько страниц находится в индексе (базе данных) поисковой системы. Конечно, там много всяких факторов, но меня интересует вот что: как и почему пропадают страницы из этого самого индекса Яндекса?
Примечание : эту тему я подымал в своём журнале неоднократно. Проблемы и индексации, на живом примере, достаточно актуальны и вот только теперь, благодаря ответам Александра Садовского , руководитель отдела веб-поиска Яндекса, на первом в истории существовании SEO в Рунете закрытом круглом столе, нашёлся таки хоть какой-то более-менее реальный ответ.
В сервисе Яндекс.Вебмастер есть такие параметры как количество загруженных роботом страниц и количество страниц в поиске. Параметр загружено роботом подразумевает количество страниц, к которым смог (успел?) обратиться робот поисковой системы. Параметр страниц в поиске подразумевает количество страниц, загруженных роботом, прошедших все проверки и участвующих в поиске.
Понятно, что дубликаты, редиректы, спам и т.д. не попадают в результаты поиска. В тоже время, бывает и так, что страница проиндексировалась нормально, а потом исчезла в неизвестном направлении. Именно поэтому значения выше упомянутых параметров могут значительно отличаться друг от друга. Например, у моего журнала, на момент написания заметки, были следующие значения: загружено роботом - 684 , страниц в поиске - 313 . И это ещё не самый худший вариант.
Дело в том, что при ранжировании страницы в Яндекс учитывается множество статических (связанных с самим сайтов) и динамических (зависящих от запроса пользователя) факторов. Если страница не появляется даже на тысячном месте, вне зависимости от сочетания этих факторов, то смысла хранить её нет. Поэтому, со временем, она может исчезнуть из поисковой выдачи. Другими словами, несмотря на то, что сайт нужно делать для людей, но только спрос может обеспечить существование вашей страницы в поисковой выдаче.
Примечание : если говорить о ЖЖ не стоит забывать, что архив здесь закрыт для индексации, а в общей ленте выводятся далеко не все заметки. Лично у меня на странице?skip=390 , ссылка Previous 10 entries ведёт уже в архив.
Поэтому уникальный контент в ЖЖ нет смысла постить. Теперь я понимаю копипастеров. Спасибо за пост. Многое прояснилось теперь.
Почему же нет смыла? Главное чтоб он успел попасть в индекс. Можно также периодически перелинковку делать, т.е. в новых статьях давать ссылки на старые. Можно ещё обновить дату, сабж в RSS не попадёт но будет на главной странице. В общем, всё относительно.
Речь же в моей заметке не об этом, а о том чтоб контент был вообще востребован и входил хотя бы в первую 1000 по какому-то из более-менее актуальных поисковых запросов.
Вот про тысячу страниц контента и как минимум тысячу посетителей, как становится ясно из видео, фотография из которого в этой статье выложена, Яндекс и говорит.
Правда, я так и не понял, зачем им подобные трудности с отбором мусора, если весь мусор всё равно присутствует в архиве загруженных роботом страниц. Они заявляют, что если контент не запрашивается пользователями, он не будет показан - и пусть не показывают, зато объединили бы "Страницы в поиске" и "Загружены роботом". Была бы одна база, меньше трудностей и, следовательно, меньше проблем...
Ну, мусор не показывают чтоб ресурсы сэкономить - это понятно. А информация "Страниц в поиске" и "Загружены роботом" всё таки нужна. Хотя бы для того, чтоб вебмастер мог сориентироваться нет ли проблем при индексации его сайта. Хотя, здесь было бы удобней, если бы Яндекс показывал какие именно страницы загружены роботом, а то только одна структура. А лучше всего страницы, которые исключены из поиска, тогда сразу можно было бы понять над чем нужно поработать. В общем, как всегда что-то и как-то не так в логике, но имеем то, что имеем (имхо).
Всем привет! Сегодня пост о SEO. Нередко бывают случаи, когда оптимизируется одна страница сайта, а в поисковой выдаче появляется другая. Вам знакомы такие ситуации? Как же так происходит, что работа ведется над одним документом, а в серпе появляется другой? Одни начинают винить в этом поисковую систему, которая не правильно определила страницу. Вторые перекидываются на продвижение другой (более релевантной, по мнению поисковика). Третьи пытаются понять причины сего действия. Вот об этих причинах и пойдет речь в статье.
Вообще, ситуация с выбором поисковой системой не той страницы в результатах поиска - довольно частое явление. Вроде стараешься, затачиваешь документ под продвигаемые запросы, а поисковик выбирает совершенно другое. Обычно это происходит на более менее масштабных ресурсах со смежными целевыми запросами. Например, когда случайная карточка товара в интернет-магазине вытесняет категорию, которая находится в продвижении.
Чтобы без паники принять нужное и правильно решение, необходимо разобраться в причинах нахождения в поисковой выдаче не той страницы. Их несколько.
Полные и неполные дубли чреваты постоянной сменой целевой страницы в поисковой выдаче. Также из-за них вы можете неправильно выбрать продвигаемый документ, основываясь результатами внутреннего поиска по сайту.
Например, недавно искал статью в блоге Деваки про 301-редирект. В Яндексе получил такие результаты:
Посмотрел урлы и сначала подумал, что это одна и та же страница, но на разных местах. Как выяснилось позже, на одном URL был слэш ("/") на конце, а на другом не было. Это, видимо, такая особенность CMS. Надеюсь, что Сергей не будет на меня ругаться за эту информацию .
Получается, что какой-то слэш и уже появилась копия по другому адресу. Причем, CMS создает стандартные урлы со слэшем, а в выдаче выше показывался урл без него. Как раз ситуация по теме поста.
Необходимо следить за дублированным контентом, искать его и удалять из индекса. Полезная ссылка для этого пункта " ".
Иногда оптимизаторы берутся за продвижение заведомо проигрышных страниц со слабой релевантностью (контент документа слабо отвечает на запросы пользователей). Например, по незнанию, не анализируя выдачу, или по желанию заказчика. Пытаясь продвинуть нерелевантную или слабо оптимизированную страницу, они сталкиваются с определенными трудностями.
Другая сторона медали - переоптимизация. Хотел как лучше, а получилось как всегда . Несмотря на то, что оптимизация всеми возможными тегами уже не в моде, некоторые все же стараются максимально оптимизировать контент. Это грозит падением позиций страницы по продвигаемым запросам.
В современных реалиях SEO продвигаемый документ не должен пестрить выделенными ключевыми словами тегом strong, многочисленным перечислением поисковых запросов в title и по тексту, словами, поставленными в неестественных формах ("продвижение сайтов москва").
Если вы продвигаете существующую страницу проекта, то старайтесь выбрать наиболее релевантную (запрос к поисковику "site:domen.ru ключевое слово"). Если нужно какую-то определенную (например, по требованию заказчика), то необходимо сделать так, чтобы именно она встала на первое место в выдаче при внутреннем поиске по ресурсу (). Если создаете и затачиваете контент специально под продвижение, старайтесь его оптимизировать, но в разумных рамках. Полезность, легкое восприятие, человечность - все это на приоритетное место.
Бывает, что продвигаемую страницу вытесняет та, которая имеет бОльший внутренний ссылочный вес. Говоря простым языком, на нее больше ссылаются внутренние документы. Определить, сколько ссылок внутри ресурса ведет на ту или иную страницу можно, например, с помощью программы или благодаря внутреннему поиску CMS. Например, в wordpress, если зайти на страницу записи в административной панели и в окно поиска ввести URL, то движок выдаст статьи, в которых есть ссылки на него.
Этот метод, правда, не учитывает линки с плагинов (например, похожие записи), а также сквозных элементов (например, категории). Но, как правило, именно изменением количества ссылок из постов можно изменить ситуацию - уменьшить для нежелательного документа, направив их на желательный .
Чуть не забыл. В Гугл Вебмастер есть подобная подробная информация.
Здесь по аналогии с 3-м пунктом только для внешней ссылочной массы. Документы, имеющие бОльшее количество обратных линков, обычно увереннее чувствуют себя при ранжировании.
Бывают случаи, что при смене "продвиженцев" меняются и целевые страницы. Если первые создавали ссылочную массу на одни документы, то при смене приоритетов на другие, могут появиться проблемы в серпе (старые могут не сдаваться).
Определить внешние линки можно из данных Яндекс.Вебмастер (Индексирование сайта -> Входящие ссылки - можно скачивать в виде архива) и Google Webmaster Tool (Поисковый трафик -> Ссылки на ваш сайт -> Ваши страницы, на которые чаще всего ссылаются -> Дополнительно -> Загрузить больше ссылок для примера).
Ссылки с социальных сетей могут выступать сигналами для поисковых систем, по которым алгоритмы могут принимать решения в ту или иную сторону. В большинстве случаев при прочих равных условиях может выиграть тот документ, который собирает больше соц. сигналов. Безусловно, там свои алгоритмы и формулы подсчета, но это опустим.
Помочь определить количество лайков и расшариваний помогут социальные кнопки со счетчиками, а также сервисы для отслеживания подобной статистики (например, ).
Случается и такое, что, например, для продвижения конкурентного запроса выбирается карточка товара в интернет-магазине. Из этого вытекает слабый внутренний вес (идет пересечение с 3-м пунктом).
В идеале, конечно, для продвижения высококонкурентных ключевиков выбирать главную, для среднеконкуретных - категории/разделы, для низкоконкурентных - карточки товаров/посты/топики. Но это не всегда возможно . Чем конкурентнее продвигаемое ключевое слово, тем ближе должен располагаться документ, на котором оно содержится.
И такое тоже возможно и реально. Вы можете подумать, что я набил еще один пункт, но это не так. Сейчас я постараюсь донести главный посыл этого пункта. Алгоритмы поисковиков не идеальны, поэтому они могут содержать ошибки или неточности. Как правило, их устраняют через короткий промежуток времени.
Чтобы не стать жертвой такой ошибки, нужно отслеживать закономерности, а не кидаться после каждого апдейта Яндекса на исправление ситуации. Например, вы обнаружили, что в поисковой выдаче поменялась целевая страница, которая до этого считалась наиболее релевантной уже долгое время (к примеру, год). Необходимо сначала подождать 2-3 апейдта Яндекса или 2-3 недели для Гугла. Возможно, все вернется на свои места.
Если же не вернулось, то нормализуйте релевантность, внутренние и внешние ссылки, социальные сигналы, удалите дубли при их наличии. После этого наблюдайте за выдачей не меньше месяца. Если принимать решения, то только взвешенные, обдуманные, основанные на статистике.
Как часто вы сталкиваетесь с проблемой нахождения в поисковой выдаче не той страницы, которую вы продвигаете? Каким путем обычно решаете эту задачу? Жду от вас отзывы и комментарии к посту .
Каждый опытный вебмастер хотя бы раз в своей практике встречается с такой проблемой, что страницы сайта выпадают из индекса поисковых систем. Если вы с этим тоже столкнулись, то в этой статье мы разберем причины возникновения такого явления . Д ля начала нам нужно собрать все страницы которые были исключены с индекса и поддать их следующему анализу по следующим критериям:
Давайте разберем подробно причины выпадения из индекса поисковых систем страниц сайта. Почему это произошло и как поступить в сложившейся ситуации. Анализ можно провести самостоятельно и так же самостоятельно исправить выявленные проблемы.
Неуникальность . Конечно, если вы написали сами вполне внятный текст, проверяли на уникальность при публикации, и не постили где-нибудь еще, то тут может быть только одна причина – статью скопировали, разместили на стороннем ресурсе и скорее всего поисковые системы посчитали что первоисточник не вы.
Что делать? Проверьте текст на уникальность. Как это делать вы можете почитать в статье. Если вы нашли дубликаты в сети, то советуем проверить, как Яндекс относится к вашему тексту. Выберите один абзац не уникального текста, скопируйте и вставьте в поисковую строку Яндекса, возьмите этот кусочек текста в кавычки.
Если ваш сайт в выдаче находится первый, то волноваться нечего — ваш текст Яндекс считает первоисточником и ранжирует выше копий.
Если же наоборот – то надо обращаться с жалобой к владельцу сайта и хостинговой компании с просьбой удалить сворованный контент. При составлении письма советуем изучить закон об авторском праве и меры наказания за его нарушение.
Плохое качество контента. Что тут имеется ввиду? Это может быть грубый рерайт, размноженный текст с помощью синонимайзеров и прочих программ. Что делать? Переписать или дописать статью, так как плохой контент по сути никому не интересен.
Переоптимизация контента. Проверьте статью, которая выпала из индекса на количество вхождений ключевых слов. Сделать это можно любым сервисом http://advego.ru/text/seo/ или http://istio.com/rus/text/analyz/ . Тут обращайте внимание на максимальный процент по слову. Он должен быть максимум до 4%, или же ориентируйтесь по ТОПу выдачи, какой процент вхождения используют конкуренты, статьи которых занимают первые позиции. Так же обратите внимание как у вас прописаны метатеги: Title, Disсription, заголовок H1 и другие подзаголовки с тексте. Возможно вы перестарались и слишком много употребили ключевых слов.
Если сайт постоянно недоступен для ботов Яндекса, то поисковая система может посчитать, что данная страница уже не существует и исключить из поисковой выдачи. Иногда такие косяки бывают со стороны хостинга. Если он постоянно подводит, сайт часто становится недоступным, то надо переносить свои сайты на другой более качественный хостинг.
Так же проверьте, закрыта ли страница для индексации (проверьте запрещающие директивы файла роботс, и наличие атрибута noindex в metarobots. Вы могли не корректно настроить какой-нибудь плагин или CMS и случайно закрыть доступ роботам к индексации данного урл адреса.
Контент, размещенный на данной странице может нарушать закон об авторском праве. Или не соответствовать нормам, правилам и действующему законодательству РФ.
Что делать? Изучать более детально закон под действие которого попал ваш сайт. Если есть ошибки со стороны поисковой системы то это стоит решить в частной переписке со службой поддержки, если все по закону то удалить все нарушающие закон материалы и больше так не делать
Проверьте количество исходящих ссылок, обратите внимание так же на количество расположенной рекламы. За агрессивную продажу ссылок Яндекс может посчитать страницу (или весь сайт) спамным, не соответствующим критериям качественного сайта.
Что делать? Убрать максимально возможное количество внешних ссылок, ведущие на сторонние ресурсы или закрыть их от индексации атрибутом rel=nofollow.
Очень частая мера при нахождении роботом в индексе страниц дублей это удаление лишних на усмотрение робота, и не редко бывает что удаляются совсем не те страницы которые нужно.
Что делать? Если у вас в индексе 24000 страниц а уникального контента всего 300 страниц, то будьте готовы к внезапному удалению 23500-23600 страниц или же, если лишние страницы не приносят вам трафик, пропишите корректные правила индексации в файле robots.txt и закройте все страницы не имеющие полезного уникального содержания.
У вас может быть изумительный контент, но если он будет подан на сломанной верстке или на совсем не естественной цветовой гамме то среднестатический пользователь вряд ли будет ее читать а скорее всего перейдет к конкурентам. Накопление статистики плохих поведенческих факторов может привести к наложению фильтра на ваш сайт.
Не стоит упускать такой момент, как фильтры поисковых систем. Как правило они накладываются уже за очень грубое и систематическое нарушение описанных здесь причин и если вы получили АГС или Бан тогда вам стоит пересмотреть все предыдущие пункты и найти конкретную причину за который вы получили санкции.
Если вы все проверили, но грубых нарушений не обнаружили, то это может быть обычный глюк Яндекса. Такое периодически бывает, и как правило восстанавливается в следующие 1-2 апдейта.
Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам:
Страница перенаправляет робота на другие страницы.
Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.
Если вы устранили причину удаления страницы, . Так вы сообщите роботу об изменениях.
На странице правильно заполнены метатеги Description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?
Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег Description и элемент title могут создаваться автоматически, повторять друг друга.
Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.
Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?
Это может происходить по нескольким причинам:
Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.
Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. по интересеющему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.
В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?
