Сайт о телевидении

Сайт о телевидении

» » Как выглядит файл sitemap xml. Создание Sitemap

Как выглядит файл sitemap xml. Создание Sitemap

При знакомстве с проектом специалист по оптимизации обязательно вводит в адресную строку после имени сайта фразу «sitemap.xml». Анализ карты сайта позволяет выяснить, почему не индексируется тот или иной контент. Как создать и внедрить грамотную sitemap.xml, я расскажу в очередном выпуске .

Что такое XML-карта

XML-карта сайта — файл с информацией для поисковых систем о страницах, которые необходимо проиндексировать. Другими словами, карта сайта — список всех страниц в формате XML, доступных для сканирования поисковым роботом. При этом стоит отличать XML-карту от обычной карты сайта, которая находится по адресу http://site.com/sitemap/ .

С помощью XML-карт определяется:

  • местонахождение страниц сайта;
  • время последнего обновления каждой из страниц;
  • частота (периодичность) обновления и важность относительно других страниц сайта;
  • важность (приоритетность) страниц в структуре.

Из каких элементов состоит XML-карта

В первой строке документа указывается версия xml и кодировка — UTF-8.

Также используются особенные теги XML:

  • sitemapindex — родительский тег в начале и конце файла;
  • sitemap — родительский тег для каждого файла sitemap, указанного в файле. При этом данный тег — дочерний относительно sitemapindex;
  • url — блок, который содержит значение самого URL и прочие элементы;
  • loc — непосредственно URL страницы;
  • changefreq — как часто данная страница может изменяться. Возможные значения: always, hourly, daily, weekly, monthly, yearly, never;
  • priority — приоритет структурных элементов, помогает определить, какие страницы более приоритетные для краулинга. Ему присваивается значение до единицы, например: 0,5.
  • lastmod — время последнего обновления контента страницы, не обязательный параметр. Для сайтов со статическим контентом достаточно использовать changfreq.

Пример структуры файла c XML-картой сайта:

http://example.com/ 2017-02-05 monthly 0.8

Для больших сайтов лучше сформировать несколько XML-карт. Например, в этот индекс в формате XML входят два файла sitemap:

http://www.example.com/sitemap1.xml http://www.example.com/sitemap2.xml.

XML sitemap для изображений

Отдельные XML-карты часто создаются для индексации изображений. Они актуальны только для Google, Яндекс не распознаёт теги image:

Данные XML-карты могут помочь поисковым системам найти контент, который иначе нельзя было бы обнаружить (например, если он загружается с помощью JavaScript), и указать изображения, которые необходимо сканировать и индексировать.

Для карт изображений используются теги:

Кроме того, можно использовать необязательные теги:

Пример XML-карты для изображений:

http://example.com/page.html http://example.com/pic1.jpg http://example.com/pic1.jpg

Если на сайте представлен уникальный видеоконтент, для него также можно сделать отдельную XML-карту.

Интересно, что в данной карте URL видеозаписей можно открыть для поиска в разделе Google Видео. В результатах будет отображаться значок видео, который, кстати, можно сделать индивидуальным, а также другая указанная в карте информация. Например, название.

Результат:

Какие сведения о видео можно отправлять в Google с помощью sitemap:

  • название;
  • описание,
  • продолжительность;
  • миниатюру и так далее.

Обязательные теги:

  • — страница, где находится видео;
  • — название видео, до 100 символов;
  • — место размещения плеера для видео;
  • — место размещения конкретного видео;
  • — превью (миниатюра) видео, не менее чем 120х90 px;
  • — контейнер для описания видео;
  • — описание видео, до 2000 символов.

Кроме этого, можно использовать другие теги — не обязательные и носящие рекомендательный характер:

  • — длительность видео, до 8 часов, пишется в секундах;
  • — категория видео, например, техника;
  • — имя человека (компании), добавившего видео. Допускается указание одного имени для файла;
  • — указывается, требуется ли для просмотра видео подписка. Как платная, так и бесплатная, с доступными значениями: yes, no;
  • — дата публикации, в формате YYYY-MM-DD или YYYY-MM-DDThh:mm:ss+TZD;
  • — здесь указывается, может ли видео быть доступным для безопасного поиска или нет;
  • — список стран, в которых видео может воспроизводиться или не воспроизводиться. Допустимые значения — коды стран в формате ISO 3166. Для каждого видео может отображаться только один тег . Если тег отсутствует, предполагается, что видео можно воспроизводить на всех территориях;
  • — ссылка на галерею;
  • — дата и время, когда видео становится неактуальным;
  • — стоимость с указанием валюты в формате ISO 4217;
  • — теги видео;
  • — количество просмотров видео;
  • — рейтинг видео (от 0 до 5);
  • — список площадок, где видео может воспроизводиться и не воспроизводиться. Доступные значения: web, mobile, tv. При отсутствии тега предполагается, что видео может воспроизводиться на всех платформах;
  • — указывает на то, является ли видео прямой трансляцией (live). Доступные значения: yes, no.

http://www.example.com/videos/video_1.html http://www.example.com/thumbs/video_1.jpg Обзор смартфона Xiaomi Redmi 3 Note Pro Подробный обзор внешнего вида и функций смартфона Xiaomi Redmi 3 Note Pro от интернет-магазина Example. http://www.example.com/video123.flv http://www.example.com/videoplayer.swf?video=123 600 4.3 1223 2017-01-05T19:20:30+03:00 yes no

Google «поддерживает» следующие форматы:

  • .mpg, .mpeg, .mp4, .m4v;
  • .wmv;
  • .asf, .avi;
  • .ra, .ram, .rm;
  • .mov;
  • .flv.

XML-карта для Google Новостей

Для сайтов-новостников можно создать отдельную sitemap с динамической генерацией и ежедневным обновлением. Данные файлы будут работать только для ресурсов, включенных в списки Google Новостей. Если сайт не находится в списке, можно отправить запрос на его добавление.

Файл sitemap должен содержать только URL статей, опубликованных за последние два дня. Статьи, опубликованные более двух дней назад, можно удалить из файла, при этом они останутся в индексе Google Новостей в течение 30 дней.

Эта карта сайта может содержать не более 1000 URL. Если на сайте за два дня появляется больше контента, можно создать файл индекса sitemap для нескольких карт.

Обязательные теги:

  • — общий тег, в котором указывается издание. У него есть два обязательных дочерних тега:
    • — название издания;
    • — язык в формате ISO 639;
    — дата публикации в формате W3C с указанием полной даты. Поисковой робот Google понимает даты вплоть до долей секунд, например:
ГГГГ-ММ-ДДTчч:мм:cc.с±чч:мм (2017-05-10T19:20:30.45+01:00)
  • — название статьи, аналогичное названию на сайте.

Кроме этого, существуют необязательные теги:

  • — свойства статьи. Допустимые значения:
    • PressRelease — официальный пресс-релиз;
    • Satire — статья, которая выставляет предмет обсуждения в комической форме.
    • Blog — любая статья, которая опубликована в блоге или в формате блога.
    • OpEd — любая статья, выражающая личное мнение и размещенная в колонке редактора.
    • Opinion — любая статья, выражающая личное мнение и не включенная в колонку редактора. Сюда относятся как рецензии колумнистов, так и интервью.
    • UserGenerated — материал, созданный пользователем и прошедший официальную редакторскую правку.
  • ключевые слова по теме статьи;
  • — список биржевых/финансовых символов (не более пяти, через запятую). Подходит для статей о бизнесе. Перед каждым символом должно указываться название соответствующей биржи, совпадающее с записью в Google Финансах, например NASDAQ:AMAT или BOM:500325.

Пример sitemap для Google Новостей:

http://example.ua/news/wow55.html Новости ru Blog 2017-05-10 Рацион питания среднестатистического студента студенты, еда, мивина, пельмени, revo

Как построить XML-карту для мультиязычных сайтов

Файлы sitemap можно использовать, чтобы передать Google атрибут rel="alternate" hreflang="x" . Благодаря этому пользователям показываются страницы на нужном языке и с URL-адресами с правильной региональностью.

Пространство имен XHTML должно быть указано так:

Xmlns:xhtml="http://www.w3.org/1999/xhtml"

Также необходимо создать отдельный элемент URL для каждого адреса. В свою очередь каждый элемент должен включать:

  1. Тег loc, который указывает на URL-адреса;
  2. Подэлемент xhtml:link rel="alternate" hreflang="XX" для каждой альтернативной версии страницы, обязательно включая текущую версию.

Например, на сайте есть раздел на русском языке, предназначенный для пользователей со всего мира. Кроме того, существуют две версии этой страницы: на украинском и на английском.

Полный набор URL выглядит так:

  • example.com/ua/
  • example.com/ru/
  • example.com/en/

Файл sitemap, который приведен на примере ниже, сообщает Google о том, что у страницы example.com/ru/ существует соответствующая версия на украинском и английском языках:

http://example.com/ru/ http://www.example.com/deutsch/ http://www.example.com/en/

Яндекс поддерживает два формата файлов sitemap:

  • XML (рекомендуется);
  • текстовый файл.

Требования для карт Яндекс:

  • размер в несжатом виде не должен превышать 10 Мб;
  • Яндекс распознает Punycode (пуникод) как в закодированном виде, так и в оригинале.

Принципиально:

  • до 50 000 ссылок на файлы sitemap;
  • общий размер до 50 Мб (в несжатом виде).

Форматы, которые поддерживает Google в качестве sitemap:

  • XML — стандартный файл;
  • RSS, media RSS и Atom 1.0 — подходит для блогов с фидом RSS или Atom;
  • Сайты Google. Если сайт создан и подтвержден с помощью сервиса «Google Сайты», файл sitemap создается автоматически. Его нельзя изменить, но можно отправить в Google, чтобы получать сведения для отчетов. Если в одном подкаталоге содержится более 1000 страниц, файл sitemap может отображаться некорректно.
  • Текстовый файл.txt.

Основные требования к текстовым файлам:

  • кодировка UTF-8;
  • файл не должен содержать ничего, кроме списка URL;
  • текстовому файлу можно дать любое имя, но только с расширением.txt (например, sitemap.txt).

Как внедрить XML-карту

  1. Файл с XML sitemap следует поместить в корневую директиву сайта: http://<адрес сайта>/sitemap.xml .
  2. Если карт сайта несколько, необходимо создать индекс карт, где должны быть перечислены ссылки на все XML-файлы. рекомендуемых генераторов.

    Как найти ошибки в XML-картах

    Как анализировать карту сайта в Яндекс.Вебмастере

    В Яндекс.Вебмастере для работы с XML-картами следует перейти по пути «Индексирование» — «Файлы sitemap».

    Отдельно в разделе Инструменты, представлен «Анализатор файлов sitemap», где на проверку можно отправить текст, URL или прикрепить сам файл. При проверке он показывает тип и размер файла, количество ссылок и ошибки.

    В панели вебмастеров Google в разделе «Сканирование» есть пункт «Файлы sitemap».

    Здесь можно:

    • добавить или проверить файлы sitemap;
    • отследить количество отправленных и проиндексированных страниц различных типов;
    • увидеть ошибки и проблемы в картах сайта;
    • отправить карты XML заново или удалить их.

    Выводы

    XML-карта сайта нужна поисковым роботам для обнаружения всех ваших страниц. Она содержит URL-адреса страниц сайта, а также относящиеся к ним данные, такие как время их последнего обновления, частоту их обновления и важность относительно других страниц сайта. Отдельные карты можно создавать для изображений, видео, XML можно размечать и для Google Новостей.

    Создавать карту вручную не стоит — используйте бесплатные генераторы или специализированные программы. Проверить ошибки в картах можно в панелях вебмастеров Яндекс и Google.

    Появились вопросы? С удовольствием отвечу в комментариях.

Sitemap — это карта сайта. Она бывает в двух различных типах: для людей; для поисковых машин. Ранее был рассмотрен плагин для Вордпресс, который в автоматическом режиме создаёт карту сайта для пользователей. Сегодня рассмотрим плагины для создания файлов Sitemap для поисковиков.

Файлы Сайтмап содержат информацию о страницах сайта, которые нужно проиндексировать. Размещая такой файл на хостинге в директории своего сайта, мы даём понять поисковой системе Яндекс:

  • с какой частотой обновляется информация в записях и страницах сайта;
  • какие страницы или записи нужно индексировать;
  • какой приоритет индексации имеют страницы.

sitemap xml

Поисковая система Яндекс поддерживает несколько форматов файла Cайтмап:

  1. XML-формат;
  2. Сжатый файл в XML формате;
  3. Текстовый файл, в котором указываются только полные URL-адреса страниц, причём, каждая URL должен быть в отдельной строке.

Разработчиками Yandex рекомендуется использовать первый формат, так как он предоставляет вебмастеру возможность указать частоту изменения записи или страницы, выставить относительный приоритет индексации, а также указать дату, когда последний раз редактировалась страница или запись. Эти параметры называются соответственно changefreq, priority и lastmod — можно указывать 1, 2 или все 3.

Проверить sitemap

Чтобы проверить корректность составления Сайтмапа, можно воспользоваться специальным валидатором. Он расположен по адресу: http://webmaster.yandex.ru/sitemaptest.xml. Можно выполнить проверку несколькими способами:


Сам файл сайтмап.xml должен быть расположен в корневой директории домена, для которого он составлялся. То есть, описывать в этом файле страницы других доменов или поддоменов — нельзя. Само название файла может быть абсолютно любым, допустим karta.xml.

Общее количество URL не должно превышать 50 тысяч штук, а размер в сжатом виде — не более 10 МегаБайт. При превышении числа URL или веса, допускается разбивка одного большого файла на несколько допустимо возможных.

Допустима кодировка — UTF-8. Для кириллических доменов и адресов, таких как сайт.рф, не обязательно использовать преобразование в Punycode. Поисковой робот Яндекса отлично распознаёт оригинальные кириллические адреса в любом виде.

Sitemap для Яндекса

Указать поисковой машине на наличие файла Сайтмап можно двумя способами:


Как создать файл sitemap?

Здесь есть несколько вариантов решения этой задачи:

  • использовать генераторы Сайтмап — минус в том, что придётся каждый раз генерировать новый файл при добавлении на сайт новой информации и возникновение дополнительной нагрузки при обращении подобных сервисов к серверу сайта. Кроме того, среди множества опробованных — найти генератор корректного сайтмапа так и не удалось.
  • создавать своим мозгом, при помощи своих рук — такие же минусы, как у предыдущего варианта, но можно сделать всё качественней и по «регламенту». Однако этот способ не для ленивых;
  • использовать плагины — самый оптимальный вариант! Вот только найти и выбрать по-настоящему хороший плагин для создания файла Sitemap.xml не просто.

Воспользуемся последним вариантом — он оптимален по качеству и трудозатратам.

google xml sitemaps

Хороший плагин Google XML Sitemaps, однако он генерирует совершенно корявую карту. Кроме возможных ошибок, в саму карту встраиваются ссылки на разработчика и другая ненужная информация. Проверить сказанное очень просто — установите, активируйте и настройте плагин google xml sitemaps, а затем посмотрите что получится. Ничего хорошего, идём дальше.

All in SEO Pack

Это самый лучший вариант из всех просмотренных. Сам , однако в нём есть дополнительные модулипоследних версиях). После установки, в консоле управления сайтом появляется дополнительная вкладка — «Инструменты SEO», состоящая из «Основные» и «Другие модули»:

Нажимаем кнопку «Activate», для активизации карты сайта. После этого, в SEO-инструментах появляется ещё одна ссылка «XML карта сайта»:

Единственное, каждый раз после добавления записи или страницы, нужно будет нажимать на кнопку «Обновить карту сайта».

Настройки просты:


Остальные настройки более простые — разберётесь. После создания карты, открываем её и смотрим — никаких лишних ссылок в сайтмапе нет, всё чисто и аккуратно, что и нужно было нам. Готово!

Файл sitemap.xml, так же, как и обычная карта сайта представляет из себя набор страниц, оформленных в XML-теги. С помощью данного файла, поисковые системы понимают, какие страницы вашего сайта следует индексировать в первую очередь.

Карта сайта в формате XML:

У каждого варианта есть свои плюсы и минусы. Ключевое преимущество карты сайта в формате XML - исключение возможности размытия статического веса страниц внутри сайта.

В этой статье я расскажу вам как составить корректный файл Sitemap.xml.

Если вы уже знаете все про составление Sitemap, сразу переходите к последней главе, которая называется «Фишки».

1. Директивы файла sitemap.xml

Существуют 3 обязательных директивы, которые должны быть заполнены в любом случае, это теги:

А также 3 необязательных тега:

Вот памятка по расшифровке каждого тега из официального сайта http://www.sitemaps.org/ru/protocol.html :

Атрибут

Статус

Описание

обязательный

Инкапсулирует этот файл и указывает стандарт текущего протокола.

обязательный

Родительский тег для каждого URL-адреса. Остальные теги подчинены этому тегу.

обязательный

Сам URL-адрес страницы. Всегда начинается с префикса (например, HTTP) и заканчиваться косой чертой (если сервер вашего сайта требует этого).

Внимание: длина URL-адреса не должна превышать 2048 символов.

необязательный

Дата последнего изменения файла. Указывается строго в формате W3C Datetime. Он позволяет при необходимости не учитывать сегмент времени и использовать формат ГГГГ-ММ-ДД.

необязательный

Позволяет указать как часто меняется информация на странице.

Это значение устанавливается приблизительно.

Допустимые значения:

  • always
  • hourly
  • daily
  • weekly
  • monthly
  • yearly
  • never

Если страница изменяется каждый раз, когда ее открывают - используем значение «always» (всегда). Если это архивная страница - ставьте never (никогда).

Учтите, что этот атрибут служит для поискового робота подсказкой, а не правилом. Поэтому зависимости между ним и реальной частотой посещения страницы поисковым роботом нелинейная.

необязательный

Позволяет указать приоритет одних страниц вашего сайта перед другими.

Диапазон значений - от 0,0 до 1,0.

По умолчанию каждой странице отдается приоритет 0,5.

Значение атрибута работает для сравнения приоритета страниц только внутри вашего сайта. То есть оно не влияет на сравнение вашего сайта с сайтами конкурентами в поисковой сети. Более того, выставлять всем страницам максимальный приоритет тоже бессмысленно. Потому что тогда значения будут одинаковыми для робота и атрибут просто не сработает. Так что не ищите лазеек, а указывайте объективные приоритеты для страниц.

Сохраните эту памятку. Она обязательно пригодится вам в первое время. Стоит отметить еще один плюс XML-карты сайта – это гибкость. Гибкость заключается в сочетании разных необязательных директив.

Теперь, когда у вас есть ясность, что такое XML-карта сайта и вы узнали основные директивы этого файла, можно перейти к его составлению.

2. Составление файла sitemap.xml

Составлять карту сайта можно 3 способами:

  • Вручную;
  • Автоматически, с помощью специальных сервисов;
  • Автоматически, с помощью готовых решений в виде плагинов к CMS и т.п.

Процесс приготовления карты сайта следующий:

  • Составляем карту сайта одним из способов, перечисленных выше;
  • Проверяем на валидность с помощью сервисов поисковых систем (https://webmaster.yandex.ru/sitemaptest.xml);
  • Размещаем файл на сайте;
  • Указываем путь к карте сайта для поисковых роботов в файле robots.txt (Кстати, есть отдельная статья о том, );
  • Указываем Sitemap в панели вебмастеров Яндекс и Google.

Итак, как составлять файл карты сайта?

Разберем пример составления файла вручную. Если вы хотите добавить в карту сайта 5 страниц вашего сайта:

Вот так должна выглядеть карта сайта в формате XML:

Приведенный выше код, указывает поисковой системе, что страница http://site.ru/

в последний раз изменилась 1 января 2005 года. Обновляется с частотой раз в месяц. И приоритет у данной страницы 0.8 (максимально возможный 1).

Особенно удобен функционал подсветки парных тегов.

Сервисы для генерации Sitemap

В случае, если на вашем сайте много полезных страниц и вы не хотите тратить время на составление файла вручную, то вам помогут следующие сервисы:

Таких сервисов много. Я использую https://www.xml-sitemaps.com/ .

Поясню вкратце все настройки:

Поисковая система Google рекомендует использовать https://code.google.com/archive/p/sitemap-generators/wikis/SitemapGenerators.wiki

Плагины для CMS

Существует огромное количество плагинов и готовых решений для систем управления сайтов. Например:

Плагин

Валидность

После составления карты сайта нужно проверить ее на наличие ошибок. Для проверки используйте сервис https://webmaster.yandex.ru/sitemaptest.xml

После успешной проверки заливаем наш файл на сайт.

Расположение файла

В отличие от файла robots.txt, файл sitemap.xml может располагаться в любом месте вашего сайта. Например, в корневой папке сайта файл будет доступен по следующему адресу:

Если вы разместили файл в папке /files/, то он будет доступен по такому адресу:

После успешной загрузки файла, обязательно укажите поисковым роботам как найти этот файл. Делается это очень просто. В файле robots.txt () в директиве Sitemap пропишите полный адрес к файлу. Например, файл robots.txt может выглядеть следующим образом:

Важно! В отличии от robots.txt файлов Sitemap может быть несколько. В таком случае необходимо указывать в robots и вебмастерах полный адрес ко всем файлам Sitemap.

Search Console и панель Яндекс.Вебмастера

Остался последний этап. Указать путь к карте сайта в панелях вебмастеров поисковых систем.

  • Настройка индексирования
  • Файлы Sitemap
  • «Проверить» и «Добавить»

Следует отметить ограничения в XML-карте сайта:

  • В одном файле можно указать не более 50000 URL-адресов
  • Вес файла не более 10 мегабайт (поисковые системы не индексируют документы, превышающие размер в 10 мегабайт). При необходимости файл можно сжать с помощью архиватора.gzip.
  • Кодировка файла только в UTF-8

На этом основные этапы завершены. Следуйте всем описанным простым правилам и ошибок у вас не будет. Вторая часть статьи посвящена более детальной настройке, тонкостям и особенностям sitemap.xml эти знания потребуются вам для составления профессиональной карты сайта для интернет-магазинов.

3. Группировка файлов Sitemap

В случае превышения лимита в 50000 URL-адресов, нужно использовать вложенную структуру и создать группу из нескольких Sitemap. То есть создавать карты сайта в карте сайта!

Для обычного сайта (не крупного портала или интернет-магазина) такой объем страниц редкость, поэтому группировку Sitemap большинство SEO-специалистов используют для удобства, например, для группировки страниц товаров или разделов.

Синтаксис выглядит следующим образом:

http://site.ru/sitemap1.xml.gz

2004-10-01T18:23:17+00:00

http://site.ru/sitemap2.xml.gz

Определение XML-тегов:

Атрибут


Описание

обязательный

Инкапсулирует информацию о всех файлах Sitemap в этом файле.

обязательный

Инкапсулирует информацию об отдельном файле Sitemap.

обязательный

Указывает местоположение файла Sitemap.

необязательно

Указывает время изменения соответствующего файла Sitemap. Робот использует эту информацию, чтобы понять в каких файлах Sitemap произошли изменения. Косвенно, этот тег позволяет роботу быстрее обнаружить новые страницы сайта.

Таким образом составляется сгруппированная карта сайта. Все остальные процедуры те же, что описаны выше. Не забываем указывать в файле robots.txt, в директиве Sitemap, корректную ссылку на ваш файл.

4. Исследование

В конце 2014 года я провел небольшое исследование по анализу эффективности наличия на сайте файла sitemap.xml.

Наблюдалась проблема индексации товарной группы на сайте интернет-магазина (товаров порядка 10000). При этом, ничего не препятствовало их индексации. Был составлен файл карты сайта, состоящий только из ссылок на товары сайта. Карта сайта обновлялась автоматически. За 2 месяца в индексную базу поисковой системы Яндекс попало более 70% URL-адресов. Большая доля страниц, попавших в индекс, это страницы из карты сайта. Отмечу, что в данный период не проводились другие мероприятия по ускорению индексации сайта (например, простановка ссылок).

Вот сами результаты:

Вывод: карта сайта до сих пор влияет на индексацию вашего сайта. Необходимо регулярно обновлять и актуализировать данный файл.

5. Фишки

Чтобы статья не получилась скучной для опытных SEO-специалистов, предлагаю вам ознакомиться со следующими «фишками».

Картиночный сайтмап

Для привлечения дополнительного трафика из поисковых систем (возможно не совсем конверсионного) вы можете составить дополнительный Sitemap для картинок.

Синтаксис для картиночной карты сайта выглядит так:

xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">

http://example.com/primer.html

http://example.com/kartinka.jpg

http://example.com/photo.jpg

Памятка по XML-тегам:

Обязательно?

Описание

Содержит всю информацию об одном изображении. Каждый URL (тег) может включать до 1000 тегов.

URL изображения.

В отдельных случаях домен URL изображения может отличаться от домена, используемого основным сайтом. Если оба домена подтверждены в Search Console, проблем при этом не возникнет. Но если картинки размещены с помощью системы управления контентом, например, сервиса Google Сайты, вам необходимо подтвердить сайт хостинга в Search Console. Кроме того, файл robots.txt не должен запрещать сканирование содержания, которое необходимо индексировать.

Подпись к изображению.

Место съемки. Например, Поронайск, о. Сахалин.

Название изображения.

URL лицензии изображения.

Лайфхак для тех, кто дочитал

Многие SEO-специалисты генерируют файлы Sitemap один раз на старте проекта. Дальше про карту сайта забывают. Проиндексировались страницы - хорошо. Нет - а что поделать?! Новые страницы вообще забывают вносить в sitemap.

В ходе своего исследования я выяснил, что наиболее удобным способом решения этой проблемы является отдельный файл sitemap.xml, в котором будут только те страницы сайта, которые еще не попали в индекс.

И именно это позволило вогнать в индекс Яндекса более 70% новых URL-адресов.

Файл sitemap.xml - это инструмент, который позволяет вебмастерам информировать поисковые системы о страницах сайта, доступных к индексации. Также, в XML карте можно указывать дополнительные параметры страниц: дата последнего обновления, частота обновлений и приоритет относительно других страниц. Информация в sitemap.xml может влиять на поведение поискового краулера и, в целом, на процесс индексации новых документов. Sitemap содержит в себе директивы включения страниц в очередь на обход и дополняет robots.txt, содержащий директивы исключения страниц.

В этом руководстве вы найдете ответы на все вопросы, касающиеся использования sitemap.xml.

Нужен ли мне sitemap.xml

Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.

Sitemap.xml важен для сайтов, где:

  • Некоторые разделы недоступны через навигационное меню.
  • Имеется множество изолированных страниц или плохо связанных между собой.
  • Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
  • Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.

Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.

Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.

Техническая информация

  • Sitemap.xml является текстовым файлом формата XML . Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
  • Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
  • Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
  • Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже ().
  • Адреса в sitemap.xml должны быть абсолютными.
  • Максимальная длина URL - 2048 символов (1024 символа для Яндекса).
  • Спецсимволы в URL (типа амперсанда "&" или кавычек) должны маскироваться в HTML-сущности.
  • Указанные в карте страницы должны отдавать 200 http-код статуса.
  • Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
  • Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt .

Также поисковиками поддерживается стандартный XML-протокол . Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

https://сайт/ 2018-06-14 daily 0.9

XML-теги
urlset
url (обязательный) - родительский тег для каждого URL-адреса.
loc (обязательный) - URL-адрес документа, должен быть абсолютным.
lastmod - дата последнего изменения документа в формате Datetime .
changefreq - частота изменения страницы (always, hourly, daily, weekly, monthly, yearly, never). Значение этого тега является рекомендацией поисковым системам, а не командой.
priority - приоритетность URL относительно других адресов (от 0 до 1) для очередности сканирования. Если не указывается, то по умолчанию равна 0.5.

XML карта для изображений

Некоторые оптимизаторы вставляют в sitemap.xml ссылки на изображения аналогично ссылкам на html-документы. Так можно делать, но лучше для Google использовать расширение стандартного протокола и вместе с урлами отправлять дополнительную информацию об изображениях. Создавать XML карты изображений полезно, если картинки необходимо сканировать и индексировать, и при этом, они напрямую не доступны боту (например, используется JavaScript).

Пример карты сайта, содержащей одну страницу и принадлежащие ей изображения

http://example.com/primer.html http://example.com/kartinka.jpg http://example.com/photo.jpg Вид на Балаклаву Севастополь, Крым http://creativecommons.org/licenses/by-nd/3.0/legalcode

XML-теги
image:image (обязательно) - информация об одном изображении. Максимум может использоваться 1000 изображений.
image:loc (обязательно) - путь к файлу изображения. Если используется CDN, то допустимо ссылаться на другой домен, если он подтвержден в панели для вебмастеров.
image:caption - подпись к изображению (может содержаться длинный текст).
image:title - название изображение (обычно короткий текст).
image:geo_location - место съемки.
image:license - URL лицензии изображения. Используется при расширенном поиске по картинкам.

XML карта для видео

Подобно карте для изображений, Google также имеет расширение sitemap протокола для видео, где можно указывать подробную информацию о видео-контенте, влияющую на отображение в поиске по видео. Видео-сайтмап необходим, когда на сайте используются видео, которые хостятся локально, и когда индексация этих видео затруднена из-за используемых технологий. Если вы на сайте внедряете видео из YouTube, то video-sitemap здесь не нужен.

Файл Sitemap для новостей

При наличии на сайте новостного контента и участии в Google Новостях полезно использовать Sitemap для новостей, так Google будет быстрей находить ваши свежие материалы и индексировать все новостные статьи. В этом случае Sitemap должен содержать только адреса страниц, опубликованных за последние 2 дня и содержать не более 1000 урлов.

Использование нескольких карт

При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap.xml используются в случаях, когда:

  • На сайте используется несколько движков (CMS).
  • На сайте больше 50 000 страниц.
  • Необходимо настроить удобное отслеживание ошибок в разделах.

В последнем случае каждый большой раздел сайта имеет свой sitemap.xml и все они добавляются в панель для вебмастеров, где удобно наблюдать, в каком из разделов больше всего ошибок (см. раздел поиска ошибок в карте сайта).

Если у вас 2 и более сайтмапа, их необходимо объединить в индексный сайтмап, который выглядит также как обычный (за исключением наличия тегов sitemapindex и sitemap вместо urlset и url), имеет аналогичные ограничения и может ссылаться только на обычные XML карты (не на индексные).

Пример Sitemap Index:

http://www.example.com/sitemap-blog.xml.gz 2004-10-01T18:23:17+00:00 http://www.example.com/sitemap-webinars.xml.gz 2005-01-01

sitemapindex (обязательный) - указывает стандарт текущего протокола.
sitemap (обязательный) - содержит информацию об отдельном sitemap.
loc (обязательный) - местоположение sitemap (в формате xml, txt или rss для Google).
lastmod - время изменения сайтмапа. Позволяет поисковикам быстро обнаруживать новые URL на сайтах больших размеров.

Как создать sitemap.xml

Методы создания XML Sitemap:

  • Внутренние средства CMS. Многие CMS уже поддерживают создание карты сайта. Чтобы это выяснить, почитайте документацию к вашей CMS, посмотрите пункты меню в администраторской панели или обратитесь в техподдержку движка. Загрузите на вашем сайте файл https://вашсайт.com/sitemap.xml , возможно он уже существует и динамически формируется.
  • Внешние плагины. Если в CMS нет функционала генерации карты сайта, и она поддерживает плагины, погуглите, какой из плагинов закрывает вопрос sitemap.xml для вашего движка и установите его. В некоторых случаях необходимо обратиться к программистам, чтобы они написали вам подобный плагин.
  • Отдельный скрипт на сайте. Зная протокол XML карты и технические ограничения, можно создать sitemap.xml самостоятельно, добавив скрипт генерации в CRON. Если вы не программист, используйте другие пункты этого списка.
  • Генераторы Sitemap. Существует множество генераторов sitemap.xml, которые сканируют ваш сайт и дают скачать готовую карту. Недостаток здесь в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап.
  • Парсеры. Десктопные программы, предназначенные для технического анализа сайта, обычно предоставляют возможность скачать sitemap.xml, сгенерированный на основе просканированных страниц. Работает аналогично генераторам sitemap, только запускается локально на своей машине.

Популярные онлайн-генераторы карты сайта

XML-Sitemaps.com

Позволяет получить sitemap.xml в несколько кликов. Поддерживает форматы XML, HTML, TXT и GZ. Удобно использовать для небольших сайтов (до 500 страниц).

Похожий генератор, но имеет чуть больше настроек и позволяет создать карту до 2000 страниц бесплатно.

Имеет множество настроек, позволяет импортировать URL-адреса из CSV-файла. Бесплатно сканирует до 500 урлов.

Не имеет лимитов на количество страниц для сканирования. Но для больших сайтов процесс генерации может подвисать на несколько десятков минут.

Локальные программы для генерации XML Sitemap

G-Mapper Sitemap Generator

Бесплатная десктопная версия генератора карты сайта под Windows.

Screaming Frog SEO Spider

Гибкий инструмент генерации карты сайта с множеством настроек. Удобно, если вы уже пользуетесь скримин фрогом для других SEO-задач. После сканирования сайта используйте пункт меню Sitemaps -> Create XML Sitemap.

Netpeak Spider

Менее гибкое, но тоже удобное решение для быстрой генерации sitemap.xml. После сканирования сайта необходимо использовать пункт меню Инструменты -> Генерация Sitemap.

Задумались о создании «Карты сайта»? Попробуем разобраться в том, как правильно ее сделать.

Что такое карта сайта?

Карта сайта - это отдельная страница, на которой перечислены все разделы, подразделы, статьи. Это что-то вроде каталога, в котором зафиксированы все статьи сайта со ссылками на эти самые статьи.

Для чего нужна карта сайта? XML или HTML: какая карта лучше?

Карта сайта в формате html нужна для посетителей - чтобы облегчить им поиск нужной информации. Такая карта должна обязательно присутствовать на крупных сайтах, объемом больше 30 страниц.

А карта сайта в формате xml просто необходима для поисковых систем - чтобы поисковый робот увидел все ссылки, которые есть на сайте и лучше индексировал сам сайт.

Итого лучше создать 2 отдельные карты сайта: sitemap.XML для роботов и.HTML для посетителей.

С помощью файла Sitemap вы можете сообщить Яндексу, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно. Полезно посмотреть карты крупных сайтов или хороших сайтов вашей тематики, находящиеся в ТОПе.

Формат xml разберем позднее, сначала попробуем разобраться с форматом html, т.е. с привычной для нас картой, которую мы видим практически на каждом портале.

Карта сайта HTML - 7 железных правил

    Размещайте её на отдельной странице, попасть на которую можно из главного меню. То есть ссылка на карту сайта должна быть видна с любой страницы сайта.

    Структура карты должна отражать иерархию страниц сайта; в структуре должно чётко прослеживаться - где основные разделы, а где подразделы.

    Хорошо, если в начале карты сайта будет размещено краткое описание самого сайта, чтобы посетитель смог быстро сориентироваться, на каком именно сайте он находится.

    Не перегружайте карту сайта излишними картинками, лучше вообще обойтись без них.

    Старайтесь в описаниях разделов придерживаться правила: краткость - сестра таланта. Заголовки разделов должны быть ёмкими, чёткими и понятными. Можно добавить краткое описание раздела, например:

    «- О компании
    В этом разделе кратко описаны главные принципы работы нашей компании, история её возникновения и развития, а также наши стремления и чаянья в долгосрочной перспективе. »

    Следите за актуальностью карты сайта. Если из структуры удаляются какие-то страницы или, наоборот, добавляются новые, не забудьте отразить это в карте.

Соблюдайте эти 7 правил, и карта сайта станет отличным навигатором для ваших посетителей.

Карта сайта sitemap.xml: зачем нужна и как ее самостоятельно сделать

Карта сайта XML - это файл, размещенный в корневой директории сайта, с информацией для поисковых систем (таких как Яндекс, Google, Rambler, Bing и других) о страницах вашего сайта. Файл этот нужен для того, чтобы поисковым системам было легче индексировать ваш сайт.

Как работает sitemap.xml?

Заходя на сайт, поисковый робот, прежде всего, читает инструкции в файле robots.txt о том, как следует индексировать сайт. И если в нём указать, что есть карта сайта sitemap.xml, то робот перейдет по указанному адресу, где перечислены URL-адреса самых важных страниц сайта, которые подлежат обязательной индексации.

Поэтому не забудьте, что файл sitemap.xml надо не просто разместить у себя на сайте, а указать к нему путь в robots.txt в директиве sitemap .

User-agent: Yandex
Allow: /
Sitemap: http://mysite.ru/site_structure/my_sitemaps.xml

Вот так карта сайта sitemap.XML облегчит работу поисковику и обеспечит качественную индексацию вашему сайту.

Карта сайта sitemap.xml для Яндекса

Яндекс поддерживает протокол Sitemap. Чтобы передать информацию, используйте следующие элементы:

  • loc — адрес страницы;
  • Как сделать карту сайта sitemap.XML самостоятельно и бесплатно?

    Это не трудно. В сети есть несколько бесплатных программ и сайтов, которые сгенерируют вам такую карту автоматически. Вот некоторые из них: sitemapgenerator.ru, xml-sitemaps.com, cy-pr.com/tools/sitemap/