Как сделать карту сайта — подробный гайд вебмастеру

Отправляясь в путешествие в незнакомый город, первое время может быть увлекательно исследовать новые места без четко составленного маршрута. Но если требуется отыскать автовокзал или аэропорт, найти, где расположен интересующий туриста ресторан, в ход идут системы навигации. 

Точно также себя ведут и поисковые роботы: в обычном режиме робот гуляет по веб-сайту, используя для перехода внутренние ссылки. Но иногда ему приходится сверяться с картой сайта, чтобы проверить, не осталось ли на web-ресурсе непосещенных страниц. 

Корректно сформированная карта сайта – важный этап оптимизации (СЕО). Это ускоряет процесс индексации и сохраняет актуальность сведений о страницах, находящихся в поисковой выдаче, а также об их содержании.

Что такое Sitemap (карта сайта)

Sitemap или карта сайта – это перечисление всех (или наиболее значимых) страниц web-ресурса. Это напоминает содержание энциклопедии, только вместо отсылок к главам, разделам и статьям sitemap содержит перечень адресов, о которых вебмастер хочет сообщить пользователям или поисковым системам. 

Основных типов sitemap два: 

• HTML;
• XML.

Sitemap в HTML-формате адресован живым пользователям. Этот элемент навигации представляет собой web-страницу, наглядно отображающую структуру веб-сайта (или актуальные для пользователя разделы). Пример хорошей реализации HTML-карты – онлайн-магазин Эльдорадо:

Но если структура сайта логична и понятна интуитивно, то HTML-карта не потребуется. В качестве примера можно привести интернет-магазин М.Видео, где задачи карты сайта выполняет каталог:

Sitemap-XML – это файл, загружаемый в корень сайта. В нем содержится информация об адресах и времени, прошедшем с момента последнего обновления, а также другие сведения, интересующие поисковые системы. Для упрощения поиска нужной информации в коде xml применяются теги, понятные роботам, использующим XML-карты для навигации.

Для чего создается XML-карта и можно ли обойтись без нее

В теории, sitemap.xml допустимо не генерировать и не добавлять – особенно, если речь идет о малостраничном (или даже одностраничном) ресурсе. Поисковики считают этот инструмент рекомендованным, но не обязательным, и просканируют сайт даже без XML-карты. К примеру, в панели Яндекс.Вебмастер оповещение об отсутствии sitemap значится как всего лишь возможная проблема. 

Но аргументов в пользу применения XML-sitemap намного больше:

1. Карта сайта помогает поисковикам узнать о наличии на ресурсе контента и просканировать его – даже если он расположен далеко от главной страницы. 
2. С помощью этого инструмента поисковые роботы получают информацию об иерархии сайта, типе опубликованного контента (текст, изображение, видео), сведения об обновлениях веб-страниц.
3. По информации от Google поисковая система благосклоннее относится к web-ресурсу при наличии XML-карты.
4. С помощью sitemap можно корректно организовать мультиязычный сайт, использовав специальный атрибут hreflang в ссылке на версию страницы для отдельного региона.  
5. Xml-файл используется для заявления авторства на опубликованный контент, так как в нем указано время и дата публикации. 

Обратите внимание, что в некоторых случаях отсутствие sitemap.xml может привести к проблемам с индексацией. Это касается:

• недавно созданных сайтов;
• веб-ресурсов со сложной структурой;
• сайтов, которые регулярно обновляются.

Сколько карт нужно сайту

Для сайта компании или другого небольшого ресурса достаточно одного xml-файла. Но стоит учитывать, что предельно допустимые размеры sitemap.xml:

• 50 Мб (неархивированный файл);
• 50 000 URL-адресов.

Эти лимиты введены, чтобы ограничить нагрузку на сервер.

Для масштабных веб-сайтов с большим количеством разделов рекомендуется использовать несколько xml-файлов – даже если суммарное число страниц не превышает установленного максимума. 

Этот прием часто применяют интернет-магазины – отдельная карта создается на каждую из категорий:

• информационные страницы;
• новостной раздел:
• раздел со статьями (блог);
• категории или группы товаров;
• список товаров (если магазин крупный, лучше создавать отдельный xml-файл для товаров каждой группы).

Это удобно тем, что позволяет автономно отслеживать индексацию определенного типа веб-страниц. 

Еще один плюс – не нужно обновлять весь файл sitemap, когда произошло изменение ассортимента в одной из категорий каталога. 

И решающий довод – чем меньше xml-файл, тем ниже будет нагрузка на сервер. 

Для примера – онлайн-гипермаркет М.Видео использует отдельные XML-карты на разные категории каталога (общее число – свыше пятидесяти):

• 

Что должно быть в XML-карте

В sitemap.xml включается следующая информация:

• адреса веб-страниц, полезных для интернет-пользователей;
• ссылки на графический или видеоконтент;
• XML-теги..

Включение в карту проработанных web-страниц увеличивает ценность ресурса с точки зрения поисковых систем, что благоприятно сказывается на ранжировании. 

Какие ссылки нужно включить в XML-карту

Мусорные и неинформативные страницы не подлежат включению в XML-sitemap. Главные правила выбора:

• Контентная часть должна представлять пользу.
• Код ответа, возвращаемый страницей – 200 ОК.

Но есть и исключения. Пример: страницы с кодом 302 можно добавить карту, если они были созданы с целью тестирования. 

Каких ссылок в карте быть не должно

1. На удаленные страницы (с кодом ответа 404).
2. На страницы с ограниченным доступом, где требуется залогиниться, чтобы увидеть контент (код ответа 401).
3. На перманентно перемещенные URL (код ответа 301).
4. На служебные (неиндексируемые) страницы – аккаунты пользователей, страницы входа, сортировки, фильтрации и др. Этих URL не только не должно быть в карте, их требуется заблокировать в robots.txt.
5. На неканонические адреса. Тег canonical применяется для обозначения одной из двух похожих страниц как основной. Добавление в sitemap неканонического URL может привести к тому, что будут проиндексированы обе версии страницы – а это риск каннибализации ключевых слов. 

Об использовании XML-тегов

Если еще раз взглянуть на sitemap онлайн-магазина Эльдорадо, то можно увидеть, что в коде используются теги:

• 

Теги отражают параметры страницы, поэтому нужно знать, что они означают и как их применять. 

Элементы, которые необходимы:

• urlset – информирует о применяемой версии xml-протокола.
• url – ограничивает данные, относящиеся к отдельному URL.
• loc  – указывает на адрес страницы. 

Все URL указываются как абсолютные: с упоминанием HTTP или HTTPS-протокола, если в имени домена используется префикс www, его также необходимо указать.

Необязательные элементы, без которых можно обойтись:

• changefreq – определяет, как часто будут изменяться данные.
• priority – определяет приоритетность сканирования URL-адресов (значения – 0,0-1,0).
• lastmod – отражает время, когда произошло последнее изменение.

Поисковики игнорируют необязательные теги, за исключением lastmod. Это относится как к Яндексу, так и к Google.

О статических и динамических XML-картах

Если на веб-сайте не слишком много страниц, а обновление информации происходит нечасто, можно обойтись статической XML-sitemap. Но для масштабного, постоянно развивающегося проекта лучше подойдет динамическая карта.

Динамическая sitemap обновляется в автоматическом режиме сразу же после того, как на сайте произошли изменения:

• были удалены или добавлены разделы/страницы;
• страница была скрыта от индексации с помощью метатега или через robots.txt.

Как сделать карту сайта

Для этого существует несколько способов. Выбор зависит от технических особенностей и потребностей сайта:

1. Web-сайт работает на одной из популярных CMS. На некоторых платформах есть встроенный функционал, позволяющий создать sitemap (пример: Shopify, Tilda, Битрикс). Для WordPress, OpenCart и некоторых других CMS придется установить плагины. Выбирайте те, которые адаптированы для SEO – в них есть возможность не только генерировать sitemap, но также исключать ненужные URL-адреса.
2. Для сайтов, созданных на собственной CMS, XML-карту можно сгенерировать с помощью онлайн-приложений. Можно найти как платные, так и бесплатные сервисы. Но обратите внимание, что функционал бесплатных версий может быть ограничен. Платные же сервисы позволят создать динамическую карту с тонкими настройками. 
3. Если ни один из платных сервисов не подошел, XML-карта создается и настраивается вручную. Но для этого понадобится помощь разработчика.

• 

Как добавить sitemap в Яндекс и Google

Перед тем, как загрузить файл в панель Яндекса и консоль Google, его необходимо разместить в корневом каталоге. Это актуально, если карта генерировалась сторонними сервисами. Если файл создавался с помощью CMS, он уже присутствует в корне сайта. Но не лишним будет проверить наличие файла, перейдя по адресу: sitename/sitemap.xml (где sitename – название сайта).

Ручная загрузка файла возможна на хостинге или через FTP. Перед этим не забудьте проверить корректность карты (в Яндекс.Вебмастер или другом сервисе). Также рекомендуется добавить ссылку на карту в robots.txt отдельной строкой: Sitemap: https://sitename/sitemap.xml.

После этого можно добавлять XML-карту в поисковики.

Если используется несколько карт одновременно, их необходимо объединить в одном индекс-файле. Алгоритм добавления файла в поисковые системы такой же, как для обычной xml-карта. Пример индекс-файла:

• 

Загрузка в Яндекс.Вебмастер

1. В разделе «Индексирование» выберите пункт «Файлы Sitemap».
2. Вставьте в строку ввода адрес, по которому расположена XML-карта, затем используйте кнопку «Добавить».
3. После этого следите за статусом. Если файл был сформирован правильно и его удалось загрузить, значение статуса будет «ОК».

• 

Загрузка в Google

1. В разделе «Индекс» нужно выбрать пункт «Файлы Sitemap».
2. В панели для ввода укажите URL-адрес, по которому расположена карта сайта, затем используйте кнопку «Отправить».
3. Отслеживайте статус. Если консоли удалось обработать добавленную карту и в ней не было найдено ошибок, статус файла будет «Успешно».

Подведем итог

1. Карта сайта учитывается поисковыми алгоритмами как положительный фактор.
2. Успешность SEO-продвижения зависит в том числе и от качества добавленных в карту адресов , поэтому мусорных и бесполезных для пользователя страниц в sitemap быть не должно.
3. Для многостраничных ресурсов рекомендуется использовать несколько файлов sitemap, объединенных в общий индекс-файл.
4. Динамическая sitemap позволит избежать необходимости обновлять список страниц вручную.
5. Sitemap можно создать самостоятельно, с помощью встроенного в CMS функционала или установленных плагинов, а также на сторонних сервисах. 
6. Для успешной загрузки карты в Яндекс и Гугл файл должен быть проверен на наличие ошибок и загружен в корневой каталог сайта.