Обычно, чтобы сделать sitemap.xml, применяют один из следующих вариантов: онлайн сервисы, модули CMS, специализированные программы или вручную. Ниже мы подробно рассмотрим каждый из инструментов.
В интернете существует масса сервисов позволяющих составить sitemap для поисковых роботов. Вот наиболее популярные из них:
Данные сервисы прекрасно работают и выполняют свои функции. Однако, как правило, на них присутствует ограничение на количество учитываемых страниц (обычно 500 штук). Кроме того, если на сайте плохая навигация и до некоторых документов довольно трудно добраться посылкам, то, вероятнее всего, эти страницы не попадут в sitemap.xml.
У большинства популярных систем администрирования есть дополнения, которые позволяют им создавать sitemap в автоматическом или в ручном режиме. Это наиболее удобный способ работы с картой сайта для больших ресурсов, с постоянно публикуемыми новыми материалами. Как показывает практика, можно найти несколько подходящих дополнений, вам останется только выбрать наиболее соответствующее вашим целям.
Например, для WordPress таким плагином является Google XML Sitemaps, а для Joomla – компонент Xmap. Кроме того, на многих движках возможность создать файл sitemap присутствует в исходной комплектации (например, 1с-Битрикс или DataLife Engine).
Xenu – это один из наиболее востребованных программных продуктов, созданных для SEO-специалистов . Данная программа может не только создавать sitemap для сайта, она обладает массой полезных функций – проверка битых ссылок, выявление редиректов и многое другое.
Надо отметить, что Xenu является не единственной программой, которая дает возможность составить sitemap.
Наиболее трудозатратный, но в тоже время верный способ – вручную. Его применяют, когда другие варианты не подходят. Это может быть, например, при попадании слишком большого числа ненужных страниц в карту сайта, или сайт с плохой навигацией, не использующий CMS.
После того, как сделаете sitemap.xml, обязательно проверьте получившийся файл. Это можно сделать с помощью сервиса в панели вебмастера Яндекс , который расположен по адресу
Яндекс Вебмастер позволяет:
Чтобы добавить файл Sitemap в очередь на индексирование, вам нужно, как и всегда, зайти в сервис Вебмастера – webmaster.yandex.ru. Далее:
После добавления, файл попадает в очередь на обработку. Робот добавит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в индекс Sitemap, обрабатывается роботом отдельно.
После загрузки напротив каждой карты сайта вы увидите в Яндекс Вебмастере один из статусов:
Статус | Описание | Примечание |
---|---|---|
«OK» | Файл сформирован правильно и загружен в базу робота | Напротив файла отобразится дата последней загрузки.Проиндексированные страницы появятся в результатах поиска в течение двух недель |
« » | Указанный URL перенаправляет на другой адрес | Удалите редирект и сообщите роботу об обновлении |
«Ошибка» | Файл сформирован неправильно | Нажмите ссылку Ошибка, чтобы узнать подробности. После внесения изменений в файл сообщите роботу об обновлении |
«Не проиндексирован» | При обращении к Sitemap сервер возвращает HTTP-код, отличный от 200 | Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.Если файл доступен, сообщите роботу об обновлении |
Доступ к файлу запрещен в robots.txt с помощью директивы Disallow | Разрешите доступ к Sitemap и сообщите роботу об обновлении |
Когда в Sitemap происходят изменения, его не нужно удалять из Яндекс Вебмастера и добавлять заново. Поисковик время от времени сам проверяет его на изменения и ошибки.
Если ваш Sitemap не проиндексирован, то это можно ускорить. Нужно зайти в раздел «Индексирование», далее в пункт «Файлы Sitemap». Нажать на значок обновления напротив нужноq карты сайта. Яндекс загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.
Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.
В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице «Файлы Sitemap» :
Если для Sitemap была добавлена директива в файле robots.txt, удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.
Яндекс принимает Sitemap в форматах:
Предпочтительней передавать в формате XML, т.к. в нем можно передать дополнительные данные.
Яндекс поддерживает протокол Sitemap . Используйте этот формат, если хотите сообщить о:
В данном формате можно передать только адреса страниц. И всё. Да, грусть и печаль, лучше используйте XML 🙂
Используйте этот формат, чтобы сообщить только об адресах страниц.
Https://сайт/ssylki-v-yandex-webmaster/ https://сайт/zerkala-sajta-v-yandex-webmaster/
Чтобы передавать информацию о видео, в Sitemap укажите ссылки на XML-фиды (см. подробно в Помощи сервиса Я.Видео).
Поиск не поддерживает передачу информации об изображениях, RSS и Atom-фидов с помощью файла Sitemap.
Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:
Добавить Sitemap.xml в Яндекс Вебмастер – видео
Как добавить карту сайта XML Sitemap в поисковые системы Google and Yandex? На самом деле добавление Sitemap в Google Webmaster и Yandex Вебмастер происходит элементарно. При этом например Яндекс автоматически определяет карту сайта, если она указана в файле Robots.txt.
В этом руководстве мы рассмотрим примеры добавления карты сайта в Google Webmaster и Yandex Вебмастер. Поговорим о методах проверки и анализа Sitemap, именно через Console Google и благодаря инструментам в Яндекс вебмастере. Затронем такой важный момент, как переобход страниц Mapsite.
Как я уже оговаривал выше, по умолчанию агент поисковой системы Yandex определяют карту указанную в Robots. Через некоторое время ее можно обнаружить в Яндекс Вебмастере. Но лучше всего дополнительно добавить ее, это может помочь если вдруг Robots будет недоступен. Добавление Mapsite, позволит Вам значительно ускорить обходы контента проекта ботом Яши.
Добавляем XML Sitemap в Вебмастере Яндекс :
По завершению всех действий, бот поисковой системы проанализирует этот адрес. Затем через определенное время она отобразиться именно на странице где Вы ее добавили. Также будут доступны: статус карты сайта, дату обхода и общее количество ссылок в mapsite. Раздел позволит Вам, правильно анализировать индексирование, загруженного контента Вашего проекта.
Добавление карты в Console Google также не займет у Вас много времени. Единственное отличие от Яши, Гена не отображает XMLMAPs указанную в Robots.txt. Но имеет достаточно большой перечень инструментов для работы с ней.
Добавляем XML Sitemap в Search Console :
Затем следует подождать некоторое время, чтобы поисковый Google Bot смог обойти этот Url. Map будет отображена на странице, где Вы ее добавляли. Нажав на нее можно будет увидеть все доступные статусы:
В прошлой статье, был подробно описан пример указания URL карты в Robots.txt. С ней можно ознакомиться ниже в рекомендациях по этой теме. Думаю те у кого уже создан Robots, не нуждаются в примере и могут пропустить эту часть статьи.
Добавление URL карты в Robots.txt :
В Search Console проверить загруженную карту очень просто. Достаточно следовать простым действиям:
В Яндекс Вебмастере немного больше способов протестировать Сайтмап. Следуем следующим действиям:
Теперь давайте рассмотрим способы ее обновления. В некоторых случаях это достаточно полезная функция, особенно при глобальных изменениях в контенте проекта. Обновление Site-map дает указание поисковым ботам на повторную индексацию всего ее содержимого. Благодаря этой функции можно обновить большую часть измененной информации, именно для поисковых машин.
Переобход map в Yandex Вебмастер :
Переобход map в Search Console
:
Я подробно рассказал Вам о всех тонкостях добавления, анализа и переобхода сайтмап. Таким образом можно значительно ускорить индексирование проекта поисковыми машинами. Сократить в некоторых случаях время на ожидание переобхода контента ботами, запросив принужденное сканирование.
По мимо всего прочего стоит отметить один момент. Будьте внимательны и обязательно проверяйте статусы вашей site-map. Это необходимость в целях быстрой реакции на возможные ошибки. Таким образом, можно быстро исправить возникшие неполадки и обновить сайтмап.
Я уверен эта информативная статья будет хороши пособием, как для начинающих вебмастеров и уверенных владельцев интернет проектов. Желаю Вам успехов, в начинаниях и хорошей технической оптимизации Вашим проектам.
Файл Sitemap - это файл с информацией о страницах сайта иначе называемая карта сайта . С помощью файла Sitemap вы можете сообщить поисковой системе, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на страницах, а также индексация каких страниц наиболее важна.
Здесь вы можете сформировать необходимый Google и Yandex XML -код для карты сайта. А также создать визуальную карту сайта онлайн, которую сможете разместить на одной из ваших страниц.
Подробнее о XML-формате файла Sitemap можно прочитать на sitemaps.org
Новичок Эксперт VIP Информация Структура XML История FAQ
Теги файла sitemap.xml:
Особенностью применения формата XML является необходимость замены всех служебных символов на их безопасное представление. Ниже приведена таблица символов, которые встречаются в URL и подлежат обязательной замене:
Файл Sitemap имеет ограничения на размер индексного файла в 10 мегабайт. Для того чтобы это ограничение не затронуло владельцев небольших веб-сайтов, предусмотрена возможность сжатия файлов, которые предназначены для Sitemap с помощью открытого архивного формата gz (gzip-архиватор).
Можно указать местоположение файла Sitemap , используя файл robots.txt . Для этого просто добавьте в файл robots.txt следующую строку:
Sitemap: http://ДОМЕН.ru/sitemap.xml
URL должен быть полным URL для файла Sitemap.
Для передачи поисковым системам нового Sitemap
используйте строку вида:
Поисковая система/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для Google: http://www.google.com/webmasters/sitemaps/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для проверки корректности составления карты вашего сайта следует предварительно проверить его на правильность. Проще всего это сделать с помощью одной из утилит, расположенных на веб-сайтах или xml.org . При этом вам понадобится XML-схема данных индексного файла Sitemap. Чтобы указать в XML файле ссылку на схему проверки установите флажок "Добавлять ссылку на XSD схему для проверки ". После этого при открытии Sitemap.xml файла в браузере, при наличии ошибок в структуре, вы получите соответствующее сообщение.
Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам - помочь им собрать детальную информацию о структуре продвигаемого сайта.
Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта . Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.
Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.
На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.
И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.
Стандарт получил название Sitemaps 0.84 . За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps , предложенное Google , стало пользоваться бешеной популярностью.
Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo , а в апреле и Ask.com . На радостях формат Sitemaps получил новую версию Sitemap 0.90 , расширяющую функциональные возможности.
В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask , Google и Yahoo , т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.
2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндекс ом.
Как сделать, чтобы на вашем сайте всегда была свежая карта? Для этого создан бесплатный сервис поддержания карты сайта.
Также Вы можете приобрести готовый универсальный
Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.
Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.
Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:
Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:
Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.
Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:
Вот еще инфа об этом файле:
Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:
Приведу простой пример карты:
< url > < loc > http : //site.ru/ < lastmod > 2016 - 11 - 20T19 : 45 : 08 + 03 : 00 < / lastmod > < changefreq > always < / changefreq > < priority > 0 , 9 < / priority > < / url > < url > < loc > http : //site.ru/category/ < lastmod > 2016 - 11 - 20T19 : 46 : 38 + 03 : 00 < / lastmod > < changefreq > monthly < / changefreq > < priority > 0 , 6 < / priority > < / url > < url > < loc > http : //site.ru/page/ < lastmod > 2016 - 11 - 20T19 : 48 : 41 + 03 : 00 < / lastmod > < changefreq > yearly < / changefreq > < priority > 0.4 < / priority > < / url > |
Теги url и loc являются обязательными. В первом прописывают все сведения о конкретном URL. Во втором прописывается сам адрес.
Теги lastmod, changefreq, priority не являются обязательными, но использовать их всё же рекомендуется.
Lastmod в sitemap отвечает за дату последнего обновления.
Changefreq указывает на частоту изменений страницы. Значения могут быть следующими:
Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1(низкий) до 1(высокий).
Это был только пример карты, не нужно указывать именно эти значения. Вообще, priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).
Теперь рассмотрим пример, когда ссылок более 50 тысяч. В этом случае файл включает в себя другие карты:
< sitemap > < loc > http : //site.ru/sitemaps/sitemap01.xml < lastmod > 2016 - 11 - 20T21 : 37 : 28 + 03 : 00 < / lastmod > < / sitemap > < sitemap > < loc > http : //site.ru/sitemaps/sitemap02.xml < lastmod > 2016 - 11 - 20T21 : 37 : 29 + 03 : 00 < / lastmod > < / sitemap > |
Способов создания xml-карты несколько, рассмотрим их:
Вот вариант, как сделать сайтмап без помощи плагинов:
Сделать карту сайта в WordPress можно с помощью специального плагина, который называется Google XML Sitemaps. Здесь все просто: скачиваем плагин, устанавливаем, затем приступаем к созданию файла. Для этого открываете Консоль-Настройки, и выбираете XML-sitemap. Далее выставляем настройки. Приоритет оставляем по умолчанию.