Все без исключения страницы сайта должны иметь человеко-понятный урл (ЧПУ). Так на профессиональном жаргоне называют веб-адрес, содержащий читаемые слова вместо служебных параметров, более удобных для компьютера, чем для людей (например, числовых идентификаторов страницы).
Такой адрес состоит из букв латинского (английского) алфавита, цифр и знака «-» (дефиса), который используется для отделения слов друг от друга вместо пробела. ЧПУ отражает виртуальную иерархическую структуру сайта (физически такая структура папок и файлов на сервере может и не существовать). Пример такого адреса: http://site.ru/katalog/igrushki/kubik-rubika (http://site.ru/katalog/igrushki/kubik-rubika)
В Гугле такие адреса называют простыми[45 - https://support.google.com/webmasters/answei7763297hUru]. И действительно, чтобы добиться такой адресации, структуру сайта нужно делать предельно простой, логичной и понятной. Это поможет пользователям просматривать сайт, а роботам – правильно его индексировать.
ЧПУ должен дублировать структуру сайта. Вот примеры того, как он должен выглядеть для разных разделов:
– [главная страница]
– [главная страница] + [раздел]
– [главная страница] + [раздел] + [подраздел]
– [главная страница] + [раздел] + [подраздел] + [страница]
Приведем простой алгоритм образования URL-адреса из заголовка страницы. Это оптимальный способ автоматического формирования ЧПУ, но важно соблюдать последовательность действий:
1. Преобразовать строку заголовка страницы в нижний регистр.
2. Заменить символы кириллицы согласно таблице ниже.
1. Все символы, кроме допустимых (знака тире, букв и цифр), заменить на «-» (включая пробел). Регулярное выражение для замены [^-a-zQ-9].
2. Заменить несколько идущих подряд «-» на один «-».
3. Проверить и удалить, в случае необходимости, символ «-» на первой и последней позиции в строке.
4. К полученному результату слева присоединить косую черту и ЧПУ раздела, находящегося на один уровень выше текущего. Понятно, что самым верхним уровнем будет домен сайта.
Для проверки качества ЧПУ можно провести простой тест: дать контрольной группе пользователей только URL-адрес нескольких разделов сайта и попросить описать, чему посвящены эти страницы. Если у них возникнут проблемы – стоит внести коррективы.
Важные замечания
Спам. ЧПУ не должен быть заспамлен, то есть в нем не должно быть слишком много ключевых слов (тем более они не должны повторяться!). Если ЧПУ формируется из заголовка, то сначала необходимо оптимизировать заголовки согласно ранее данным рекомендациям.
Длина. URL-адрес должен быть коротким. Хорошим тоном считается удерживать длину адреса в пределах 150–200 символов. Это удобно для пользователей и радует поисковых роботов.
Ключевые слова. В адресе обязательно нужно использовать ключевые слова. Это не только поможет пользователям лучше понимать структуру адресов сайта, но и может улучшить кликабельность на странице поисковой выдачи, так как ключевые слова там выделяются жирным шрифтом.
Подразделы вместо поддоменов. Без крайней необходимости не стоит выносить контент за пределы основного домена сайта (на поддомены).
В общем случае домен и его поддомен поисковыми системами воспринимаются как два разных сайта. Соответственно, если весь контент агрегируется на основном домене, можно получить синергетический эффект при продвижении за счет роста размера сайта, ссылочной массы и поведенческой статистики. Если вынести часть контента на поддомены, в общем случае вместо одного «сильного» сайта получится несколько «слабых», которые даже в совокупности будут генерировать гораздо меньше трафика.
Нижний регистр. Все URL должны быть в нижнем регистре. Если на сайте использовался верхний регистр, нужно настроить 301 редирект на страницы в нижнем регистре.
13. Файл Sitemap.xml
Sitemap.xml – это служебный файл[46 - https://yandex.ru/support/webmaster/controlling-robot/sitemap.xml и https://support.google.com/webmasters/answer/156184?hl=ru&ref_ topic=4581190] карты сайта в формате XML[47 - http://www.sitemaps.org/ru/protocol.html], который позволяет сообщить поисковым системам информацию о том, как организованы данные на продвигаемом вебресурсе. В нем содержатся ссылки на все разделы и страницы, которые должны быть проиндексированы поисковыми роботами.
Как правило, sitemap.xml на больших или часто изменяющихся сайтах генерируется на лету (этот процесс легко автоматизировать). Реальный адрес файла вовсе не обязан быть site. ru/sitemap.xml: он может быть абсолютно любым, например, site.com/anything (хотя лучше, конечно, чтобы у карты сайта был осмысленный адрес).
Поисковые роботы регулярно скачивают файл карты сайта, сравнивают его с имеющейся у них версией и, если файлы отличаются (например, в скачанной версии добавились новые ссылки), индексируют изменения на сайте.
Помимо новых ссылок, файлы Sitemap помогают передать поисковику метаданные о страницах сайта. Например, можно указать дату последнего изменения, периодичность обновления контента и важность страницы на сайте по сравнению с другими разделами.
Существуют отдельные виды файлов для разных типов контента, включая видео[48 - https://support.google.com/webmasters/answer/80471] и изображения[49 - https://support.google.com/webmasters/answer/178636]. Для абсолютного большинства веб-проектов генерировать их нет смысла, но, если для продвигаемого проекта это актуально, рекомендуется разработать в движке функционал, позволяющий автоматически генерировать и обновлять соответствующие документы.
Необходимость файла sitemap.xml
Некоторые исследователи придерживаются мнения, что файл sitemap.xml не нужен для большинства сайтов. Якобы структуру веб-ресурса нужно делать настолько простой и удобной, чтобы поисковые роботы смогли без проблем добраться до любой страницы сайта и проиндексировать ее. Такая структура гораздо лучше подходит не только для поисковиков, но и для пользователей. Им становится проще пользоваться сайтом, что улучшает поведенческие факторы ранжирования (например, количество и глубину переходов, время на сайте).
Исключение составляют масштабные информационные и e-commerce проекты, где просто-напросто слишком много страниц, и сделать их все относительно легкодоступными не всегда представляется возможным.
С тем, что структуру ресурса нужно делать удобной, никто не спорит (подробнее мы поговорим об этом в главе про структурную оптимизацию сайта). И действительно, если страницы сайта корректно и полно связаны друг с другом, поисковый робот сможет рано или поздно обнаружить все материалы. Однако это не отменяет необходимости настраивать sitemap.xml для всех сайтов.
Sitemap.xml является слабым сигналом качества сайта и повышает уровень траста сайта. Даже для небольших проектов он способен помочь поисковым роботам более точно и оперативно индексировать все изменения на сайте.
Кроме того, файл карты сайта однозначно нужен, если:
– Размер сайта очень велик. В этом случае роботы могут неделями и месяцами добираться до созданных или измененных разделов.
– Сайт содержит большой архив страниц, которые не связаны друг с другом. Чтобы они были успешно просканированы, их нужно перечислить в файле sitemap.xml. При этом отметим, что несвязанные или слабо связанные страницы скорее всего все равно выпадут из индекса из-за маленького статического веса (на такие страницы стоит мало ссылок) и плохих поведенческих факторов (такие страницы не посещают пользователи).
? На заметку
По этой причине не всегда удается удержать в индексе поисковых систем нужные страницы.
Например, распространенным приемом является получение трафика с карточек старых товаров. Самих товаров уже нет и не будет в наличии (например, сняты с производства), поэтому карточки удаляются из каталога, но отображаются по прямым ссылкам, чтобы присутствовать в индексе и генерировать хоть какое-то количество трафика.
Чтобы удержать такие страницы в индексе поисковиков, можно попробовать оставить их в каталоге (пусть и на дальних позициях) с пометкой «Нет в наличии» и вариантами товаров-аналогов.
Настройка файла sitemap.xml
Помимо требований поисковых систем к оформлению файла и отдельных записей, при настройке sitemap.xml нужно выполнить следующие рекомендации:
1. Sitemap.xml должен генерироваться автоматически.
2. Sitemap.xml должен быть корректным, то есть в нем должны быть только те ссылки, которые представляют интерес для поисковых систем и пользователей. Служебные и малоинформативные разделы помещать в карту сайта нет смысла.
3. Для Sitemap лучше использовать формат XML, так как он позволяет предоставлять дополнительную информацию о страницах сайта. Для каждого URL нужно указать дату последнего обновления страницы (элемент lastmod). Также опционально можно указать:
a. частоту изменения страницы (элемент changefreq; слишком высокую частоту обновлений ставить не стоит, так как она может влиять на расходование краулингового бюджета);
b. относительную значимость страницы (элемент priority; этот параметр используется редко, так как корректно распределить веса самостоятельно на большом сайте проблематично).
4. Sitemap.xml должен обновляться не только при добавлении нового раздела, но и при изменении существующей страницы (меняется параметр lastmod).
5. Файл карты сайта не должен содержать синтаксических ошибок. Проверить это можно в панелях веб-мастеров поисковых систем.
6. Файл должен располагаться на том же домене, что и сайт, для которого он составлен, и отдавать HTTP-статус с кодом 200 OK.
7. Если Sitemap слишком большой (более 50 000 URL или весит более 10 Мб), нужно разбить его на несколько отдельных файлов, адреса которых указать в файле индекса Sitemap.
8. В файле нужно использовать кодировку UTF-8.
Остается добавить, что Sitemap.xml не дает гарантий, что роботы будут корректно сканировать и индексировать сайт, но повышает шансы на успех.
14. Оптимизация страниц с постраничной навигацией
Периодически возникает необходимость разбивать содержимое сайта на отдельные страницы. За примерами далеко ходить не надо: по страницам разбиваются списки товаров в интернет-магазинах или ветки обсуждений на форумах.
? На заметку
В веб-дизайне разбиение информации по отдельным страницам называется пагинацией.[50 - https://ru.wikipedia.org/wiki/narHHau,Ha]
Пагинация используется на сайтах повсеместно, поэтому поисковые алгоритмы давно научились корректно индексировать и ранжировать такие страницы. Это можно заметить по результатам поиска – нередко там можно увидеть, например, n-ую страницу ветки форума.
Но, несмотря на широкое распространение пагинации, такие страницы зачастую требуют дополнительных усилий по оптимизации из-за ряда возможных проблем, среди которых:
1. Медленная индексация. Чем больше страниц с пагинацией на сайте, тем больше тратится краулингового бюджета на их индексирование.
В результате целевые страницы могут медленно переиндексироваться, а новые разделы сайта долго не будут попадать в базу поисковых систем.
2. Рост малоинформативных страниц в индексе. Страницы пагинации мало отличаются друг от друга и редко отображаются в результатах выдачи поисковых систем. Если таких страниц очень много, это может снизить уровень траста сайта.
Дополнительно ситуация осложняется, если количество страниц в разделе с пагинацией велико. В таком случае, чтобы добраться, например, до сороковой страницы, и роботам, и пользователям нужно сделать очень много переходов. Большой уровень вложенности делает такие страницы и контент на них еще более малозначимыми и усложняет индексацию.
3. Появление в индексе страниц с частичным дублированием контента. Такая ситуация характерна, например, для случаев, когда описательный текст для первой страницы категории отображается на всех страницах пагинации.
В данной главе мы рассмотрим основные инструменты, которые помогут сделать пагинацию на сайте более понятной для пользователей и поисковых систем.
Снижение уровня вложенности
Разберем типичный пример. Допустим, на сайте есть категория, в которой 70 страниц, а пагинация выглядит стандартно:
Предыдущая 1 2 3 4 5 6 7 8 9 1 °Cледующая
Чтобы добраться до последней страницы, и поисковому роботу, и пользователю понадобится как минимум семь кликов, что сильно затрудняет индексацию раздела.
Выходом может быть создание пагинации с «опорными» страницами следующего вида:
Предыдущая 1 2 3 4 5 10 20 30 40 50 60 7 °Cледующая
Понятно, что при клике на двадцатую страницу пользователь увидит в строке пагинации страницы с 20 по 25 включительно и опять же перечень опорных страниц. К ним можно добавить ссылки на первую и последнюю страницу пагинации.
? На заметку
В качестве возможного варианта можно еще попробовать выводить больше ссылок на страницы пагинации (например, не десять, а двадцать ссылок).
Ранее оптимизаторы часто выводили вообще все страницы пагинации, даже если их было несколько десятков; однако сейчас такой вариант будет смотреться слишком архаично.
Чтобы уменьшить количество страниц, также нужно повышать количество элементов на странице. Это понравится и поисковым системам, и пользователям, так как они не любят делать лишние клики – скроллить список колесиком мышки гораздо проще. Также можно доработать возможность для пользователей выбирать количество элементов на странице. Единственное, о чем нужно помнить, это скорость сайта – страницы должны грузиться быстро.
«Показать все»
Некоторые пользователи хотят увидеть информацию целиком, на одной странице. Для них стоит предусмотреть соответствующую ссылку – именно поисковая система порекомендует пользователю, если сочтет, что он ищет именно такой вариант.
При этом нужно помнить о скорости загрузки. Если информации слишком много, то страница «Показать все» будет грузиться слишком долго. В таком случае на сайте ее быть не должно.
Ссылку на страницу «Показать все» можно указать в качестве главной с помощью атрибута rel=«canonical» на всех страницах пагинации.
