|
|
|
|
Для наиболее эффективной индексации:
- Рекомендуется создавать Sitemap, прописывать путь к Sitemap в файле robots.txt и указывайте Sitemap поисковым системам (Яндекс, Googl).
Sitemap – это карта сайта, выполненная в особом формате, которая предназначена для облегчения индексации сайта поисковым роботам.
- Рекомендуется создавать файл Robots.txt, который предназначен для управления индексацией сайта. Основные директивы, которые следует указывать в robots.txt:
- Disallow – закрывает от индексации технические разделы и страницы сайта не представляющие ценности ни для пользователя, ни для поисковых систем
- Crawl delay. Указывает роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта. В основном данный параметр целесообразно использовать для крупных проектов, в несколько тысяч страниц. Во время индексирования роботы могут создавать на сайт большую нагрузку, что в ряде случаев вызывает сбои и задержки в работе сайта. В таких случаях и следует ограничивать количество обращений в секунду.
Например, директива Crawl-delay: 2 укажет роботу, что он должен
выжидать 2 секунды между обращениями к серверу.
- Clean param. Указывает какие cgi-параметры в адресе страницы следует считать незначащими.
Бывают страницы, которые содержат идентификаторы сессий –
формально страницы с разными идентификаторами различаются,
однако их содержимое при этом одинаково. Если таких страниц
на сайте много, индексирующий робот может начать индексировать
такие страницы, вместо того чтобы скачивать полезное содержимое. Более подробно о Clean param можно прочитать на Яндексе
- Host – указывает роботу Яндекса на главное зеркало сайта
- Закрывать от индексации страницы с результатами поиска по сайту, статистику посещаемости сайта, дубликаты страниц, разнообразные логи, сервисные страницы баз данных, изображения CAPTCHA и другие автоматически сгенерированные картинки (баннеры, графики, счетчики, графические информеры и т.п.)
- Настраивать 404 ошибку для несуществующих страниц. Необходимо проследить за тем, чтобы все не существующие страницы отдавали код сообщения 404, а нужные рабочие страницы возвращали код заголовка 200 OK. Для пользователя, страницу необходимо настроить таким образом, что бы он видел не стандартную страницу ошибки «The page cannot be found», а страницу с каким-либо содержанием, например Картой сайта и сообщением о том, что данная страница не существует.
- Избегать использование редиректов. Если редирект необходим, использовать 301 постоянный редирект. По умолчанию серверы используют 302 редирект, что не гарантирует того, что в результатах поиска будет показана цель редиректа (в отличие от 301 редиректа).
- Не использовать сплэш-страницы (входные страницы)
- Не создавать слишком больших документов. Документы больше
10Мб не индексируются.
- Иноязычные версии сайта или версии сайта, адаптированные для просмотра на мобильных устройствах, лучше выносить на поддомены и закрывать их от индексации для Яндекс
|
|
|
|
