Многие думают, что индексация – это процесс, на который невозможно повлиять, однако на самом деле владелец сайта может оставлять свои пожелания относительно того, чтобы будет попадать в индекс поисковой системы, а что не будет ею проиндексировано. Управление процессом индексации производится посредством инструмента robots.txt.

Смотрите полный видеокурс на iTunes

Что представляет собой robots.txt?

По одному только названию видно, что это файл, имеющий текстовый формат. По сути, такой сайт можно создать с помощью обычного «Блокнота», но только в том случае, если его не удастся найти в корневой директории сайта (а именно там он и должен находиться). Благодаря этому файлу индексация сайта в поисковиках является процессом, на который можно оказывать решающее воздействие. Страшно себе представить, что было бы, если бы индексация целиком и полностью зависела только от «воли» поисковика. Поисковые роботы бы своевольно определяли, что выводит на суд пользователей, а что оставлять за кадром. Также важно, чтобы была у сайта посещаимость скачать Скриншотер

Это могло бы привести к достаточно плачевным последствиям. Например, если бы индексация сайта в поисковиках была бесконтрольной, то вполне вероятной была бы ситуация, при которой на всеобщее обозрение в сети были бы выставлены скрытые разделы сайта с технической или иной конфиденциальной информацией. Попадание таких данных в массы может стать смертным приговором для бизнеса, поэтому чрезвычайно ценно, что владелец сайта может указывать, какие поисковые системы и в какой части могут индексировать площадку.

Как правильно настроить robots.txt?

Текстовый файл robots.txt, с помощью которого контролируется индексация сайта в поисковиках, сам по себе не имеет никакой ценности – главная изюминка содержится внутри него. Посещая страницы сайта, поисковой робот первым делом обращается к содержимому файла robots.txt, чтобы понять, как вести себя по части индексации. Если данный файл отсутствует или же он пуст, то поисковая система автоматически решает, что индексация отдана ей на полное усмотрение и выводит в рейтинг выдачи все страницы ресурса. Однако чтобы данный файл указывал корректные команды поисковым машинам, необходимо правильно его заполнить.

При заполнении следует учесть, что поисковые роботы не понимают человеческой письменности – у них есть свой технический язык – язык директив. Директивы – это своего рода команды, которые понятны поисковым системам и воспринимаются ими однозначно. Ключевыми директивами, которые чаще всего используются для управления индексацией – это Disallow, Аllow и User-agent, первая из которых запрещает индексацию сайта или определённых его страниц, вторая снимает запрет на индексацию, а третья указывает, какому именно поисковику адресованы эти команды.

Возможные последствия некорректной настройки robots.txt

Ошибки, допущенные при настройке текстового файла robots.txt могут дорого обойтись владельцу сайта. С одной стороны, ну проиндексировались не те страницы сайта, ну ведь это же не смертельно. С другой – смотря какие страницы. Если речь идёт о технических разделах ресурса, которые не должны видеть посторонние пользователи из соображений экономической и иной безопасности, то попадание таких страниц в индекс может спровоцировать несанкционированный доступ ко всем материалам портала и его базам данных со стороны злоумышленников.

Если в индекс попадут страницы с конфиденциальной информацией, например, база данных поставщиков редких товаров или личные данные клиентов компании, то это может поставить крест на бизнесе, за которым закрепится дурная слава. Именно поэтому чрезвычайно важно следить, чтобы файл robots.txt не только имелся в наличии в корневой папке сайта, но и был правильно заполнен.

Читайте также первую часть статьи о нюансах регионального продвижения сайтов в поисковой системе Google и детальное рассмотрение регионального продвижения сайтов в поисковой системе Яндекс (Часть 2).

Также рекомендую почитать:

• Как увеличить посещаемость сайтов?
• Что представляет собой seo интернет магазина
• FirstVDS.ru — мой отзыв об этом хостинге

Остались вопросы или можете что-то дополнить, прошу Вас в Комментарии 

Можете также оформить подписку по RSS и Email. До новых встреч! 

Понравилась заметка? Подписывайся на Email и следи за новостями в блоге!

Ваш Макс Башкинов.

Кстати, тоже интересно! =)

• Региональное продвижение сайта (часть 2) (1)
• SEO: Поведенческие факторы. (0)
• Что представляет собой seo интернет магазина (2)
• Региональное продвижение сайта (часть 1) (2)
• Как эффективно продвинуть интернет магазин (1)