Управление работой поисковых роботов

Управлять работой поисковых роботов можно с помощью двух способов:

1. с помощью файла robots.txt

2. с помощью мета тега "robots"

Далее мы рассмотрим оба этих способа:

ROBOTS.TXT ФАЙЛ

Файл robots.txt предназначен для управления поисковыми роботами. На сайте может сущестовать только один robots.txt файл. Как правило, он должен находиться в корневой директории сайта, например: www.domen.com/robots.txt. Название файла должно быть написано маленькими буквами.

В файле robots.txt содержится перечень инструкций, с помощью которых пользователь может в некоторой степени управлять действиями поисковых роботов. Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.

Например, ваш сайт еще находится в тестовой стадии и вы бы не хотели, чтобы он в таком виде был проиндексирован роботами или в каких-то директориях существует закрытая для широкой публики информация. Для этого в этот файл надо поместить следующую запись:

User-agent: *
Disallow: /

Для того, чтобы исключить ваш веб-сайт от индексирования только определенной поисковой системой, например AltaVista, вам надо сначала узнать имя поискового робота, который использует AltaVista (она использует поисковый робот под названием "Scooter") и подставить его в строчку "User-agent:". В данном случае запись будет выглядеть следующим образом:

User-agent: scooter
Disallow: /

Более полный перечень названий роботов разных поисковых систем вы можете найти ЗДЕСЬ(правда на английском языке).

Часто названия роботов отображают названия поисковых систем, например поисковый робот Ramblera носит название "StackRambler".

Вы также можете исключить от индексирования роботами определенную директорию вашего сайта. Например, вам надо исключить из индексирования директорию "/personal/secrets/" и директорию "/cgi-bin/" для всх роботов. Для этого вам надо добавить следующую строчку:

User-agent: *
Disallow: /personal/secrets/
Disallow: /cgi-bin/

МЕТА ТЕГ "ROBOTS"

В отличие от предыдущего способа, данный способ управляет поведением роботов для данной, конкретной странички. Даный механизм является более гибким, чем через файл robots.txt, так как позволяет не только запретить индексацию страниц но и запретить переход по имеющимся ссылкам внутри страницы.

Инструкции индексации записываются в поле content и могут принимать следующие значения: 

• NOINDEX - запрещает индексирование документа; 
• NOFOLLOW - запрещает проход по ссылкам, имеющимся в документе; 
• INDEX - разрешает индексирование документа; 
• FOLLOW - разрешает проход по ссылкам. 
• ALL - равносильно INDEX, FOLLOW 
• NONE - равносильно NOINDEX, NOFOLLOW 

По умолчанию установлено значение тэга: 

<meta name="Robots" content="INDEX, FOLLOW">

Например:

<meta name="robots" content="noindex,follow"> - этот тэг инструктирует роботов не индексировать данную страничку, однако следовать по ссылкам с данной странички.

<meta name="robots" content="index,nofollow"> - роботы проиндексируют данную страничку, но никуда дальше с этой странички по ссылкам не пойдут.

<meta name="robots" content="index,follow"> - данный тэг ставить нет смысла, так как роботы и так по умолчанию индексируют все страницы и следуют по ссылкам с данной страницы.

Имена тэгов и значения полей нечуствительны к регистру. Дублирование инструкций в поле content не допускается. 

Правила описания файла robots.txt и мета-тэга Robots - httр://www.yаndex.ru/info/webmaster2.html