Запрет индексации страниц и директорий через robots.txt

robots.txt — текстовый файл в корневой директории сайта, который содержит инструкции для поисковых роботов. Любой поисковый бот при заходе на сайт первым делом ищет именно этот файл.

С помощью robots.txt можно:

• запрещать индексацию отдельных страниц и директорий
• указывать поисковику на главное зеркало сайта
• задавать временной интервал между запросами робота
• и многое другое

Файл должен находиться в корневой директории сайта — там же, где и главный файл index.*. Для основного домена это папка public_html. Если файла там нет — создайте его.

Основные директивы

• User-agent — указывает, для какого поискового бота применяется правило. Символ * означает всех роботов.
• Disallow — запрещает индексацию указанного пути. Пустое значение означает разрешение.
• Crawl-delay — рекомендуемый интервал в секундах между запросами страниц.

Примеры

Запретить индексацию для конкретного бота:

# Запрет для Googlebot
User-agent: Googlebot
Disallow: /

# Запрет для Yandex
User-agent: Yandex
Disallow: /

# Запрет для MSNBot (Bing)
User-agent: MSNBot
Disallow: /

# Запрет для Yahoo
User-agent: Slurp
Disallow: /

Запретить индексацию для всех поисковиков:

User-agent: *
Disallow: /

Запретить индексацию конкретных директорий:

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/

Разрешить индексацию всего сайта всем поисковикам:

User-agent: *
Disallow:

Пустое значение Disallow эквивалентно полностью пустому файлу robots.txt.

Разрешить индексацию только выбранным ботам с задержкой между запросами:

В примере ниже сайт закрыт для всех поисковиков, кроме Yandex, Google и Rambler. Для каждого из них задана задержка 4 секунды между запросами страниц:

User-agent: *
Disallow: /
User-agent: Yandex
Crawl-delay: 4
Disallow:
User-agent: Googlebot
Crawl-delay: 4
Disallow:
User-agent: StackRambler
Crawl-delay: 4
Disallow: