Запретить индексацию страниц (robots.txt)

Вступление

Чтобы запретить индексирование сайта через файл robots.txt, используются 2 директивы: User-agent и Disallow.

robots.txt создается в корневой директории сайта.

User-agent: ПОИСКОВЫЙ_БОТ Disallow: / # будет запрещено индексирование всего сайта Disallow: /page/ # будет запрещено индексирование директории /page/

Yandex

User-agent: Yandex Disallow: /

Google

User-agent: Googlebot Disallow: /

Rambler

User-agent: StackRambler Disallow: /

Yahoo

User-agent: Slurp Disallow: /

Msn

User-agent: MSNBot Disallow: /

Для всех сразу

User-agent: * Disallow: /

Категории

ИнтернетПоисковые системы

Комментарии