Вы можете авторизоваться через ВКонтакте, Фейсбук и оставить комментарий


Запретить индексацию страниц (robots.txt)

Вступление

Чтобы запретить индексирование сайта через файл robots.txt, используются 2 директивы: User-agent и Disallow.

robots.txt создается в корневой директории сайта.

1
2
3
User-agent: ПОИСКОВЫЙ_БОТ
Disallow: / # будет запрещено индексирование всего сайта
Disallow: /page/ # будет запрещено индексирование директории /page/

Yandex

1
2
User-agent: Yandex
Disallow: /

Google

1
2
User-agent: Googlebot
Disallow: /

Rambler

1
2
User-agent: StackRambler
Disallow: /

Yahoo

1
2
User-agent: Slurp
Disallow: /

Msn

1
2
User-agent: MSNBot
Disallow: /

Для всех сразу

1
2
User-agent: *
Disallow: /
Опубликовано: 23 июня 2011  ·  Автор: Артём Фёдоров  ·  8352 просмотра

Категория

ГлавнаяИнтернетПоисковые системыЗапретить индексацию страниц (robots.txt)

Чтобы оставить комментарий нужно авторизоваться на сайте
или войти через ВКонтакте или Фейсбук

Войти через ФейсбукВойти через Твиттер

Комментарии

Поисковые системы, Интернет

© 2010-2017 expange.ru
При полном или частичном копировании статей сайта, ссылка на источник обязательна.

Хотите узнать больше информации, пишите на: artem@expange.ru

Полезное онлайн  ·  Новости  ·  Изображения  ·  Статьи по датам

О проекте  ·  Правила пользования  ·  Представительства

Благодарности и пожелания