ROBOTS.TXT – зачем он нужен, смысл файла

Сам часто забываю ключевой смысл файла robots.txt, поэтому решил запостить сюда эту мысль.

Файл robots.txt  ВСЕГО ЛИШЬ направляет робота индексации и все.

То есть, страницы могут попасть в индексацию другими различными способами – внутренней перелинковкой, похожие статьи, сайтмап и все такое.

Поэтому, если нужно именно УДАЛИТЬ некоторые страницы из индекса, то нужно в вебмастере постаавить их на удаление, а не просто запретить их в роботсе.

 

Читайте также:

Оставить комментарий

avatar
  Подписаться  
Уведомление о