| Admin | Дата: Вторник, 12.07.2011, 02:12 | Сообщение # 1 |
|
Подполковник
Группа: Пользователи
Сообщений: 102
Статус: Offline
| 
В большинстве случаев владелец сайта заинтересован в максимально полной и быстрой индексации своего ресурса поисковыми системами. Однако, бывают ситуации, когда индексацию, напротив, нужно запретить. На сайте могут быть технические страницы (со скриптами и т.п.), либо какие-то временные разделы, подлежащие скорому удалению. Индексация таких страниц не имеет смысла и не приносит выгоды ни владельцу ресурса, ни поисковой системе.
В связи с этим был разработан особый стандарт, сообщающий роботам поисковых систем о том, какие разделы сайта индексировать не нужно. Эта информация содержится в файле с именем robots.txt, который должен находится в корневом каталоге сайта (т.е. по адресу www.site.com/robots.txt). Прежде чем начать индексировать какой-либо ресурс робот поисковой системы запрашивает файл robots.txt и, при его наличии, выстраивает свое поведение согласно директивам из этого файла
Если на вашем сайте нет никаких разделов закрытых для индексации, то вы можете не создавать файл robots.txt вообще, либо сделать его пустым. В этом случае роботы смогут сканировать ваш сайт без каких-либо ограничений. Если же такие разделы есть, то стоит поподробнее ознакомиться с возможностями robots.txt
Формат файла robots.txt очень прост. Нужно лишь указать имя робота (либо использовать знак *, что распространяет действие директив из файла на любого робота) и перечислить разделы, запрещенные к индексации.
В принципе, создать файл robots.txt можно в обычном текстовом редакторе вручную без каких-либо проблем. Однако, использование программы позволяет гарантированно избежать случайных синтаксических ошибок при создании этого файла. Ниже приведен скриншот редактора robots.txt
.............................
Генератор robots.txt
.............................
|
| |
| |
