|
|
Генератор robots.txt
Инструмент поможет Вам создать файл robots.txt.
Все мы прекрасно знаем о существовании поисковых систем, таких как Яндекс, Google, Yahoo, более того уже не представляем Интернет без них. Миллионы людей каждый день прибегают к их услугам, для поиска интересующей информации, даже не задумываясь о том, как они находят эту самую информацию.
"Да это им и не нужно”, – скажите вы и будете совершенно правы.
Зато нас с вами, как блоггеров, этот вопрос очень, даже должен интересовать. Если конечно мы не хотим чтобы наши блоги читали только наши родственники и друзья.
Так вот если еще кто не знает, поисковики с помощью поисковых роботов (их еще называют пауками) индексируют сайты и скачивают их в свою базу данных. От того как роботы проиндексируют наши блоги и сайты и что они скачают, в немалой степени зависит тот факт какое место у блога будет в поисковой выдаче после того или иного поискового запроса.
Для того чтобы корректировать действие роботов, а именно показать им какие страницы и файлы блога нужно индексировать, а какие нет, необходим файл robots.txt. Он играет очень важную роль в поисковой оптимизации, и роботы поисковой машины сначала ищут ваш robots.txt и если не находит его, то индексирует все подряд.
К сожалению, у большинства владельцев интернет ресурсов файл robots.txt отсутствует, чаще всего по незнанию. Давайте будем отличаться от этого большинства и создадим свой robots.txt для блога на движке WordPress:
1. Для создания файла robots.txt нам понадобится простой блокнот. Создаем новый текстовый документ.
2. Вставляем в этот документ следующую информацию:
________________________________
User-agent:*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /out/
Disallow: /xmlrpc.php
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /out/
Disallow: /xmlrpc.php
Host: biznes-start.ru
Sitemap: http://biznes-start.ru/sitemap.xml
___________________________________
Это стандартный набор команд для поисковых роботов, запрещающий индексацию вспомогательных файлов WordPress не несущих никакой информативной нагрузки. Если вы заметили, то информация состоит из двух блоков.
Первый User-agent:* – для всех роботов.
Второй User-agent: Yandex – для роботов Яндекса. Кроме того для Яндекса также используются параметры Host – для указания главного зеркала сайта и Sitemap – указания пути к карте сайта, если таковая имеется. Обратите внимание Host и Sitemap в данном примере указан для нашего блога, вы же должны указать свои ссылки.
3. Сохраняем документ под именем robots (txt в имени не указываем это расширение файла).
4. Через ftp-соединение заливаем полученный файл на сервер в корневую папку, как правило, это папка «Public_html».
Ну, вот и все! Как видите ничего сложного. Времени много не займет, а польза большая. Так что если вы еще не создали свой robots txt быстренько делайте это!
Хорошей вам раскрутки!
............................................................................................................................... Решил написать про robots.txt, которая будет наилучшей для системы uCoz.
Может, некоторые знают, что у системы uCoz есть автоматическая функция установки robots.txt на сайт.
Вот содержание данного файла:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Sitemap: http://сайт.ру/sitemap.xml
На мой взгляд в данном файле, убраны все НЕ нужные директивы. Это и админка, и информеры, и чат, и поиск и др.
Если вы не устанавливали свой robots.txt , то лучше не трогайте, это вам совет от меня...
P.S. Если кто не знает, то в новом сайте созданном на ucoz стоит robots.txt с такими параметрами:
User-agent: *
Disallow: /
Это значит, что ПС (поисковые системы) НЕ могут заходить на ваш сайт. Данный robots.txt будет у вас ровно месяц. После того, как ваш сайт проживет месяц, данный robots.txt изменится на стандартный (про который мы говорили выше)
|
|
| Статистика |
Онлайн всего: 1 Гостей: 1 Пользователей: 0 |
|
