ICQ - официальный сайт


Все для Телефона
Рекомендуем
Все для Телефона
Все для Телефона
Все для Телефона
Все для Телефона

Генератор robots.txt

Инструмент поможет Вам создать файл robots.txt.

User-agent:
Disallow:


Результат
Скопируйте текст и вставте в какой-нибудь текстовый редактор (блокнот). Сохраните файл как "robots.txt" в корневой директории Вашего сайта.


Все мы прекрасно знаем о существовании поисковых систем, таких как Яндекс, Google, Yahoo, более того уже не представляем Интернет без них. Миллионы людей каждый день прибегают к их услугам, для поиска интересующей информации, даже не задумываясь о том, как они находят эту самую информацию.

"Да это им и не нужно”, – скажите вы и будете совершенно правы.

Зато нас с вами, как блоггеров, этот вопрос очень, даже должен интересовать. Если конечно мы не хотим чтобы наши блоги читали только наши родственники и друзья.

Так вот если еще кто не знает, поисковики с помощью поисковых роботов (их еще называют пауками) индексируют сайты и скачивают их в свою базу данных. От того как роботы проиндексируют наши блоги и сайты и что они скачают, в немалой степени зависит тот факт какое место у блога будет в поисковой выдаче после того или иного поискового запроса.

Для того чтобы корректировать действие роботов, а именно показать им какие страницы и файлы блога нужно индексировать, а какие нет, необходим файл robots.txt. Он играет очень важную роль в поисковой оптимизации, и роботы поисковой машины сначала ищут ваш robots.txt и если не находит его, то индексирует все подряд.

К сожалению, у большинства владельцев интернет ресурсов файл robots.txt отсутствует, чаще всего по незнанию. Давайте будем отличаться от этого большинства и создадим свой robots.txt для блога на движке WordPress:

1. Для создания файла robots.txt нам понадобится простой блокнот. Создаем новый текстовый документ.

2. Вставляем в этот документ следующую информацию:

________________________________

User-agent:*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /out/
Disallow: /xmlrpc.php

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /out/
Disallow: /xmlrpc.php
Host: biznes-start.ru
Sitemap: http://biznes-start.ru/sitemap.xml

___________________________________

Это стандартный набор команд для поисковых роботов, запрещающий индексацию вспомогательных файлов WordPress не несущих никакой информативной нагрузки. Если вы заметили, то информация состоит из двух блоков.

Первый User-agent:* – для всех роботов.

Второй User-agent: Yandex – для роботов Яндекса. Кроме того для Яндекса также используются параметры Host – для указания главного зеркала сайта и Sitemap – указания пути к карте сайта, если таковая имеется. Обратите внимание Host и Sitemap в данном примере указан для нашего блога, вы же должны указать свои ссылки.

3. Сохраняем документ под именем robots (txt в имени не указываем это расширение файла).

4. Через ftp-соединение заливаем полученный файл на сервер в корневую папку, как правило, это папка «Public_html».

Ну, вот и все! Как видите ничего сложного. Времени много не займет, а польза большая. Так что если вы еще не создали свой robots txt быстренько делайте это!

Хорошей вам раскрутки!

...............................................................................................................................

Решил написать про robots.txt, которая будет наилучшей для системы uCoz.

Может, некоторые знают, что у системы uCoz есть автоматическая функция установки robots.txt на сайт.

Вот содержание данного файла:


User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Sitemap: http://сайт.ру/sitemap.xml


На мой взгляд в данном файле, убраны все НЕ нужные директивы. Это и админка, и информеры, и чат, и поиск и др.

Если вы не устанавливали свой robots.txt , то лучше не трогайте, это вам совет от меня...

P.S. Если кто не знает, то в новом сайте созданном на ucoz стоит robots.txt с такими параметрами:

User-agent: *
Disallow: /


Это значит, что ПС (поисковые системы) НЕ могут заходить на ваш сайт. Данный robots.txt будет у вас ровно месяц. После того, как ваш сайт проживет месяц, данный robots.txt изменится на стандартный (про который мы говорили выше)

Вход
ICQ
Защити свой телефон

Все для Телефона
Все для Телефона
Все для Телефона
Статистика


Онлайн всего: 1
Гостей: 1
Пользователей: 0
Copyright MyCorp © 2016
«Обращение к пользователям»,
Использование материалов разрешено только при указании источника http://www.vk-spam.3dn.ru.
При копировании материалов ссылка на сайт - www.vk-spam.3dn.ru обязательна.
Copyright MyCorp © 2016