О robots.txt для чайников - Про Ucoz - Программы фильмы онлайн смотреть игры все длЯ компа - Мир софта программы
Четверг, 30.03.2017
Игры проги фильмы софт Трафик для мегалайнеров не учитыва...
Меню сайта
Категории раздела
Уроки Photoshop [0]
Photoshop [0]
Кисти для Photoshop [0]
Стили для Photoshop [2]
Рабочий стол [0]
Плагины для Photoshop [3]
Остальное [0]
Софт [0]
Фильмы скачать [0]
Игры [0]
Windows 7 [4]
Статьи [0]
Заработок [1]
Про Ucoz [11]
Про DLE [0]
Вебмастерам [4]
Клипарты [0]
Мини-чат
Наш опрос
Ваш интерес
Всего ответов: 295
Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0
Форма входа
Главная » Файлы » Про Ucoz

О robots.txt для чайников
27.04.2011, 17:51
Сегодня я расскажу Вам о сайте robots.txt. Сразу отмечу, что ориентироваться я буду на Юкоз и расскажу только самые простейшие вещи, которые необходимо знать каждому, кто создает свой сайт на Юкосе.
Итак, robots.txt нужен для того, чтобы четко ориентировать поисковых роботов на предмет того, какие страницы Вашего сайта ему индексировать, а какие не стоит. Так, например, совершенно ни к чему индексация различных служебных страниц, вроде страницы регистрации пользователя или страницы добавления материала.
В Юкосе администрация уже обо всем позаботилась и создала файл robots.txt в том виде, в каком он в идеале должен быть у сайта, построенного на Юкосе. Поэтому администрация настоятельно рекомендует не заменять стандартный файл на свой. Более того, если Вы удалите случайно этот файл, система тут же пропишет его снова.
Как я ужн говорила, файл robots.txt предназначен для поисковых роботов, поэтому в системе Юкос есть одно важное правило: первоначально при создании сайта в файле robots.txt прописано, что сайт полностью закрыт для индексации. Сделано это для того, чтобы дать Вам время наполнить сайт контентом и сделать необходимый дизайн, ведь если сайт проиндексируется раньше времени, он может быстро попасть в бан к поиковикам, а это никому не нужно. При посещаемости более 20 человек в день доступ к сайту открывается уже через 2 недели, у всех остальных он открывается через месяц. Поэтому в течение этого месяца не предпринимайте попытки прописать его в различных каталогах и поисковиках - это будет бесполезная, а иногда и вредная, трата времени. Также сайт могут открыть к индексации раньше положенного времени, если будет оплачена любая из платных услуг Юкоса, или Вы прикрепите свой доменное имя.
Обращаю Ваше внимание, что запрет на индексацию не всегда снимается автоматически, поэтому, если Вы считаете, что Вы выполнили условия, о которых я писала выше, но видите, что запрет на индексацию не снят, пишите в техподдержку, и они снимут его.
Во время карантина (запрета к индексации) Вы не сможете редактировать файл robots.txt, после Вы можете делать с ним все, что угодно.
Вот пример стандартного robots.txt:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /main/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat

А вот пример файла robots.txt сайта, который еще запрещен к индексации:

User-agent: UNetBot
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat

User-agent: *
Disallow: /

Посмотреть этот файл Вы можете по адресу http://адрес_вашего_сайта /robots.txt

Теперь немного о командах:
User-agent - показывает для каких роботов выполнять нижеследующие команды
Disallow - запрещает к индексации все, что находится в указанном каталоге
Allow - Наоборот разрешает к индексации указанный каталог или страницу.

Приведу примеры из справки Яндекса:
1.
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту

User-agent: Yandex
Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin'
2.
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'

Думаю из этих примеров все понятно. Создавать файл robots.txt можно в любом текстовом редакторе, закачать на сайт можно через файловый менеджер.
Если остались вопросы спрашивайте, постараюсь ответить.
Категория: Про Ucoz | Добавил: daukebak
Просмотров: 4564 | Загрузок: 0 | Комментарии: 24 | Рейтинг: 5.0/2
Всего комментариев: 241 2 3 »
Комментарий #24
Написал: Rent   |   08.11.2013

http://filmx.net.ua/ -Скачать фильмы бесплатно скачать журналы в хорошем качестве без регистрации новинки фильмов в хорошем качестве без регистрации фильмы 2013 игры 2013 без регистрации скачать новые фильмы игры
0  
Комментарий #23
Написал: Nick   |   06.10.2013

http://www.for-counterstrike.tk/
0  
Комментарий #22
Написал: Morello   |   05.11.2012

http://crisp.do.am/ = тут можно найти читы на /DOTA/COUNTER-STIKE/SPEEDHACK/WALLHACK/MAPHACK/MAP ДЛЯ ДОТЫ/
0  
Комментарий #21
Написал: Александр   |   26.08.2012

Про файл robots.txt подробно есть на сайте : http://forexavto.ucoz.ru/blog
0  
Комментарий #20
Написал: аа   |   11.08.2012

готовые домашние задания только на http://gdzz.at.ua/
0  
Комментарий #19
Написал: Valia39710   |   08.07.2012

Новости мира Hi-Tech, Ноутбуки, Планшеты, Смартфоны. http://hitechworldnews.ucoz.ru/
0  
Комментарий #18
Написал: vvv   |   07.07.2012

http://www.zoom-game.org.ua/ привет, сори за это!
http://www.zoom-game.org.ua/
0  
Комментарий #17
Написал: valeria1972   |   16.05.2012

Немогу добавить сайт в поисковик Яндекса, пишет:
Указанный URL запрещен к индексации в файле robots.txt на сайте. Показывает что у меня в файле robots.txt следующее:User-agent: *
Disallow: /. Если юкос всё сделал правильно, в чём причина? Спасибо.
0  
Комментарий #16
Написал: valeria1972   |   16.05.2012

Здравствуйте, подскажите пожалуйста, вот Вы пишите что "В Юкосе администрация уже обо всем позаботилась и создала файл robots.txt в том виде, в каком он в идеале должен быть у сайта, построенного на Юкосе. Поэтому администрация настоятельно рекомендует не заменять стандартный файл на свой. Более того, если Вы удалите случайно этот файл, система тут же пропишет его снова". А где посмотреть есть ли он или нет, куда зайти на сайте, в какой он папке?
0  
Комментарий #15
Написал: evgeniy8455   |   07.05.2012

ПОСЕТИТЕ МОЙ САЙТ ГДЕ МОЖНО СКАЧАТЬ ВСЕ ДЛЯ УКРАШЕНИЯ,ЗАЩИТЫ,ОПТИМИЗАЦИИ,УСКОРЕНИЯ КОМПЬЮТЕРА.САЙТ МОЛОДОЙ ТАК ЧТО НЕ ОБЕССУДЬТЕ.ВОТ ССЫЛКА http://wareznik2012.ucoz.ru/
0  
1-10 11-20 21-24
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Block title
Валюта
Поиск
Друзья сайта
Copyright MyCorp © 2017