Сегодня я расскажу Вам о сайте robots.txt. Сразу отмечу, что ориентироваться я буду на Юкоз и расскажу только самые простейшие вещи, которые необходимо знать каждому, кто создает свой сайт на Юкосе. Итак, robots.txt нужен для того, чтобы четко ориентировать поисковых роботов на предмет того, какие страницы Вашего сайта ему индексировать, а какие не стоит. Так, например, совершенно ни к чему индексация различных служебных страниц, вроде страницы регистрации пользователя или страницы добавления материала. В Юкосе администрация уже обо всем позаботилась и создала файл robots.txt в том виде, в каком он в идеале должен быть у сайта, построенного на Юкосе. Поэтому администрация настоятельно рекомендует не заменять стандартный файл на свой. Более того, если Вы удалите случайно этот файл, система тут же пропишет его снова. Как я ужн говорила, файл robots.txt предназначен для поисковых роботов, поэтому в системе Юкос есть одно важное правило: первоначально при создании сайта в файле robots.txt прописано, что сайт полностью закрыт для индексации. Сделано это для того, чтобы дать Вам время наполнить сайт контентом и сделать необходимый дизайн, ведь если сайт проиндексируется раньше времени, он может быстро попасть в бан к поиковикам, а это никому не нужно. При посещаемости более 20 человек в день доступ к сайту открывается уже через 2 недели, у всех остальных он открывается через месяц. Поэтому в течение этого месяца не предпринимайте попытки прописать его в различных каталогах и поисковиках - это будет бесполезная, а иногда и вредная, трата времени. Также сайт могут открыть к индексации раньше положенного времени, если будет оплачена любая из платных услуг Юкоса, или Вы прикрепите свой доменное имя. Обращаю Ваше внимание, что запрет на индексацию не всегда снимается автоматически, поэтому, если Вы считаете, что Вы выполнили условия, о которых я писала выше, но видите, что запрет на индексацию не снят, пишите в техподдержку, и они снимут его. Во время карантина (запрета к индексации) Вы не сможете редактировать файл robots.txt, после Вы можете делать с ним все, что угодно. Вот пример стандартного robots.txt:
Посмотреть этот файл Вы можете по адресу http://адрес_вашего_сайта /robots.txt
Теперь немного о командах: User-agent - показывает для каких роботов выполнять нижеследующие команды Disallow - запрещает к индексации все, что находится в указанном каталоге Allow - Наоборот разрешает к индексации указанный каталог или страницу.
Приведу примеры из справки Яндекса: 1. User-agent: Yandex Disallow: / # блокирует доступ ко всему сайту
User-agent: Yandex Disallow: /cgi-bin # блокирует доступ к страницам #начинающимся с '/cgi-bin' 2. User-agent: Yandex Allow: /cgi-bin Disallow: / # запрещает скачивать все, кроме страниц # начинающихся с '/cgi-bin'
Думаю из этих примеров все понятно. Создавать файл robots.txt можно в любом текстовом редакторе, закачать на сайт можно через файловый менеджер. Если остались вопросы спрашивайте, постараюсь ответить.
http://filmx.net.ua/ -Скачать фильмы бесплатно скачать журналы в хорошем качестве без регистрации новинки фильмов в хорошем качестве без регистрации фильмы 2013 игры 2013 без регистрации скачать новые фильмы игры
0
Комментарий #23
Написал: Nick | 06.10.2013
http://www.for-counterstrike.tk/
0
Комментарий #22
Написал: Morello | 05.11.2012
http://crisp.do.am/ = тут можно найти читы на /DOTA/COUNTER-STIKE/SPEEDHACK/WALLHACK/MAPHACK/MAP ДЛЯ ДОТЫ/
0
Комментарий #21
Написал: Александр | 26.08.2012
Про файл robots.txt подробно есть на сайте : http://forexavto.ucoz.ru/blog
0
Комментарий #20
Написал: аа | 11.08.2012
готовые домашние задания только на http://gdzz.at.ua/
Новости мира Hi-Tech, Ноутбуки, Планшеты, Смартфоны. http://hitechworldnews.ucoz.ru/
0
Комментарий #18
Написал: vvv | 07.07.2012
http://www.zoom-game.org.ua/ привет, сори за это! http://www.zoom-game.org.ua/
0
Комментарий #17
Написал: valeria1972 | 16.05.2012
Немогу добавить сайт в поисковик Яндекса, пишет: Указанный URL запрещен к индексации в файле robots.txt на сайте. Показывает что у меня в файле robots.txt следующее:User-agent: * Disallow: /. Если юкос всё сделал правильно, в чём причина? Спасибо.
0
Комментарий #16
Написал: valeria1972 | 16.05.2012
Здравствуйте, подскажите пожалуйста, вот Вы пишите что "В Юкосе администрация уже обо всем позаботилась и создала файл robots.txt в том виде, в каком он в идеале должен быть у сайта, построенного на Юкосе. Поэтому администрация настоятельно рекомендует не заменять стандартный файл на свой. Более того, если Вы удалите случайно этот файл, система тут же пропишет его снова". А где посмотреть есть ли он или нет, куда зайти на сайте, в какой он папке?
0
Комментарий #15
Написал: evgeniy8455 | 07.05.2012
ПОСЕТИТЕ МОЙ САЙТ ГДЕ МОЖНО СКАЧАТЬ ВСЕ ДЛЯ УКРАШЕНИЯ,ЗАЩИТЫ,ОПТИМИЗАЦИИ,УСКОРЕНИЯ КОМПЬЮТЕРА.САЙТ МОЛОДОЙ ТАК ЧТО НЕ ОБЕССУДЬТЕ.ВОТ ССЫЛКА http://wareznik2012.ucoz.ru/
