Понедельник, 2019/10/14, 5:23 PM
Создание сайта, заработок на сайте, SEO
Главная Регистрация Вход
Приветствую Вас, Гость · RSS
Меню сайта
Форма входа


Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0
 Блог
Главная » 2013 » Февраль » 26 » Создание robots.txt своими руками: как это сделать?
9:16 PM
Создание robots.txt своими руками: как это сделать?

Создание robots.txt своими руками: как это сделать?

Сайт – это не только видимая его оболочка с определённым наполнением, с которой привыкли ассоциировать площадку пользователи, но и технические файлы, которые необходимы для нормальной работы ресурса. Несмотря на то, что создаются такие файлы людьми, их пользователями являются поисковые роботы. Последние получают оттуда всю необходимую для взаимодействия с сайтом информацию. Одним из самых важных информационных посредников между владельцем площадки и поисковым роботом является файл robots.txt.



Смотрите полный видеокурс на iTunes

Что представляет собой файл robots.txt?

Для того чтобы понять, для чего необходимо создание robots.txt, необходимо для начала выяснить, что же представляет собой данный файл и для чего он нужен. В сущности, это обыкновенный текстовый файл, однако примечательно его содержание. Наполнение данного файла предназначено не для людей, а для поисковых машин, поэтому, соответственно, информация, которая находится в нём, представлена на языке, понятном именно поисковикам. Все, кого интересует создание robots.txt, должны ознакомиться с языком директив – элементов, несущих информационную нагрузку, которая понятна поисковым роботам. Самые главные директивы продиктованы целями использования файла robots.txt. Он предназначен, в первую очередь, для того, чтобы владелец сайта мог управлять процессом индексации страниц своего ресурса нужным ему образом. Неуправляемая индексация может наломать немало дров, поскольку в таком случае в поисковую выдачу могут запросто попасть разделы со скрытой информацией, а публичные страницы, напротив, остаться скрытыми. Для управления процессом индексации сайта существует две основные директивы – это Disallow и Allow. Первая команда служит специально для того, чтобы по желанию владельца сайта скрывать определённые его разделы от пользователей сети. Вторая директива является противовесом первой и позволяет снимать ранее выданный запрет на индексацию сайта или определённой его части. Однако обе эти директивы, как и много других, не имеют смысла без команды User-agent, с помощью которой можно обратиться к конкретной поисковой системе. Дело в том, что один и тот же сайт могут ранжировать разные поисковики, и если в файле robots.txt будет отсутствие указания, к какой конкретно поисковой системе обращена команда, то она будет, либо не выполнена вообще, либо выполнена, но не корректно. Помимо управления индексацией файл robots.txt выполняет ещё и роль указателя основного зеркала сайта, которое участвует в выдаче и аккумулирует всю аудиторию и показатели остальных зеркал. Это осуществляется с помощью команды Host. Ещё одна важная директива – Sitemap. Она даёт понять поисковику, где искать файл карты сайта, который существенно облегчает навигацию на площадке и ускоряет её индексацию, что особенно важно для сайтов с количеством страниц от 50 и выше.

Где взять файл robots.txt?

Изначально файл robots.txt должен находиться в корневом каталоге сайта, но, как показывает практика, обнаружить его там удаётся далеко не во всех случаях. Если такового файла нет (например, он не создавался при разработке сайта или был по каким-то причинам удалён), необходимо произвести создание robots.txt. Для того чтобы нужный файл появился на предназначенном для него месте, а именно в корневой папке сайта, необходимо, в первую очередь, его создать. Несмотря на узкую специфику, файл robots.txt создаётся без использования какого-либо специального программного обеспечения – для его создания достаточно просто воспользоваться обычным текстовым редактором (программа Блокнот и т.п.). Единственное ограничение – программа должна позволять создавать и сохранять файлы в формате .txt.


Только что созданный файл следует назвать строго robots.txt, проверив при этом правильность написания вплоть до буквы. Все символы в названии файла должны быть прописаны латиницей. Если в названии будет допущена ошибка или вместо латиницы по ошибке будет употреблена кириллица, то поисковик не сможет обнаружить этот файл. Дело в том, что поисковые роботы идентифицируют файлы именно по их названию, и малейшее отклонение в названии (даже в одной букве) может поставить их в тупик. Поэтому важно предельно внимательно отнестись к этому моменту. Далее чистый файл помещают в корневой каталог сайта и приступают к его настройке. Настройку файла robots.txt осуществляют с использованием вышеупомянутых и других директив.

Просмотров: 327 | Добавил: alterita | Теги: Создание robots.txt | Рейтинг: 0.0/0
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Copyright MyCorp © 2019
Архив записей

Разрешается перепечатка материалов сайта в Интернете с обязательным указанием ссылки на сайт Работа в интернет и заработок в сети с компанией Global NPN Copyright MyCorp © 2011