Файл robots.txt: содержимое и проверка

Всем привет уважаемые мои читатели, в сегодняшней статье темой нашего разговора станет файл robots.txt для сайта. Мы подробно обсудим, как создать файл robots.txt, для чего он вообще нужен и что он из себя представляет. Забегая вперед, скажу, что этот маленький файлик делает огромное дело. Итак, давайте сразу к сути.

Файл robots.txt: содержимое и проверка

Что такое robots.txt

WordPress robots.txt – это специальный текстовый файл, который ограничивает доступ поисковым роботам к отдельным страницам и разделам вашего сайта.

Для чего это нужно? Дело в том, что абсолютно любой интернет-ресурс всегда имеет страницы, файлы и разделы, которые не должны быть проиндексированы поисковыми роботами.

Подобные файлы и разделы обычно поддерживают общую работоспособность сайта, к примеру, они ускоряют его работу, помогают вывести какой-нибудь изображение в нужном месте и так далее.

Такие файлы и страницы не должны быть доступны посетителям вашего блога и поисковым работам. Так вот запретить индексацию тех или иных страниц и разделов любого сайта можно именно с помощью файла robots.txt.

В нем прописываются определенные инструкции, которые ограничивают поисковым роботам доступ к различным страницам и разделам сайта. В результате чего эти самые страницы и разделы не попадают в индексацию. Говоря на простом языке, robots.txt просто напросто показывает поисковикам, что нельзя индексировать.

Весь алгоритм устроен таким образом: когда поисковой робот приходит на интернет-ресурс, прежде всего он, пытается найти и изучить файл robots.txt. Как только файл найден и изучен, робот переходит к индексации, соблюдая инструкции, которые были прописаны ему в robots.txt.

Если вы хотите, чтобы у вашего сайта никогда не возникало проблем с попаданием в индексацию, то обязательно добавьте в корневой каталог вашего сайта файл robots.txt.

Так же советую ознакомиться со статьями – корневой каталог сайта и что такое индексация. Я уверен эти материалы будут крайне полезны для вас.

Как создать файл robots.txt для Wordpress

Создать нашего текстового помощника совсем не сложно. Смотрите, ниже я привел вам стандартный код файла robots.txt.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: stroika-saitov.ru
Sitemap: http://stroika-saitov.ru/sitemap.xml
 
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: YandexImage
Allow: /wp-content/uploads/

Все что вам необходимо сделать это: скопировать этот код, вставить его в обычный текстовый файл, и затем в седьмой и восьмой строчках кода заменить адрес моего сайта на адрес вашего сайта. Другими словами, вместо stroika-saitov.ru пропишите имя вашего сайта.

Теперь осталось лишь сохранить наш тестовый файл под именем robots.txt  и закинуть его на хостинг, в корень вашего сайта. Вот собственно и все, файл готов (что такое хостинг сайта и для чего он нужен).

Далее вам необходимо закинуть этот файлик к себе на сайт в корневой каталог и больше никогда к нему не возвращаться.

Содержимое файла robots.txt

Понять смысл этого текстовика довольно просто. Есть набор определенных инструкций.

Прежде всего, инструкция «User-agent» указывает, каким именно поисковым системам предназначены правила в файле.

«User-agent: *» — означает, что правила под этой строчкой в файле предназначены абсолютно для всех поисковых систем.

«User-agent: Yandex» — означает, что правила относятся только для роботов поисковой системы Яндекс.

Инструкция «Disallow:» указывает роботам, какие именно разделы, файлы и каталоги сайта индексировать не следует:

Инструкция «Allow:», наоборот, указывает роботам, что обязательно нужно проиндексировать и добавить в поисковую выдачу.

Инструкция «Sitemap:» указывает поисковикам, где на сайте расположена карта сайта.

Теперь давайте разберем все более наглядно на моем примере:

Файл robots txt

В первой части файла самая первая строка «User-agent: *». Это означает, что все правила указанные в этой первой части файла распространяются для всех поисковых систем.

Далее у нас «Disallow:». Этот параметр запрещает всем поисковым системам доступ в определенные папки и подпаки моего блога. Затем параметр «Host» он указывает поисковым системам главное зеркало сайта (что такое зеркало сайта).

Ну и как я уже сказал выше, инструкция «Sitemap:» говорит о том, где на сайте находится карта сайта.

Если на вашем сайте еще нет карты сайтов, то обязательно установите ее! Это так же очень хорошо отразится на индексации вашего интернет-ресурса, подробно об этом читайте здесь – как создать карту сайта.

Во второй части файла первая инструкция «User-agent: Googlebot-Image». Этот параметр означает, что правила описанные ниже предназначены для робота поисковой системы Google? который будет индексировать картинки моего сайта.

Затем параметр «Allow: /wp-content/uploads/». Он говорит роботу Google, где именно находятся картинки которые необходимо проиндексировать.

В третьей части файлы алгоритм тот же что и во второй. Сначала мы указываем, что правила относятся только роботу картинок поисковой системы Яндекс. И далее показываем, где они лежат.

Ошибки в файле robots txt

Не редко не опытные владельцы сайтов при сохранении файла задают не правильное имя. Файл должен называться именно robots.txt, а не Robots.txt или ROBOTS.TXT. Другими словами, значение регистра в названии файла имеет большое значение.

После того как вы создали файл robots.txt и закинули его к себе на сайт, можно провести проверку и выяснить все ли вы верно сделали и видит ли ваш файл. Подробно о том, как закинуть robots.txt на свой сайт и проверить его, вы можете узнать посмотрев отрывок одного из моих видео уроков:

На этом я заканчиваю свою статью файл robots.txt для wordpress. Всем удачи! build_links(); ?>

Всем удачи! build_links(); ?>

С уважением, ShowFLinks(); // Отступ от блока echo "

"; // Вывод ссылок echo $client_lnk->ShowLinks(); ?> Андрей Наседкин.

Блог: stroika-saitov.ru.

«

»

15 комментариев

  1. Андрей говорит:

    в 17:18

    У меня раньше стоял аналогичный robots.txt, но при проверке блога в гугле на мобильную версию, всегда выдавало ошибку. Гугл упорно не хотел признавать, что у меня блог оптимизированный для мобильных, пришлось открыть гуглботу доступ к CSS и JS.

    Ответить
    • Андрей Наседкин говорит:

      в 17:40

      И как результат коллега? Гугл признал сайт оптимизированным? Трафик с него вырос?

      Ответить
      • Андрей говорит:

        в 23:22

        Да, признал. Правда трафик не изменился ))

        Ответить
        • Андрей Наседкин говорит:

          в 23:25

          Честно говоря, я пока не вижу явно лучшего отношения поисковиков к сайтам, которые оптимизированы для мобильных. Я тоже свой сделал под гаджеты, но исключительно для удобства посетителей. В остальном пока игра не стоит свеч….увы )))

          Ответить
          • Петр говорит:

            в 15:14

            Результат предсказуем — вы же в России живёте, а Гугл исходит из потребностей пользователей высокоразвитых стран, где смартфонами большинство в инет заходит.

            Ответить
          • Андрей Наседкин говорит:

            в 18:02

            В таком случае у меня логичный вопрос — а зачем тогда Google пришел к нам?

            Ответить
          • Петр говорит:

            в 07:44

            Google ради прибыли пришёл. Google равняется на потребности развитого общества, а другие страны придут к этому чуть погодя через несколько лет. Google загодя всё делает, планку устанавливает.

            Ответить
          • Андрей Наседкин говорит:

            в 13:48

            Вот все говорят Google лучше, Google круче…. Но конкретных преимуществ Google никто назвать не может.

            Ответить
          • Петр говорит:

            в 14:52

            Андрей, я не блогер, я не говорил, что Гугл круче для блогера, судить об этом не имею права. Но мне как пользователю нравится, что Гугл по запросу выдаёт более вменяемую информацию, чем Яндекс.

            Ответить
          • Андрей Наседкин говорит:

            в 21:48

            Если честно, я особой разницы не замечал. Несколько раз искал в сети редкую информацию, ни Google не нашел не Яндекс. А если вариантов на запрос много, то обычно выдача у поисковиков на 80-90 % совпадает.

            Ответить
        • Петр говорит:

          в 07:55

          Я читал, что Google игнорирует robots.txt. robots.txt для Яндекса, поэтому требование открыть для Google в robots.txt индексацию CSS и JS странное.

          Ответить
          • Андрей Наседкин говорит:

            в 13:51

            Google не игнорирует robots.txt это легко проверить, достаточно проанализировать выдачу двух трех сайтов.

            Ответить
          • Петр говорит:

            в 14:50

            Залез сейчас в Вики, почитал статью о robots. Вы правы, Гугл не игнорирует robots.txt, я ошибочно считал прежде, что игнорирует. Одному моему заблужению стало меньше.

            Ответить
  2. Петр говорит:

    в 15:18

    Иду по улице и вижу, больше пользуются простенькими телефонами, чем смартфонами, не говоря о смартфонах с большим экраном. Лет 5 надо подождать до полной смартфонизации всей страны.

    Ответить
    • Андрей Наседкин говорит:

      в 17:56

      А где вы живете Петр? )))

      Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: