Прежде чем задать вопрос, изучите раздел "Помощь". Там наверняка уже есть ответ.
1 2 3 11 ... 15

Тема: Как должен выглядеть robot.txt

Автор Денис Данилов, 24 янв 2013
Сообщений в теме: 144
  1. Профессионал

    Регистрация
    19.11.2012
    Сообщений
    115

    Как должен выглядеть robot.txt

    Всем добрый день, вечер, утро.
    Кто может подсказать как правильно должен выглядеть robot.txt или, если никакие страницы исключать не надо, то он вообще может быть пустым? Влияет ли отсутствие оного на выдачу в поисковиках и качество индексирования?
    Сейчас у меня он выглядит так

    User-agent: *
    Allow: /
    Host: pelican.nethouse.ru
    Sitemap: http://pelican.nethouse.ru/sitemap.xml

  2. Профессионал

    Регистрация
    29.06.2012
    Сообщений
    35,574
    так он выглядит по умолчанию, и означает, что сайт открыт на индексацию http://robotstxt.org.ru/

  3. Профессионал

    Регистрация
    19.11.2012
    Сообщений
    115
    Сообщение от kobzarik:
    так он выглядит по умолчанию, и означает, что сайт открыт на индексацию http://robotstxt.org.ru/
    дело в том, что с googl сообщение об ошибке пришло

    http://pelican.nethouse.ru/: Googlebot can't access your site

    Over the last 24 hours, Googlebot encountered 1 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 100.0%.

    You can see more details about these errors in Webmaster Tools.

  4. Профессионал

    Регистрация
    29.06.2012
    Сообщений
    35,574
    это может быть какой то сбой,
    User-agent: *
    Allow: /
    это означает, что сайт открыт для индексации, так что проблема не с роботом

  5. Опытный
    Регистрация
    17.01.2013
    Сообщений
    96
    Сообщение от kobzarik:
    это может быть какой то сбой,
    User-agent: *
    Allow: /
    это означает, что сайт открыт для индексации, так что проблема не с роботом
    А ссылку на sitemap.xml обязательно прописывать? Вот так:
    Host: pelican.nethouse.ru
    Sitemap: http://pelican.nethouse.ru/sitemap.xml

  6. Профессионал

    Регистрация
    29.06.2012
    Сообщений
    35,574
    Сообщение от Алекс1982:
    А ссылку на sitemap.xml обязательно прописывать? Вот так:
    Host: pelican.nethouse.ru
    Sitemap: http://pelican.nethouse.ru/sitemap.xml
    Sitemap: если нету, то пропишите.

  7. Профессионал

    Регистрация
    19.11.2012
    Сообщений
    115
    Сообщение от kobzarik:
    это может быть какой то сбой,
    User-agent: *
    Allow: /
    это означает, что сайт открыт для индексации, так что проблема не с роботом
    Правильно ли я понял, что робот правильный, надо еще подождать, а если будет повторяться ошибка, тогда что-то предпринимать?

  8. Профессионал

    Регистрация
    29.06.2012
    Сообщений
    35,574
    Сообщение от Денис Данилов:
    Правильно ли я понял, что робот правильный, надо еще подождать, а если будет повторяться ошибка, тогда что-то предпринимать?
    а чего ждать? 196 страниц в индексе, из них 3 не под фильтром. site:http://pelican.nethouse.ru/& действовать нужно, наполнять сайт уникальным контентом, если страницы в индексе, значит все хорошо у вас с роботом

  9. Профессионал

    Регистрация
    19.11.2012
    Сообщений
    115
    А это нормально, когда в индексе то 800 страниц, то 200?

  10. Профессионал

    Регистрация
    29.06.2012
    Сообщений
    35,574
    Сообщение от Денис Данилов:
    А это нормально, когда в индексе то 800 страниц, то 200?
    приведите пример
    вообще то, это не нормально

1 2 3 11 ... 15
Сейчас посетителей: 1. Пользователей: 0, гостей: 1 Рекорд одновременного пребывания 1, это было 16.10.2019 в 20:10.
Сообщений
144
Пользователи
35,116
Активные участники
346

Приветствуем нового пользователя, Юг-Тур