Прежде чем задать вопрос, изучите раздел "Помощь". Там наверняка уже есть ответ.

Тема: Robot.txt

Автор StrannicK, 03 янв 2013
Сообщений в теме: 8
  1. Профессионал

    Регистрация
    01.12.2012
    Сообщений
    640

    Robot.txt

    Ребят всех с Новым Годом!
    Нужно создать еще один сайт, но пока не охота чтобы он индексировался поисковиками, напомните код который нужно вписать в robot.txt, и через неделю как куплю доменное имя и запущу сайт, проблем с поисковиками не возникнет?

  2. Профессионал

    Регистрация
    29.06.2012
    Сообщений
    35,574
    User-agent: *
    Allow:
    robots.txt
    Последний раз редактировалось support; 03.01.2013 в 21:11. Причина: корректировка

  3. Новичок
    Регистрация
    05.01.2013
    Сообщений
    1
    только не allow: , а Disallow: / см. http://help.yandex.ru/webmaster/?id=996567

  4. Профессионал

    Регистрация
    29.06.2012
    Сообщений
    35,574
    Сообщение от чан:
    только не allow: , а Disallow: / см. http://help.yandex.ru/webmaster/?id=996567
    здесь два варианта, либо
    User-agent: *
    Disallow: /

    либо
    User-agent: *
    Allow:

    как по мне, второй проще, убрал слеш, и все.

  5. Профессионал

    Регистрация
    01.12.2012
    Сообщений
    640
    а не возникнет потом проблем с индексацией?

  6. Профессионал

    Регистрация
    17.12.2012
    Сообщений
    106
    Кроме как врменных - нет. У робота есть расписание)

  7. Профессионал

    Регистрация
    29.06.2012
    Сообщений
    35,574
    на то время, на которое вы закрыли, обновлять данные из вашего сайта не будет, в кеше ПС будут висеть старые данные, вот и все, откроете индексацию, начнет снова обновлять.

  8. Профессионал

    Регистрация
    01.12.2012
    Сообщений
    640
    Все ясно, значит проблем не будет, спасибо

Сейчас посетителей: 1. Пользователей: 0, гостей: 1 Рекорд одновременного пребывания 1, это было 23.10.2019 в 18:47.
Сообщений
8
Пользователи
35,137
Активные участники
323

Приветствуем нового пользователя, Артур Щербак