Прежде чем задать вопрос, изучите раздел "Помощь". Там наверняка уже есть ответ.

Тема: Robots.txt

Автор Valentajn, 08 июн 2013
Сообщений в теме: 2
  1. Опытный
    Регистрация
    06.04.2013
    Сообщений
    30

    Robots.txt

    Добрый день!
    У вас на примере описано:
    Что такое Robots.txt?

    Читайте подробнее.

    Мы рекомендуем использовать robots.txt следующего вида:

    User-agent: *
    Allow: /
    Host: имясайта.ru
    Sitemap: http://имясайта.ru/sitemap.xml

    а у меня в настройках прописано
    #Будьте внимательны при изменении robots.txt!!!
    #Правила внесенные вами могут снизить позицию Вашего сайта в поисковиках.

    User-agent: *
    Allow: /
    Host: xn--80aadgbnehjvobfnsb1c8a0o9b.xn--p1ai
    Sitemap: http://xn--80aadgbnehjvobfnsb1c8a0o9b.xn--p1ai/sitemap.xml

    Правильно ли у меня прописано?Не стал пока ничего изменять.
    Проверил яндексом вот по этой ссылке http://webmaster.yandex.ru/robots.xml#results он выдал тоже самое что у меня в настройках.Я просто не вижу,чтобы было прописано в этих настройках название сайта.а у вас на примере прописано название сайта.
    логин mans-underwear
    сайт: магазинмужскогобелья.рф

  2. Профессионал

    Регистрация
    29.06.2012
    Сообщений
    35,574
    это связано с тем, что у вас кириллический домен, да, все правильно

Сейчас посетителей: 1. Пользователей: 0, гостей: 1 Рекорд одновременного пребывания 1, это было 23.10.2019 в 19:33.
Сообщений
2
Пользователи
35,137
Активные участники
322

Приветствуем нового пользователя, Артур Щербак