нализ robots.txt
Укажите имя вашего сайта и нажмите кнопку «Загрузить robots.txt с сайта».
Нажав кнопку «Проверить», вы можете узнать, будет ли робот обходить страницы, заданные в окне «Список URL».
Редактируя правила, составьте файл robots.txt, подходящий для вашего сайта. Помните, что файл на сайте при этом не меняется. Для того, чтобы изменения вступили в силу, вам потребуется самостоятельно загрузить обновленную версию robots.txt на сайт.
Имя хоста
Robots.txt
проверка производится для робота с именем Yandex
Список URLскрыть
Например:
http://www.yandex.ru, /page.html?id=12
Используемые секции
Строка
4-5
User-agent: *
Host: podvorie12.ru
7-7
Sitemap:
http://podvorie12.ru/sitemap.xml
Результаты проверки URL
URL Результат URL после учета Clean-Param
podvorie12.nethouse.ru/page/850837 этот URL не принадлежит вашему домену -
podvorie12.nethouse.ru/page/849395 этот URL не принадлежит вашему домену -
podvorie12.nethouse.ru/page/849291 этот URL не принадлежит вашему домену -
/podvorie12.nethouse.ru/page/849289 этот URL не принадлежит вашему домену -