У меня в Robots.txt прописано Sitemap следующим образом:
Sitemap: http://dusson.ru/sitemap.xml
Это верно? или нужно указать https, как в Основных настройках?
У меня в Robots.txt прописано Sitemap следующим образом:
Sitemap: http://dusson.ru/sitemap.xml
Это верно? или нужно указать https, как в Основных настройках?
Добрый день.Сообщение от dusson:
Не верно, нужно в формате https://dusson.ru согласно инструкции: https://nethouse.ru/about/instructio...koe_robots_txt
Помогите пожалуйста,что надо прописать в Roots TXT, чтоб не индексировались такие страницы
https://secretnsp.ru/products/search..._cost=&page=20
Добрый день.Сообщение от ioannamir3:
Пропишите строки следующего вида:
Disallow: /*search*
Disallow: /*sort=*
Disallow: /*?*
Добрый день!
Яндекс Вебмастер пишет критическая ошибка:
"Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.
Посмотрите примеры. Если в поиске есть дубли из-за GET-параметров, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице. Когда робот узнает о внесенных изменениях, страницы с незначащими GET-параметрами пропадут из поиска."
Указано несколько страниц с GET-параметрами clid и cm_id
Подскажите как правильно составить Roots что бы избежать ошибок?
Добрый день.Сообщение от ksemen:
Инструкция по настройке robots.txt: https://nethouse.ru/about/instructio...koe_robots_txt
Пример заполненного robots с рекомендуемыми для исключения урлами:
User-agent: *
Allow: /
Disallow: /articles/tag/
Disallow: /index.php
Disallow: /*page
Disallow: /*year
Disallow: /products/viewcart
Disallow: /cart/checkout
Disallow: /*sort=*
Disallow: /articles/tags
Disallow: /*showmap*
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml
Вы можете так же дополнительно скрыть и другие урлы, которые не нужны для индексации.
По поводу появления подобных ссылок ?from=mainpage, это одна и та же страница, почему Яндекс их распознает как разные, сказать сложно. Попробуйте уточнить в поддержке Яндекса, будет ли достаточно скрыть такой url и откуда их робот взял такую ссылку.