Добрый день. В панели Вебмастер гугл заметил, что он показывает дубликат страниц. Это раздел.
У меня раздел выводится по адресу http://niceprice5.ru/products/category/492151 и он же показывается по адресу http://niceprice5.ru/products/category/492151/page/all
Что это? Каким образом сформировалась вторая страница?
Урлы раздела
http://niceprice5.ru/products/category/492151/
http://niceprice5.ru/products/category/492151/page/1?
http://niceprice5.ru/products/category/492151/page/2?
http://niceprice5.ru/products/category/492151/page/all
Для того, чтобы дубли не индексировали поисковые системы, в роботе закройте их от индексации
Disallow: /products/category/492151/page
Можно закрыть от индексации все страницы page,
Disallow: /*page
В таком случае, нужно проверить, есть ли на сайте текстовые страницы с не именными урлами, так как по умолчанию урл у текстовой странице page/123456789
1. Если я пропишу в robots.txt Disallow: /products/category/492151/page то http://niceprice5.ru/products/category/492151/ будет видна, а остальные перестанут быть видны? Я правильно Вас понял?Сообщение от support:
2. Это у меня единственный раздел, где товары переходят на вторую страницу. Получается Нетхаус сам создает автоматически дубли, если появляется вторая страница (page2)?
1) Да, будет будет видна.Сообщение от Evga31:
2) 2, 3 и все последующие страницы будут считаться дублем по seo настройкам, так как вы прописываете их только для раздела.
А как эти изменения внести правильно в Robots.txt.Сообщение от support:
Поставить после надписи:
User-agent: *
Allow: /
Host: niceprice5.ru
Disallow: /products/category/492151/page
Так будет правильно? Не ухудшит ли это позиции сайта? В админке пишет "Будьте внимательны при изменении robots.txt
Правила, внесенные Вами, могут снизить позицию Вашего сайта в поисковых системах."
User-agent: *Сообщение от Evga31:
Allow: /
Disallow: /products/category/492151/page
Host: niceprice5.ru
Sitemap: http://niceprice5.ru/sitemap.xml
Не ухудшаться позиции
Спасибо. Подскажите еще.Сообщение от support:
Мне анализ показал страницы с дублирующимся title еще.
В частности вот такие:
http://niceprice5.ru/articles/tag/%D...B8%D0%BB%D1%8C
http://niceprice5.ru/articles/tag/%D...B8%D0%BA%D0%B0
http://niceprice5.ru/articles/tag/%D...B2%D0%BA%D0%B0
http://niceprice5.ru/articles/tag/%D...B7%D0%BB%D0%B8
http://niceprice5.ru/articles/tag/%D...B8%D0%BD%D0%B0
http://niceprice5.ru/articles/tag/%D...BC%D1%8F%D0%BA
http://niceprice5.ru/articles/tag/%D...B5%D0%B1%D0%BE
http://niceprice5.ru/articles/tag/%D...B7%D0%B4%D1%8B
http://niceprice5.ru/articles/tag/%D...BA%D1%82%D1%8B
http://niceprice5.ru/articles/tag/%D...80%D0%B8%D1%8F
То есть с тэгами из раздела статьи.
Как в этом случае в роботе закрыть их от индексации?
Disallow: /articles/tag ?
Да, можно так.Сообщение от Evga31:
Подскажите, у меня в разделах каталога есть по 2-3 страницы и в статьях уже 3 страницы получилось.Сообщение от support:
Соответственно мне все дубли page закрывать надо.
Как правильно прописать - именно со знаком * ? (Disallow: /*page) - пробелы не нужны?
Или более правильно будет отдельно закрывать для статей и отдельно для каждого раздела каталога, а не общим закрытием.
Если общим закрывать, то не ухудшит ли это позиции статей, которые писались под ключевики и с сео, а теперь ушли на третью страницу.
Спасибо
Правила по robots.txt хорошо написаны у яндекса и mail.ruСообщение от alecsa:
http://help.yandex.ru/webmaster/cont...robots-txt.xml
http://help.mail.ru/webmaster/indexing/robots.txt/what
Правила по написанию спец символов http://help.mail.ru/webmaster/indexi.../rules/special
Disallow: /*page #будет правильно
Можете одним правилом делать закрытие, не обязательно делать для каждого отдельно.
Нет, не ухудшится.
