Прежде чем задать вопрос, изучите раздел "Помощь". Там наверняка уже есть ответ.
1 ... 5 6 7

Тема: Как правильно составить Roots.txt

Автор ksemen, 05 дек 2016
Сообщений в теме: 67
  1. Новичок dusson is on a distinguished road
    Регистрация
    20.05.2019
    Сообщений
    7
    У меня в Robots.txt прописано Sitemap следующим образом:
    Sitemap: http://dusson.ru/sitemap.xml

    Это верно? или нужно указать https, как в Основных настройках?

  2. Administrator iSv is on a distinguished road

    Регистрация
    25.03.2016
    Сообщений
    4,105
    Сообщение от dusson:
    У меня в Robots.txt прописано Sitemap следующим образом:
    Sitemap: http://dusson.ru/sitemap.xml

    Это верно? или нужно указать https, как в Основных настройках?
    Добрый день.
    Не верно, нужно в формате https://dusson.ru согласно инструкции: https://nethouse.ru/about/instructio...koe_robots_txt

  3. Новичок ioannamir3 is on a distinguished road

    Регистрация
    19.04.2013
    Сообщений
    5
    Помогите пожалуйста,что надо прописать в Roots TXT, чтоб не индексировались такие страницы

    https://secretnsp.ru/products/search..._cost=&page=20

  4. Профессионал feris is on a distinguished road

    Регистрация
    16.10.2018
    Сообщений
    306
    Сообщение от ioannamir3:
    Помогите пожалуйста,что надо прописать в Roots TXT, чтоб не индексировались такие страницы

    https://secretnsp.ru/products/search..._cost=&page=20
    Добрый день.
    Пропишите строки следующего вида:
    Disallow: /*search*
    Disallow: /*sort=*
    Disallow: /*?*

  5. Новичок ioannamir3 is on a distinguished road

    Регистрация
    19.04.2013
    Сообщений
    5
    Спасибо !!!

  6. Профессионал ksemen is on a distinguished road
    Регистрация
    20.07.2014
    Сообщений
    131
    Добрый день!
    Яндекс Вебмастер пишет критическая ошибка:
    "Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.

    Посмотрите примеры. Если в поиске есть дубли из-за GET-параметров, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице. Когда робот узнает о внесенных изменениях, страницы с незначащими GET-параметрами пропадут из поиска."
    Указано несколько страниц с GET-параметрами clid и cm_id

    Подскажите как правильно составить Roots что бы избежать ошибок?

  7. Administrator iSv is on a distinguished road

    Регистрация
    25.03.2016
    Сообщений
    4,105
    Сообщение от ksemen:
    Добрый день!
    Яндекс Вебмастер пишет критическая ошибка:
    "Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.

    Посмотрите примеры. Если в поиске есть дубли из-за GET-параметров, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице. Когда робот узнает о внесенных изменениях, страницы с незначащими GET-параметрами пропадут из поиска."
    Указано несколько страниц с GET-параметрами clid и cm_id

    Подскажите как правильно составить Roots что бы избежать ошибок?
    Добрый день.
    Инструкция по настройке robots.txt: https://nethouse.ru/about/instructio...koe_robots_txt
    Пример заполненного robots с рекомендуемыми для исключения урлами:
    User-agent: *
    Allow: /
    Disallow: /articles/tag/
    Disallow: /index.php
    Disallow: /*page
    Disallow: /*year
    Disallow: /products/viewcart
    Disallow: /cart/checkout
    Disallow: /*sort=*
    Disallow: /articles/tags
    Disallow: /*showmap*
    Host: https://site.ru
    Sitemap: https://site.ru/sitemap.xml

    Вы можете так же дополнительно скрыть и другие урлы, которые не нужны для индексации.

    По поводу появления подобных ссылок ?from=mainpage, это одна и та же страница, почему Яндекс их распознает как разные, сказать сложно. Попробуйте уточнить в поддержке Яндекса, будет ли достаточно скрыть такой url и откуда их робот взял такую ссылку.

1 ... 5 6 7
Сейчас посетителей: 1. Пользователей: 0, гостей: 1 Рекорд одновременного пребывания 1, это было 01.12.2021 в 05:31.
Сообщений
67
Пользователи
36,120
Активные участники
54

Приветствуем нового пользователя, Anatoliy871