Прежде чем задать вопрос, изучите раздел "Помощь". Там наверняка уже есть ответ.
1 2 3 ... 7

Тема: Как правильно составить Roots.txt

Автор ksemen, 05 дек 2016
Сообщений в теме: 67
  1. Профессионал ksemen is on a distinguished road
    Регистрация
    20.07.2014
    Сообщений
    131

    Как правильно составить Roots.txt

    Как правильно составить robots.txt, что бы скрыть ненужные страницы включая фильтры различные?
    Какое то универсальное решение есть для сайтов на nethouse.ru ?

  2. Профессионал support is on a distinguished road

    Регистрация
    29.06.2012
    Сообщений
    35,574
    Добрый день.
    Нужно все урлы сайта собрать в список. Те, которые нужно закрыть от индексации, взять их часть урла, которой нет в урлах, которые не нужно закрывать от индексации и их запретить.
    После вставить все урлы в https://webmaster.yandex.ru/tools/robotstxt/, проверить, правильно ли все прописано.

  3. Профессионал aquapro42 is on a distinguished road

    Регистрация
    17.11.2015
    Сообщений
    119
    Как правильно закрыть роботу яндекс директа доступ к сайту? Что то ни где не вижу данной информации в интернете... ни кого что ли не беспокоит что РСЯ тут же переманивает посетителей (возможно горячих покупателей) с вашего сайта на сайты с аналогичной тематикой с более выгодными предложениями... Я стараюсь, работаю над продвижением сайта годами, а другой дерет настраивает РСЯ по моей тематике, и перетягивает всех подогретых клиентов к себе... ужас!)

    Второй вопрос: как правильно закрыть от индексации фильтр товаров? и нужно ли это делать? (у меня на сайте всего 400 товаров, а по вебмастеру 12 000 в индексе, и только 300 из них в поиске, остальные страницы это работа фильтра)

    сейчас мой роботс выглядит следующим образом
    User-agent: *
    Allow: /
    Host: https://xn--42-6kcaj1c4ahj.xn--p1ai
    Sitemap: https://xn--42-6kcaj1c4ahj.xn--p1ai/sitemap.xml

    предполагаю что нужно добавить подобные команды в мой роботс, но как бы не испортить чего)

    User-agent: YandexDirect
    Disallow: #

    User-agent: *
    Disallow: /*?*

  4. Профессионал support is on a distinguished road

    Регистрация
    29.06.2012
    Сообщений
    35,574
    Сообщение от aquapro42:
    Как правильно закрыть роботу яндекс директа доступ к сайту? Что то ни где не вижу данной информации в интернете... ни кого что ли не беспокоит что РСЯ тут же переманивает посетителей (возможно горячих покупателей) с вашего сайта на сайты с аналогичной тематикой с более выгодными предложениями... Я стараюсь, работаю над продвижением сайта годами, а другой дерет настраивает РСЯ по моей тематике, и перетягивает всех подогретых клиентов к себе... ужас!)

    Второй вопрос: как правильно закрыть от индексации фильтр товаров? и нужно ли это делать? (у меня на сайте всего 400 товаров, а по вебмастеру 12 000 в индексе, и только 300 из них в поиске, остальные страницы это работа фильтра)

    сейчас мой роботс выглядит следующим образом
    User-agent: *
    Allow: /
    Host: https://xn--42-6kcaj1c4ahj.xn--p1ai
    Sitemap: https://xn--42-6kcaj1c4ahj.xn--p1ai/sitemap.xml

    предполагаю что нужно добавить подобные команды в мой роботс, но как бы не испортить чего)

    User-agent: YandexDirect
    Disallow: #

    User-agent: *
    Disallow: /*?*
    Добрый вечер.
    1) https://yandex.ru/support/webmaster/...robots-txt.xml
    https://yandex.ru/support/search-results/?text=user agent&service=doc_direct-guide

    User-agent: YaDirectFetcher
    Disallow: /

    2) Можете закрыть, можете не закрывать это по желанию.
    Добавьте стоку Disallow: /*productGroup*
    productGroup - есть в сортировке/фильтре

    User-agent: *
    Allow: /
    Disallow: /*productGroup*
    Host: https://xn--42-6kcaj1c4ahj.xn--p1ai
    Sitemap: https://xn--42-6kcaj1c4ahj.xn--p1ai/sitemap.xml

  5. Профессионал aquapro42 is on a distinguished road

    Регистрация
    17.11.2015
    Сообщений
    119
    Большое спасибо за помощь!
    Могу еще раз уточнить презде чем прописывать?

    В первой строке Юзерагента, мы запрещаем доступ роботу, который уводит посетителей на другие тематические сайты через сеть РСЯ?

    Во второй строке Юзерагент, мы запрещаем роботу пользоваться фильтром товаров на сайте (именно запрещаем создание через фильтр массу ненужных страниц, а индексация самих товаров останется!), все верно мы друг друга поняли?)

    И если все верно, то окончательный вариант robots.txt будет таков:
    User-agent: YaDirectFetcher
    Disallow: /

    User-agent: *
    Allow: /
    Disallow: /*productGroup*
    Host: https://xn--42-6kcaj1c4ahj.xn--p1ai
    Sitemap: https://xn--42-6kcaj1c4ahj.xn--p1ai/sitemap.xml

  6. Профессионал aquapro42 is on a distinguished road

    Регистрация
    17.11.2015
    Сообщений
    119
    Disallow: /*productGroup*

    в моей голове не укладывается пока вот этот момент, почему мы пишем Disallow: /*productGroup* ?

    если строка с фильтром выглядит вот так:
    https://xn--42-6kcaj1c4ahj.xn--p1ai/...kabiny-uglovye?text=&balance=&categoryId=913813&sort=5&min_cost= &max_cost=&productGroup=91616&productCustomGroup=9 1616&page=1&attributes%5B49%5D%5B19230402%5D=1

    почему бы не от знака "?" начать закрывать от индексации? То есть так мы специально оставляем какую то возможность работы по фильтру, например сортировать по стоимости товар? или для чего то другого? А может я совсем не в том направлении думаю))

    И вообще правильно ли я делаю что хочу закрыть фильтр? хотелось бы услышать мнение другого человека из нэтхаус по этому вопросу

  7. Профессионал Svet7 is on a distinguished road

    Регистрация
    17.11.2014
    Сообщений
    10,257
    Здравствуйте!
    Верно, фильтры можете закрывать, а можете не закрывать - это на ваше усмотрение, сами карточки товаров таким образом от индексации не закроете. Корректно ли закрытие работает с Disallow: /*productGroup*, рекомендую проверить через Яндекс.Вебмастер. Знак "?" не закрываем в роботс, т.к. он может использоваться не только в фильтрах, так например в utm метках может присутствовать. Disallow: / *? - блокирует доступ ко всем URL со знаком вопроса (то есть ко всем URL, которые начинаются с имени домена и содержат строку, внутри которой встречается знак вопроса), вы проверили все страницы своего сайта, что бы с уверенностью закрыть "?" и тем самым не запретить доступ к индексированию нужных страниц?
    Так же например посетитель сайта может воспользоваться поиском или фильтром на вашем сайте, найти интересующий его товар, а потом скопировать строку с браузера и отправить другу/родственнику/коллеге, поделиться в соц.сети, а как откроется такая страница? Проверяйте и принимайте решение сами.

    По закрытию доступа к сайту определенных роботов Яндекса (РСЯ, Директ) лучше уточнить написав в помощь https://yandex.ru/support/webmaster-troubleshooting/

  8. Профессионал aquapro42 is on a distinguished road

    Регистрация
    17.11.2015
    Сообщений
    119
    Спасибо, да я ? я уже подумал тоже, сделал по рекомендациям
    А вот про робота сомневаюсь что YaDirectFetcher это тот самый робот от которого мне нужно закрыться. Написал в поддержку, ответят если, то напишу результат

  9. Профессионал Svet7 is on a distinguished road

    Регистрация
    17.11.2014
    Сообщений
    10,257
    Сообщение от aquapro42:
    Спасибо, да я ? я уже подумал тоже, сделал по рекомендациям
    А вот про робота сомневаюсь что YaDirectFetcher это тот самый робот от которого мне нужно закрыться. Написал в поддержку, ответят если, то напишу результат
    Есть шесть роботов Яндекса, которые не следуют правилам Robots.txt: YaDirectFetcher, YandexCalendar, YandexDirect, YandexDirectDyn, YandexMobileBot, YandexAccessibilityBot. Чтобы запретить им индексацию на сайте, следует сделать отдельные параметры user-agent для каждого из них.
    С этим вопросом лучше обратиться в поддержку Яндекс.

  10. Профессионал aquapro42 is on a distinguished road

    Регистрация
    17.11.2015
    Сообщений
    119
    Сообщение от svet7:
    Здравствуйте!
    Так же например посетитель сайта может воспользоваться поиском или фильтром на вашем сайте, найти интересующий его товар, а потом скопировать строку с браузера и отправить другу/родственнику/коллеге, поделиться в соц.сети, а как откроется такая страница? Проверяйте и принимайте решение сами.
    я тут подумал, а как страница будет не доступной то? Я ведь лишь закрываю страницу от индексации в поиковаках, я же не блокирую сам url ни как, любая ссылка будет доступна если по ней перейти

1 2 3 ... 7
Сейчас посетителей: 1. Пользователей: 0, гостей: 1 Рекорд одновременного пребывания 1, это было 01.12.2021 в 05:57.
Сообщений
67
Пользователи
36,120
Активные участники
54

Приветствуем нового пользователя, Anatoliy871