Как правильно составить robots.txt, что бы скрыть ненужные страницы включая фильтры различные?
Какое то универсальное решение есть для сайтов на nethouse.ru ?
Как правильно составить robots.txt, что бы скрыть ненужные страницы включая фильтры различные?
Какое то универсальное решение есть для сайтов на nethouse.ru ?
Добрый день.
Нужно все урлы сайта собрать в список. Те, которые нужно закрыть от индексации, взять их часть урла, которой нет в урлах, которые не нужно закрывать от индексации и их запретить.
После вставить все урлы в https://webmaster.yandex.ru/tools/robotstxt/, проверить, правильно ли все прописано.
Как правильно закрыть роботу яндекс директа доступ к сайту? Что то ни где не вижу данной информации в интернете... ни кого что ли не беспокоит что РСЯ тут же переманивает посетителей (возможно горячих покупателей) с вашего сайта на сайты с аналогичной тематикой с более выгодными предложениями... Я стараюсь, работаю над продвижением сайта годами, а другой дерет настраивает РСЯ по моей тематике, и перетягивает всех подогретых клиентов к себе... ужас!)
Второй вопрос: как правильно закрыть от индексации фильтр товаров? и нужно ли это делать? (у меня на сайте всего 400 товаров, а по вебмастеру 12 000 в индексе, и только 300 из них в поиске, остальные страницы это работа фильтра)
сейчас мой роботс выглядит следующим образом
User-agent: *
Allow: /
Host: https://xn--42-6kcaj1c4ahj.xn--p1ai
Sitemap: https://xn--42-6kcaj1c4ahj.xn--p1ai/sitemap.xml
предполагаю что нужно добавить подобные команды в мой роботс, но как бы не испортить чего)
User-agent: YandexDirect
Disallow: #
User-agent: *
Disallow: /*?*
Добрый вечер.Сообщение от aquapro42:
1) https://yandex.ru/support/webmaster/...robots-txt.xml
https://yandex.ru/support/search-results/?text=user agent&service=doc_direct-guide
User-agent: YaDirectFetcher
Disallow: /
2) Можете закрыть, можете не закрывать это по желанию.
Добавьте стоку Disallow: /*productGroup*
productGroup - есть в сортировке/фильтре
User-agent: *
Allow: /
Disallow: /*productGroup*
Host: https://xn--42-6kcaj1c4ahj.xn--p1ai
Sitemap: https://xn--42-6kcaj1c4ahj.xn--p1ai/sitemap.xml
Большое спасибо за помощь!
Могу еще раз уточнить презде чем прописывать?
В первой строке Юзерагента, мы запрещаем доступ роботу, который уводит посетителей на другие тематические сайты через сеть РСЯ?
Во второй строке Юзерагент, мы запрещаем роботу пользоваться фильтром товаров на сайте (именно запрещаем создание через фильтр массу ненужных страниц, а индексация самих товаров останется!), все верно мы друг друга поняли?)
И если все верно, то окончательный вариант robots.txt будет таков:
User-agent: YaDirectFetcher
Disallow: /
User-agent: *
Allow: /
Disallow: /*productGroup*
Host: https://xn--42-6kcaj1c4ahj.xn--p1ai
Sitemap: https://xn--42-6kcaj1c4ahj.xn--p1ai/sitemap.xml
Disallow: /*productGroup*
в моей голове не укладывается пока вот этот момент, почему мы пишем Disallow: /*productGroup* ?
если строка с фильтром выглядит вот так:
https://xn--42-6kcaj1c4ahj.xn--p1ai/...kabiny-uglovye?text=&balance=&categoryId=913813&sort=5&min_cost= &max_cost=&productGroup=91616&productCustomGroup=9 1616&page=1&attributes%5B49%5D%5B19230402%5D=1
почему бы не от знака "?" начать закрывать от индексации? То есть так мы специально оставляем какую то возможность работы по фильтру, например сортировать по стоимости товар? или для чего то другого? А может я совсем не в том направлении думаю))
И вообще правильно ли я делаю что хочу закрыть фильтр? хотелось бы услышать мнение другого человека из нэтхаус по этому вопросу
Здравствуйте!
Верно, фильтры можете закрывать, а можете не закрывать - это на ваше усмотрение, сами карточки товаров таким образом от индексации не закроете. Корректно ли закрытие работает с Disallow: /*productGroup*, рекомендую проверить через Яндекс.Вебмастер. Знак "?" не закрываем в роботс, т.к. он может использоваться не только в фильтрах, так например в utm метках может присутствовать. Disallow: / *? - блокирует доступ ко всем URL со знаком вопроса (то есть ко всем URL, которые начинаются с имени домена и содержат строку, внутри которой встречается знак вопроса), вы проверили все страницы своего сайта, что бы с уверенностью закрыть "?" и тем самым не запретить доступ к индексированию нужных страниц?
Так же например посетитель сайта может воспользоваться поиском или фильтром на вашем сайте, найти интересующий его товар, а потом скопировать строку с браузера и отправить другу/родственнику/коллеге, поделиться в соц.сети, а как откроется такая страница? Проверяйте и принимайте решение сами.
По закрытию доступа к сайту определенных роботов Яндекса (РСЯ, Директ) лучше уточнить написав в помощь https://yandex.ru/support/webmaster-troubleshooting/
Спасибо, да я ? я уже подумал тоже, сделал по рекомендациям
А вот про робота сомневаюсь что YaDirectFetcher это тот самый робот от которого мне нужно закрыться. Написал в поддержку, ответят если, то напишу результат
Есть шесть роботов Яндекса, которые не следуют правилам Robots.txt: YaDirectFetcher, YandexCalendar, YandexDirect, YandexDirectDyn, YandexMobileBot, YandexAccessibilityBot. Чтобы запретить им индексацию на сайте, следует сделать отдельные параметры user-agent для каждого из них.Сообщение от aquapro42:
С этим вопросом лучше обратиться в поддержку Яндекс.
я тут подумал, а как страница будет не доступной то? Я ведь лишь закрываю страницу от индексации в поиковаках, я же не блокирую сам url ни как, любая ссылка будет доступна если по ней перейтиСообщение от svet7:
