Когда можно начинать продвижение своего сайта

[san1]

Просто я смотрю форум "Отзывы о сервисе Pro.Nethouse"
смотрю сайты, которые оставили положительные отзывы, и у них в robots.txt у всех есть отдельное правильно для яндекс и пару Sitemap:

[san1]

а если убрать строчку "Allow: /" что будет? ведь я перечислил что Disallow:

[san1]

сколько секунд указать в параметре Crawl-delay: ?

[Svet7]

а если убрать строчку "Allow: /" что будет? ведь я перечислил что Disallow:

Посмотрите про директивы у Яндекс Вебмастер помощь http://help.yandex.ru/webmaster/cont...allow-disallow
Директива Allow: / используется для разрешения частей сайта, запрещенных в этой же записи robots.txt с помощью Disallow

[Svet7]

сколько секунд указать в параметре Crawl-delay: ?

Вы хотите это в robots.txt использовать?
Пока не рекомендую, для начала правильно заполните стандартный роботс.

[san1]

так правильно?
User-agent: *
Allow: /
Disallow: /products/17404775
Disallow: /comment
Disallow: /documents
Disallow: /photoalbums
Disallow: /products/17404792
Disallow: /products/17404793
Disallow: /products/17404794
Disallow: /products/17404795
Disallow: /products/17404796
Disallow: /products/17404797
Disallow: /products/17404798
Disallow: /products/17404799
Disallow: /products/17404800
Disallow: /products/17404801
Disallow: /products/17404802
Disallow: /products/17404803
Disallow: /products/17404804
Disallow: /products/17404805
Disallow: /products/17404806
Disallow: /products/17404807
Disallow: /products/17404808
Disallow: /products/17404809
Disallow: /products/17404840
Disallow: /products/17404842
Disallow: /products/17404843
Disallow: /products/17404844
Disallow: /products/17405707
Disallow: /products/17571299
Disallow: /products/17571413
Disallow: /products/17571414
Disallow: /products/17571505
Disallow: /products/17571596
Disallow: /products/17571680
Disallow: /products/17571766
Disallow: /products/17571785
Disallow: /products/17571814
Disallow: /products/17571816
Disallow: /products/17571866
Disallow: /products/17572005
Disallow: /products/17572095
Disallow: /products/17572109
Disallow: /products/17572121
Disallow: /products/17572168
Disallow: /products/17572325
Disallow: /products/17572345
Disallow: /products/17572346
Disallow: /products/17572348
Disallow: /products/17572371
Disallow: /products/17572373
Disallow: /products/17572486
Disallow: /products/category/1588382
Disallow: /products/category/1588384
Disallow: /products/category/1588388/page/1?
Disallow: /products/category/1590336
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

Disallow: /products/category/1588388/page/1?

тут "?" нормально? список я из яндекса выгрузил , что у меня с 404 ошибкой

[Svet7]

так правильно?
тут "?" нормально? список я из яндекса выгрузил , что у меня с 404 ошибкой

По смыслу - правильно. Но какие закрываете страницы и не зная вашего сайта невозможно утверждать правильность закрытия страниц. Для этого необходимо проводить аудит (анализ) сайта.

[san1]

все страницы в этом списке с 404 ошибкой, я удалил данные товары

[Svet7]

все страницы в этом списке с 404 ошибкой, я удалил данные товары

Если так, то правильно.

[Атм]

Добрый день!
Подскажите, мне сейчас сообщил клиент, что мой сайт блокируется его антивирусником. с чем это связано?
спасибо