как закрыть в роботе

[lepota 3]

Скажите как в роботе прописать чтобы страницы Материалы за 12.04.2010 »http://site.ru/2010/04/12/ не индексировались?

[WebSet 74]

lepota,

Disallow: /2010/04/12/*

[lepota 3]

lepota,

Disallow: /2010/04/12/*

И что так каждый день подписывать в роботе? через рпределенное время он будет мегобайты весить!

[prikindel 255]

Disallow: /2010/

[WebSet 74]

И что так каждый день подписывать в роботе?

я думал вы для определенной даты просили

Disallow: /2010/

вот этот вариант правильный тогда

[DeeMon 73]

чтобы страницы Материалы за 12.04.2010 »http://site.ru/2010/04/12/ не индексировались

Одно не пойму- зачем?!

[WebSet 74]

Одно не пойму- зачем?!

Аля дубли страниц.

[DeeMon 73]

Аля дубли страниц.

Пример?

[WebSet 74]

Пример?

http://dle-news.ru/release/

http://dle-news.ru/2011/01/03/

Ну я думаю понятно примерно, дубли новостей получаются.

[DeeMon 73]

Не вижу дубля, имхо чепуха, разные страницы и заголовки.

[WebSet 74]

Не вижу дубля, имхо чепуха, разные страницы и заголовки.

тут 1 и та же новость дублируется, где много новостей добавляется, получается дубль контента, text, imgs etc

[DeeMon 73]

По Вашей аналогии тоже дубли:

http://dle-news.ru/

http://dle-news.ru/release/

Браво! Категория Релизы в роботс!

Так реализовано в многих CMS- Яндекс притензий не имеет. То что Вы указали, для Яндекса разные страницы, как и для меня тоже.

[WebSet 74]

Браво! Категория Релизы в роботс!

угу

Так реализовано в многих CMS- Яндекс притензий не имеет.

Вы понимаете, что яндекс, это бот? Надеюсь, что да

Как вы думаете, если подключить архив новостей и теги + категории + разные страницы, мы в итоге можем получить около 4 страниц, где 1 и тот же контент, соответственно, это намного хуже, если отрубить теги + архив, останется только 2 дубля. В итоге робот не так печально реагирует.

Но все меняется, время бежит, яндекс умнеет =)

Думаю со временем это будешь уже не актульано.

[DeeMon 73]

Вы пользуетесь webmaster.yandex.ru ? Если да, то гляньте страницы в поиске, найдите там дубли... Часть вопросов думаю отпадёт.

[WebSet 74]

найдите там дубли...

а у меня все равно архивы и теги закрыты от индекса, не найду

но я намек понял, я уже и сам последнее время начинаю считать, что это проблема не актуальна, но то что она была ей - это факт

[guusr 19]

DeeMon, пользуйтесь инструментами так же от google и посмотрите на кол-во дублей

[DeeMon 73]

DeeMon, пользуйтесь инструментами так же от google

Пользуюсь и не один год, у меня всё нормально, нечего не переделывал и не прописывал.