Склейка страниц yandex

[shk1p3r 0]

evolit.ru

Здравствуйте дорогие форумчане. Столкнулся с проблемой склейки страниц яндексом. А именно, бот сканирует страницы как с слэшэм на конце, так и без слэша на конце, таким образом имеем дубли некоторых страниц. Сразу оговорюсь, что ссылки на сайте имеют вид без .html на конце. Отсюда возникают следующие вопросы:

1. Новостные страницы, расположенные в конкретной категории доступны по различным адресам.

Поясню. К примеру статья http://www.evolit.ru/19/135 (верный адрес) расположена в категории /19/, однако она доступна и по бесконечному количеству адресов в случае, если ссылка имеет вид http://www.evolit.ru/любая цифра/135. (http://www.evolit.ru/999999/135 - неверный адрес). Как этого избежать?

2. Как запретить вывод и категорий и новостей с слэшэм на конце? Что прописать в htaccess, чтобы и статьи и категории отображались только без слэш на конце (а при заходе на страницу со слэш было 301 на страницу без слэш). На данный момент для каждой страницы вручную прописывается 301 со страницы с слэш на без слэш, весьма неудобно.

3. Как правильно настроить зеркала на сайте, чтобы главной считалась страница с www и / на конце? В robots прописал Host: www.evolit.ru, в htaccess

RewriteEngine On

RewriteCond %{HTTP_HOST} ^evolit.ru

RewriteRule (.*) http://www.evolit.ru/$1 [R=301,L]

Верно ли?

[- Den - 32]

Celsoftа скоро типать начнет при виде таких тем

[prikindel 255]

- Den -,

да реально, особенно учитывая умственные способности создающих дубликаты тем.

на самом деле грустно.

[celsoft 6 081]

Celsoftа скоро типать начнет при виде таких тем

это точно

Новостные страницы, расположенные в конкретной категории доступны по различным адресам.

Поясню. К примеру статья http://www.evolit.ru/19/135 (верный адрес) расположена в категории /19/, однако она доступна и по бесконечному количеству адресов в случае, если ссылка имеет вид http://www.evolit.ru/любая цифра/135. (http://www.evolit.ru/999999/135 - неверный адрес). Как этого избежать?

Вас не смушает тот факт, что скрипт не генерирует сам ссылки на категории? А там где генерирует то всегда использует адреса со слешем на конце. Так что вы спрашиваете тогда как избежать? Уберите ссылки без слеша, которые вы поставили в своем шаблоне и поисковик о них знать не будет, и ходить по ним не будет. Вы сами у себя поставили ссылки без слеша в шаблоне, а теперь спрашиваете как избежать. Поисковики индексируют только те ссылки, которые стоят у вас на сайте, сами они никаких бесконечных вариантов не придумывают и по своему усмотрению ничего не добавляют и не удаляют.

3. Как правильно настроить зеркала на сайте, чтобы главной считалась страница с www и / на конце? В robots прописал Host: www.evolit.ru, в htaccess

RewriteEngine On

RewriteCond %{HTTP_HOST} ^evolit.ru

RewriteRule (.*) http://www.evolit.ru/$1 [R=301,L]

Верно ли?

достаточно просто В robots Host: www.evolit.ru для поисковика это будет главным сайтом.

[shk1p3r 0]

Вас не смушает тот факт, что скрипт не генерирует сам ссылки на категории? А там где генерирует то всегда использует адреса со слешем на конце. Так что вы спрашиваете тогда как избежать? Уберите ссылки без слеша, которые вы поставили в своем шаблоне и поисковик о них знать не будет, и ходить по ним не будет. Вы сами у себя поставили ссылки без слеша в шаблоне, а теперь спрашиваете как избежать. Поисковики индексируют только те ссылки, которые стоят у вас на сайте, сами они никаких бесконечных вариантов не придумывают и по своему усмотрению ничего не добавляют и не удаляют.

В том то и дело, что в шаблоне ссылки все правильные. Такая ситуация была месяца 2 назад, тогда я просто сделал редиректы с ненужных страниц на нужные, бот проиндексировал все страницы как необходимо. После я редиректы убрал - и снова вот такая беда. Ни в шаблоне, ни в бэках нигде нет не нужных ссылок, однако бот упорно старается проиндексировать адреса страниц, ранее расположенные в другой категории.

Ссылки без слэша и нужны, вопрос был в том, чтобы скрипт генерировал именно страницы без слэш.

[celsoft 6 081]

В том то и дело, что в шаблоне ссылки все правильные.

Вы что, вы на свою страницу в левую колонку посмотрите, у вас все ссылки без слеша на конце, о чем вы говорите что они правильные.

Ссылки без слэша и нужны, вопрос был в том, чтобы скрипт генерировал именно страницы без слэш.

Как раз таки правильная ссылка со слешем и проще вам будет исправить шаблон, чем переписать половину скрипта на ссылки без слеша. Категория эта папка и по правилам папка должа оканчиваться на слеш, а без слеша это файл а не папка.