Как убрать дубли страниц?

[inokentik 45]

Подскажите, а как убрать дубли тсраниц? Например у меня категория мобильные новости доступна по адресу http://www.mobile-soft.su/news/mobile-news/ а также по адресу http://www.mobile-soft.su/mobile-news/

Тоже самое с файлами, файл доступен по адресу http://www.mobile-soft.su/symbian-6-7-8/application-6-7-8/1314-btexploit-v10.html и http://www.mobile-soft.su/2010/08/20/btexploit-v10.html говорят что это для поисковиков плохо и можно попасть под фильтр... Как сделать чтоб файлы были доступны только по одному адресу из выбранного мною типа чпу?

[hotdj 33]

Да мне тоже такое гооврили. Убирай календарь. Или запрещай В роботсе индексацию календаря. а так канечно тупо в дле сделанно что новость доступна по 2 ссылкам. нада как-то переделать. Хотя сами пишут что движок полностью адаптирован под поисковые системы а на деле немного не так!

[baxus 49]

Вот и я о том же, почему нельзя включить в дистр стандартный роботс

[hotdj 33]

Вот и я о том же, почему нельзя включить в дистр стандартный роботс

Ога. не помешало бы. ПРи покупке движка говорят что он адаптирован под поисковые системы, теперь выясняется что он не адаптирован под ПС`ов.

Прикольно получается. И причём они могут только сказать что Вас никто не заставлял покупать. Не нравится, не пользуйся. и всё в таком роде.

[celsoft 6 076]

hotdj,

Не надоело всякую ерунду не по теме писать? это ссылки не из календаря. Меня например удивляет ваша некоментентность в вопросах, на которые вы пишите со своим сарказмом. Если нечего сказать по теме, лучше уж наверное совсем ничего не писать

И на сайте дубликатов полных новостей в скрипте появится не может. Поисковики индексируют только те ссылки которые стоят на странице и никакие другие. И все проблемы начинаются когда пользователи на проиндексированном сайте начинают менять тип ЧПУ в настройках скрипта, менять названия категорий. Менять прочие настройки скрипта, приводять к смене URL. С такими параметрами нужно определяться сразу, а не через полгода. Еще конечно бывает проблема когда ставять сторонние модули, которые не учитывают иерархии URL согласно всем настройкам

В частности появление ссылок http://www.mobile-soft.su/news/mobile-news/ и http://www.mobile-soft.su/mobile-news/ это результать либо смены вложенности категорий или включена настройка вывода новостей из субкатегорий в родительских категориях.

И ни один универсальный robots.txt не может описывать подобные изменения, и если делаете изменения, то нужно писать персоныльные правила, т.к. у всех категории и их названия разные.

говорят что это для поисковиков плохо и можно попасть под фильтр...

глупости говорят, ничего не произодет, через определенное время роботы уберут из индекса дубликаты и все, релевантность на это время может только снизиться конкретных страниц, но не более того

Как сделать чтоб файлы были доступны только по одному адресу из выбранного мною типа чпу?

удаляйте правила для обработки того или иного типа ЧПУ из файла .htaccess, для категорий нужно писать правила в robots.txt

[Captain 623]

inokentik в первом случае небось удалил категорию news т.к в ней новостей нет, во втором точно менял ЧПУ2 на ЧПУ3 или наоборот.

ИскушениЕ и hotdj, robots это индивидуальный файл для каждого проэкта.

[baxus 49]

Это индивидуальный фаил. Но ниодному поисковику ненужна информация из профилей пользователей регистраций обратных связей и т.д. Поэтому я думаю что роботс должен иметь место быть в дистрибутиве. Так как не каждый кто покупает движок знает вообще о существовании роботса кроме его упоминания в панелях вебмастера.

А вы Владимир не правы. Ну конечно правы что Инокентий сам лопухнулся со сменами на сайте, но вот то что поисковикам пох с этим не соглашусь. Если на сайте две страницы с одинаковым контентом, а к этому можно отнести к примеру пейдж 2 и Добавленые новосмти за вчера. Если новостей больше чем выводится на одной странице. Получатся две одинаковые страницы. И Гугл ОБЕ страницы отправит в сопли а не будет разбиратся какая из них важнее, так же отправляются в сопли профили пользователей, регистрация, фидбек и другие сервисные страницы. А Гугл он такой, чем больше соплей тем сайт менее качественный а значит ниже в выдаче.

Вот тут то и получается что в анотации написано что движок сео оптимизирован, а на самом деле он сео оптимизирован - если его сео оптимизировать. Что как мне кажется не совсем правильно.

[celsoft 6 076]

А вы Владимир не правы. Ну конечно правы что Инокентий сам лопухнулся со сменами на сайте, но вот то что поисковикам пох с этим не соглашусь. Если на сайте две страницы с одинаковым контентом, а к этому можно отнести к примеру пейдж 2 и Добавленые новосмти за вчера. Если новостей больше чем выводится на одной странице. Получатся две одинаковые страницы. И Гугл ОБЕ страницы отправит в сопли а не будет разбиратся какая из них важнее, так же отправляются в сопли профили пользователей, регистрация, фидбек и другие сервисные страницы.

Так в чем я неправ? Я тоже самое и написал, что никакого бана и прочего от поисковика не будет, лишь временно снизится релевантность дубликатов страниц и не более, про прошествии времении и очистки индекса поисковика от дубликатов, все придет в норму. И появление дубликатов страниц это не результат неоптимизированности скрипта, а результат игр с URL сайта самим пользователем.

Про новости про вчера я не очень понял, что значит если новостей больше чем на одну страницу то обе страницы уйдут в "сопли"? На них ниже же разные статьи как она может быть дубликатом? Дубликат это 100% совпадение. А вообще динамически изменяемый контент на одних и тех URL это нерелевантные страницы, т.к. их информация непостоянна, поэтому при выдаче будет превалировать ссылка на полную новость, которая не менялась с месяц, со ссылкой например на категорию. Вы когда нибудь видели на сайтах которыми занимаются профессиональные оптимизаторы навигацию по страницам? Я нет, потому что страницы с навигации нерелевантны, поэтому используются в крайних случаях уже для юзабилити посетителя, а не для поисковика, и то закрывают от индексации. Поэтому настоящие профессионалы не пользуются готовым, потому что готовое всегда хуже когда речь идет о уникальности.

А Гугл он такой, чем больше соплей тем сайт менее качественный а значит ниже в выдаче.

на самом деле гугл он такой, чем качественнее контент, тем выше релевантность, и например какой нибудь софт сайт, ни как не может быть априори качественным, и например пока не пройдет песочницу гугла по времени, ему суждено быть на сотой странице в поиске. Перепечатка с любого сайта это не уникальность и уже низкая релевантность, и гораздо худшая чем дубликаты.

. Но ниодному поисковику ненужна информация из профилей пользователей

Честно сказать дилетанское суждение, конечно например варезнику не нужна информация в профиле в поисковике. А если речь идет о сайте содержашим например полноценные анкеты, например состав менеджмента компании? Я повторюсь еще раз управление поисковыми роботами это очень тонкая работа, поэтому и существует такие должности как СЕО менеджер. И наивно полагать что записав какой то стандартный robots можно взлететь до небес, и обойти конкурентов. robots пишеться под конкретный контент и структуру сайта.

[baxus 49]

Но куда легче же написать если делаете социальную сеть из движка удалите роботс, чем каждый будет делать один и тот же.

Гуглу ненужно 100% совпадение. Можете даже посмотреть статистику... абсолютно все сайты на ДЛЕ как минимум 40% испачканы соплями гугла (конечно исключая те сайты которые подчистились роботсом и тому подобным.) К тому же вот я решил сделать сайт так чтоб на него шла инфа с других. То есть сверстал таким образом шаблон, что получилось если статья 2000 знаков то это на странице было процентов 40 уникальности. Остальное были всякие РСС информеры и т.п. Итог ... весь сайт в сопли. Так что не стоит недооценивать злобу гугла.

Временно снизится релевантность в саплементале это равносильно бану. Если кто то в поисковике наберёт Пурпурная казявка и получится так что нигде в минре это слово не встретится кроме как на твоей странице, то гугл эту страницу выдаст. В ином случае она будет лежать в режиме ожидания даже если она более релевантна чем те которые на первом месте.

И в подтверждение ваших слов о неиспользовании профессионалами. Вы делаете акцент на тех кто умеет, а помойму это не правильный бизнес план, нужно охватывать как можно большую аудиторию. А куда проще написать удалите вот это если вам ненужно чем объяснить как нужно написать.

Я может конечно совершенно не понятно пишу, есть у меня такая патология. Но думаю не составило бы труда положить в папку Documentation фаил robots.txt с закоментированными строчками. Нужное включил и положил в корень. Иначе зачем в этой же папке лежит документация по движку если она есть на офф сайте? Правильно чтоб народ не тупил и не спрашивал тысячу раз где найти документацию. Так почему бы не сократить кучу вопросов о том как закрыть от индексирования то или иное.

Но с другой стороны я сам не понимаю зачем я борюсь за понятность в движке ДЛЕ если это мой хлебушек)))) Наверное я реинкарнация Чегевары

[inokentik 45]

На счет вида ЧПУ поменял тольок вчера, так как посоветовали не 1-й, а 2-й тип... На счет разных адресов, да, была категория и подкатегория, из подкатегории перенес в категорию основную, а категорию удалил.

Что будет если отключить включена настройка вывода новостей из субкатегорий в родительских категориях.?? Смотрел, да включенно, но толком не понимаю что это такое и что оно дает?!

[baxus 49]

Если у тебя есть категория и в ней под категории... то категория становится как бы главной страницей подкатегорий где выводятся все новости. А если отключить то в категории будут только новости которые ты добавил непосредственно в категорию. А остальные будут лежать в своих категориях. В общем тоже самое что главная сстраница категории и вывод на главной.

[celsoft 6 076]

К тому же вот я решил сделать сайт так чтоб на него шла инфа с других. То есть сверстал таким образом шаблон, что получилось если статья 2000 знаков то это на странице было процентов 40 уникальности. Остальное были всякие РСС информеры и т.п. Итог ... весь сайт в сопли. Так что не стоит недооценивать злобу гугла.

Ну правильно, какой толк от вашего сайта для поисковика если там 60% чужого контента? Странное отношение, сделали сайт состоящий из чужих "соплей", а потом удивляетесь почему же это поисковику не нравиться. Я же написал выше, будет чужой контент забудьте про высокие позиции, только при платной покупке кликов на гугле по словам. Вы говоря мне, что я не прав, подверждаете сами мои слова как не странно это звучит.

[baxus 49]

Не вы меня не правильно поняли опять же. Весь контент у меня свой и выводил я инфу со своих сайтов.

Давайте вместе посчитаем. Шапка и боковое меню... едины на всём сайте. Это уже процентов 30 + футер и шесть информеров по 10 заголовков новостей ещё 30 в итоге если на странице не большая статья страница вылетает в сопли. Я признаю что это было огромной ошибкой и я её быстро исправил в обратную сторону.

НО ... вы сказали что страница в сопли вылетает только если на ней 100% повторяющаяся инфа, а я этот факт опровергаю. На странице должна быть большая часть уника для невылета. В общем это конечно ошибка вебмастеров а не движка, я просто именно до этих 100% докапался)))

А копипастить я уже давно завязал так что с меня взятки гладки))