Перейти к публикации

Как убрать дубли страниц?


Рекомендованные сообщения

Подскажите, а как убрать дубли тсраниц? Например у меня категория мобильные новости доступна по адресу http://www.mobile-soft.su/news/mobile-news/ а также по адресу http://www.mobile-soft.su/mobile-news/

Тоже самое с файлами, файл доступен по адресу http://www.mobile-soft.su/symbian-6-7-8/application-6-7-8/1314-btexploit-v10.html и http://www.mobile-soft.su/2010/08/20/btexploit-v10.html говорят что это для поисковиков плохо и можно попасть под фильтр... Как сделать чтоб файлы были доступны только по одному адресу из выбранного мною типа чпу?

Ссылка на сообщение
Поделиться на других сайтах

Да мне тоже такое гооврили. Убирай календарь. Или запрещай В роботсе индексацию календаря. а так канечно тупо в дле сделанно что новость доступна по 2 ссылкам. нада как-то переделать. Хотя сами пишут что движок полностью адаптирован под поисковые системы а на деле немного не так!

Ссылка на сообщение
Поделиться на других сайтах

Вот и я о том же, почему нельзя включить в дистр стандартный роботс

Ога. не помешало бы. ПРи покупке движка говорят что он адаптирован под поисковые системы, теперь выясняется что он не адаптирован под ПС`ов.

Прикольно получается. И причём они могут только сказать что Вас никто не заставлял покупать. Не нравится, не пользуйся. и всё в таком роде.

Ссылка на сообщение
Поделиться на других сайтах

hotdj,

Не надоело всякую ерунду не по теме писать? это ссылки не из календаря. Меня например удивляет ваша некоментентность в вопросах, на которые вы пишите со своим сарказмом. Если нечего сказать по теме, лучше уж наверное совсем ничего не писать

И на сайте дубликатов полных новостей в скрипте появится не может. Поисковики индексируют только те ссылки которые стоят на странице и никакие другие. И все проблемы начинаются когда пользователи на проиндексированном сайте начинают менять тип ЧПУ в настройках скрипта, менять названия категорий. Менять прочие настройки скрипта, приводять к смене URL. С такими параметрами нужно определяться сразу, а не через полгода. Еще конечно бывает проблема когда ставять сторонние модули, которые не учитывают иерархии URL согласно всем настройкам

В частности появление ссылок http://www.mobile-soft.su/news/mobile-news/ и http://www.mobile-soft.su/mobile-news/ это результать либо смены вложенности категорий или включена настройка вывода новостей из субкатегорий в родительских категориях.

И ни один универсальный robots.txt не может описывать подобные изменения, и если делаете изменения, то нужно писать персоныльные правила, т.к. у всех категории и их названия разные.

говорят что это для поисковиков плохо и можно попасть под фильтр...

глупости говорят, ничего не произодет, через определенное время роботы уберут из индекса дубликаты и все, релевантность на это время может только снизиться конкретных страниц, но не более того

Как сделать чтоб файлы были доступны только по одному адресу из выбранного мною типа чпу?

удаляйте правила для обработки того или иного типа ЧПУ из файла .htaccess, для категорий нужно писать правила в robots.txt

Ссылка на сообщение
Поделиться на других сайтах

inokentik в первом случае небось удалил категорию news т.к в ней новостей нет, во втором точно менял ЧПУ2 на ЧПУ3 или наоборот.

ИскушениЕ и hotdj, robots это индивидуальный файл для каждого проэкта.

Ссылка на сообщение
Поделиться на других сайтах

Это индивидуальный фаил. Но ниодному поисковику ненужна информация из профилей пользователей регистраций обратных связей и т.д. Поэтому я думаю что роботс должен иметь место быть в дистрибутиве. Так как не каждый кто покупает движок знает вообще о существовании роботса кроме его упоминания в панелях вебмастера.

А вы Владимир не правы. Ну конечно правы что Инокентий сам лопухнулся со сменами на сайте, но вот то что поисковикам пох с этим не соглашусь. Если на сайте две страницы с одинаковым контентом, а к этому можно отнести к примеру пейдж 2 и Добавленые новосмти за вчера. Если новостей больше чем выводится на одной странице. Получатся две одинаковые страницы. И Гугл ОБЕ страницы отправит в сопли а не будет разбиратся какая из них важнее, так же отправляются в сопли профили пользователей, регистрация, фидбек и другие сервисные страницы. А Гугл он такой, чем больше соплей тем сайт менее качественный а значит ниже в выдаче.

Вот тут то и получается что в анотации написано что движок сео оптимизирован, а на самом деле он сео оптимизирован - если его сео оптимизировать. Что как мне кажется не совсем правильно.

Ссылка на сообщение
Поделиться на других сайтах

А вы Владимир не правы. Ну конечно правы что Инокентий сам лопухнулся со сменами на сайте, но вот то что поисковикам пох с этим не соглашусь. Если на сайте две страницы с одинаковым контентом, а к этому можно отнести к примеру пейдж 2 и Добавленые новосмти за вчера. Если новостей больше чем выводится на одной странице. Получатся две одинаковые страницы. И Гугл ОБЕ страницы отправит в сопли а не будет разбиратся какая из них важнее, так же отправляются в сопли профили пользователей, регистрация, фидбек и другие сервисные страницы.

Так в чем я неправ? Я тоже самое и написал, что никакого бана и прочего от поисковика не будет, лишь временно снизится релевантность дубликатов страниц и не более, про прошествии времении и очистки индекса поисковика от дубликатов, все придет в норму. И появление дубликатов страниц это не результат неоптимизированности скрипта, а результат игр с URL сайта самим пользователем.

Про новости про вчера я не очень понял, что значит если новостей больше чем на одну страницу то обе страницы уйдут в "сопли"? На них ниже же разные статьи как она может быть дубликатом? Дубликат это 100% совпадение. А вообще динамически изменяемый контент на одних и тех URL это нерелевантные страницы, т.к. их информация непостоянна, поэтому при выдаче будет превалировать ссылка на полную новость, которая не менялась с месяц, со ссылкой например на категорию. Вы когда нибудь видели на сайтах которыми занимаются профессиональные оптимизаторы навигацию по страницам? Я нет, потому что страницы с навигации нерелевантны, поэтому используются в крайних случаях уже для юзабилити посетителя, а не для поисковика, и то закрывают от индексации. Поэтому настоящие профессионалы не пользуются готовым, потому что готовое всегда хуже когда речь идет о уникальности.

А Гугл он такой, чем больше соплей тем сайт менее качественный а значит ниже в выдаче.

на самом деле гугл он такой, чем качественнее контент, тем выше релевантность, и например какой нибудь софт сайт, ни как не может быть априори качественным, и например пока не пройдет песочницу гугла по времени, ему суждено быть на сотой странице в поиске. Перепечатка с любого сайта это не уникальность и уже низкая релевантность, и гораздо худшая чем дубликаты.

. Но ниодному поисковику ненужна информация из профилей пользователей

Честно сказать дилетанское суждение, конечно например варезнику не нужна информация в профиле в поисковике. А если речь идет о сайте содержашим например полноценные анкеты, например состав менеджмента компании? Я повторюсь еще раз управление поисковыми роботами это очень тонкая работа, поэтому и существует такие должности как СЕО менеджер. И наивно полагать что записав какой то стандартный robots можно взлететь до небес, и обойти конкурентов. robots пишеться под конкретный контент и структуру сайта.

Ссылка на сообщение
Поделиться на других сайтах

Но куда легче же написать если делаете социальную сеть из движка удалите роботс, чем каждый будет делать один и тот же.

Гуглу ненужно 100% совпадение. Можете даже посмотреть статистику... абсолютно все сайты на ДЛЕ как минимум 40% испачканы соплями гугла (конечно исключая те сайты которые подчистились роботсом и тому подобным.) К тому же вот я решил сделать сайт так чтоб на него шла инфа с других. То есть сверстал таким образом шаблон, что получилось если статья 2000 знаков то это на странице было процентов 40 уникальности. Остальное были всякие РСС информеры и т.п. Итог ... весь сайт в сопли. Так что не стоит недооценивать злобу гугла.

Временно снизится релевантность в саплементале это равносильно бану. Если кто то в поисковике наберёт Пурпурная казявка и получится так что нигде в минре это слово не встретится кроме как на твоей странице, то гугл эту страницу выдаст. В ином случае она будет лежать в режиме ожидания даже если она более релевантна чем те которые на первом месте.

И в подтверждение ваших слов о неиспользовании профессионалами. Вы делаете акцент на тех кто умеет, а помойму это не правильный бизнес план, нужно охватывать как можно большую аудиторию. А куда проще написать удалите вот это если вам ненужно чем объяснить как нужно написать.

Я может конечно совершенно не понятно пишу, есть у меня такая патология. Но думаю не составило бы труда положить в папку Documentation фаил robots.txt с закоментированными строчками. Нужное включил и положил в корень. Иначе зачем в этой же папке лежит документация по движку если она есть на офф сайте? Правильно чтоб народ не тупил и не спрашивал тысячу раз где найти документацию. Так почему бы не сократить кучу вопросов о том как закрыть от индексирования то или иное.

Но с другой стороны я сам не понимаю зачем я борюсь за понятность в движке ДЛЕ если это мой хлебушек)))) Наверное я реинкарнация Чегевары

Ссылка на сообщение
Поделиться на других сайтах

На счет вида ЧПУ поменял тольок вчера, так как посоветовали не 1-й, а 2-й тип... На счет разных адресов, да, была категория и подкатегория, из подкатегории перенес в категорию основную, а категорию удалил.

Что будет если отключить включена настройка вывода новостей из субкатегорий в родительских категориях.?? Смотрел, да включенно, но толком не понимаю что это такое и что оно дает?!

Ссылка на сообщение
Поделиться на других сайтах

Если у тебя есть категория и в ней под категории... то категория становится как бы главной страницей подкатегорий где выводятся все новости. А если отключить то в категории будут только новости которые ты добавил непосредственно в категорию. А остальные будут лежать в своих категориях. В общем тоже самое что главная сстраница категории и вывод на главной.

Ссылка на сообщение
Поделиться на других сайтах

К тому же вот я решил сделать сайт так чтоб на него шла инфа с других. То есть сверстал таким образом шаблон, что получилось если статья 2000 знаков то это на странице было процентов 40 уникальности. Остальное были всякие РСС информеры и т.п. Итог ... весь сайт в сопли. Так что не стоит недооценивать злобу гугла.

Ну правильно, какой толк от вашего сайта для поисковика если там 60% чужого контента? Странное отношение, сделали сайт состоящий из чужих "соплей", а потом удивляетесь почему же это поисковику не нравиться. Я же написал выше, будет чужой контент забудьте про высокие позиции, только при платной покупке кликов на гугле по словам. Вы говоря мне, что я не прав, подверждаете сами мои слова :) как не странно это звучит.

Ссылка на сообщение
Поделиться на других сайтах

Не вы меня не правильно поняли опять же. Весь контент у меня свой и выводил я инфу со своих сайтов.

Давайте вместе посчитаем. Шапка и боковое меню... едины на всём сайте. Это уже процентов 30 + футер и шесть информеров по 10 заголовков новостей ещё 30 в итоге если на странице не большая статья страница вылетает в сопли. Я признаю что это было огромной ошибкой и я её быстро исправил в обратную сторону.

НО ... вы сказали что страница в сопли вылетает только если на ней 100% повторяющаяся инфа, а я этот факт опровергаю. На странице должна быть большая часть уника для невылета. В общем это конечно ошибка вебмастеров а не движка, я просто именно до этих 100% докапался)))

А копипастить я уже давно завязал так что с меня взятки гладки))

Ссылка на сообщение
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
×
  • Создать...