Индексация по двум доменам

[aragupegu 4]

Такая ситуация, проверил в Advego текст новости на уникальность и заметил что текст проиндексирован по двум доменам, по тому что привязан к сайту и по техническому домену хостинга, получается что это своего рода дубль. Как избавиться от такой проблемы?

[WebSet 74]

aragupegu,

обратитесь к хостеру, пускай отключит технический домен

[aragupegu 4]

aragupegu,

обратитесь к хостеру, пускай отключит технический домен

Спасибо, написал хостеру чтоб отключили.

[Lomot 134]

в тех.домен положить robots.txt с запретом на индексацию и все.

[WebSet 74]

в тех.домен положить robots.txt с запретом на индексацию и все.

так нельзя

тех домен и норм домен = один и тот же сайт, это не 2 разных сайта

[aragupegu 4]

Получил ответ

Вы можете ограничить работу поисковых роботов через файл robot.txt, а так же

запретить доступ через файл .htaccess.

Возможности отключения технического домена нет.

Не подскажите что именно нужно сделать? В роботсе вроде все настроено,а вот в .htaccess даже не знаю что надо делать.

РОБОТС

User-Agent: *

Disallow: /templates/

Disallow: /user/

Disallow: /2011/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /backup/

Disallow: /languages/

Disallow: /newposts/

Disallow: /rules.html

Disallow: /tags/

Disallow: /page/

Disallow: /statistics.html

Disallow: /upgrade/

Disallow: /autobackup.php

Disallow: /addnews.html

Disallow: /index.php?subaction=userinfo

Disallow: /index.php?do=addnews

Disallow: /index.php?do=search&mode=advanced

Disallow: /*do=rules

Disallow: /*do=search

Disallow: /*print

Disallow: /*name=search

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=lostpassword

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Sitemap: http://sait.ru/sitemap.xml

Host: sait.ru

[Lomot 134]

так нельзя

тех домен и норм домен = один и тот же сайт, это не 2 разных сайта

Жаль, у меня разные.

РОБОТС

ЦитатаUser-Agent: *

Disallow: /templates/

Disallow: /user/

Disallow: /2011/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /backup/

...........и т.д.

достаточно прописать

Host: sait.ru

т.е. оригинальный от 9.3 примерно такой

User-agent: *

Disallow: /engine/go.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Host: sait.ru

Изменено 6 июля 2011 пользователем Lomot

[aragupegu 4]

В том то и дело что у меня и дописано Host: sait.ru, но все равно технический домен индексируется поисковиками.

[WebSet 74]

aragupegu,

тогда пускай индексирует, со временем просто склеит эти два домена, и технический домен будет воспринимать как основной, хотя по хорошему, нужно сделать редирект с технического домена на основной:

в .htaccess в самом начале дописать:

Options +FollowSymLinks

 RewriteEngine on

 RewriteRule (.*) http://www.yournewdomain.ru/$1 [R=301,L]:

[aragupegu 4]

aragupegu,

тогда пускай индексирует, со временем просто склеит эти два домена, и технический домен будет воспринимать как основной, хотя по хорошему, нужно сделать редирект с технического домена на основной:

в .htaccess в самом начале дописать:

Options +FollowSymLinks

 RewriteEngine on

 RewriteRule (.*) http://www.yournewdomain.ru/$1 [R=301,L]:

Спасибо, так сейчас и сделаю

Что то не получилось, при изменении .htaccess получаю ошибку при открытии страницы, 500: внутренняя ошибка сервера.

На данный момент .htaccess выглядит так:

DirectoryIndex index.php

RewriteEngine On

php_flag magic_quotes_gpc 0

# Редиректы

RewriteRule ^page/(.*)$ index.php?cstart=$1 [L]

# Сам пост

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html(/?)+$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$4&news_page=$2&cstart=$3 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$2 [L]

RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$2&newsid=$3 [L]

RewriteRule ^([^.]+)/([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2 [L]

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$1&cstart=$2 [L]

RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&news_page=$1 [L]

RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$1&newsid=$2 [L]

RewriteRule ^([0-9]+)-(.*).html(/?)+$ index.php?newsid=$1 [L]

# За день

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]

# За весь месяц

RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]

# Вывод за весь год

RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]

RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]

# вывод отдельному тегу

RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]

RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]

# вывод для отдельного юзера

RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]

RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]

RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]

RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]

RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]

RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]

# вывод всех последних новостей

RewriteRule ^lastnews/(/?)+$ index.php?do=lastnews [L]

RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]

# вывод в виде каталога

RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]

RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]

RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]

# вывод непрочитанных статей

RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]

RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]

# Статистические страницы

RewriteRule ^static/(.*).html(/?)+$ index.php?do=static&page=$1 [L]

# вывод избранных статей

RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]

RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

RewriteRule ^rules.html$ index.php?do=rules [L]

RewriteRule ^statistics.html$ index.php?do=stats [L]

RewriteRule ^addnews.html$ index.php?do=addnews [L]

RewriteRule ^rss.xml$ engine/rss.php [L]

RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]

RewriteRule ^(.*)$ http:\/\/%1/$1 [R=301,QSA,L]

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]

RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]

RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1 [L]

RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteRule ^([^/]+).html$ index.php?do=static&page=$1 [L]

Изменено 6 июля 2011 пользователем aragupegu

[WebSet 74]

Видимо этот вариант только для разных сайтов. Для одного не подойдет.

А что на счет этого?:

RewriteEngine On

RewriteCond %{HTTP_HOST} ^technikaldomen.ru

RewriteRule (.*) http://domen.ru/$1 [R=301,L]

[aragupegu 4]

Видимо этот вариант только для разных сайтов. Для одного не подойдет.

А что на счет этого?:

RewriteEngine On

RewriteCond %{HTTP_HOST} ^technikaldomen.ru

RewriteRule (.*) http://domen.ru/$1 [R=301,L]

Если я правильно понял вместо http://domen.ru/ надо вписать технический домен ?

[WebSet 74]

aragupegu,

нет - technikaldomen.ru = технический домен

domen.ru - нормальный домен

[aragupegu 4]

WebSet

Большое Вам человеческое спасибо, все сделал как вы сказали, теперь все работает как надо, технический домен больше не существует, редиректит на главный домен, выяснилось что яша не видел технический домен, это гугл почему то индексировал новости по тех домену. Теперь думаю все будет нормально.