lepota 3 Опубликовано: 17 июня 2010 Рассказать Опубликовано: 17 июня 2010 Подскажите как правильно прописать в роботе тоесть закрыть от индексации определенные вещи , чтобы Гугл не индексировал ненужное, для Яндекса я сделал, а Гугл все подряхэ индексирует. Вот мой робот User-agent: * Disallow: /*print Disallow: /user/ Disallow: /favorites/ Disallow: /cache/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /backup/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Sitemap: http://site.ru/sitemap.xml User-agent: Yandex Disallow: /*print Disallow: /user/ Disallow: /favorites/ Disallow: /cache/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /backup/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /?do=lastcomments Disallow: /safit.php Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Sitemap: http://site.ru/sitemap.xml Host: site.ru Цитата Ссылка на сообщение Поделиться на других сайтах
Hi-Celebs 1 Опубликовано: 17 июня 2010 Рассказать Опубликовано: 17 июня 2010 -http://www.webmascon.com/topics/adv/8a.asp Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 623 Опубликовано: 17 июня 2010 Рассказать Опубликовано: 17 июня 2010 Зачем стока повторов, судя по вашему robots.txt этого достаточно (ИМХО): User-agent: * Disallow: /cgi-bin/ Disallow: /index.php?* Disallow: /*rss Disallow: /*print Disallow: /user/ Disallow: /safit.php Allow: / Sitemap: http://site.ru/sitemap.xml Host: site.ru Это вообще нужно переименовывать и нельзя указывать: Disallow: /autobackup.php Disallow: /admin.php Цитата Ссылка на сообщение Поделиться на других сайтах
lepota 3 Опубликовано: 17 июня 2010 Рассказать Опубликовано: 17 июня 2010 (изменено) Автор 1. А можно поподробнее для бестолковых, я толком непонял. Как всетаки надо сделать? А то я понапишу, что вообще индексироваться все перестанет. 2. По поводу переименования Disallow: /autobackup.php Disallow: /admin.php Уменя админ переименован я его спецом оставил старый. Я конечно не спец. Но скажите: переименовали файл админ но на страницах анализа сайта у меня и на некоторых чужих сайтах показывается робор тхт. И там можно запросто найти как админка называется. На многих сайтах п набираешь http://site.ru/robots.txt и открывается смотри пожалуйста и ищи. Может робот неправильный? Изменено 17 июня 2010 пользователем lepota Цитата Ссылка на сообщение Поделиться на других сайтах
ower_xz 117 Опубликовано: 17 июня 2010 Рассказать Опубликовано: 17 июня 2010 На форуме много есть примеров robots.txt. Напишите отдельно в роботс User-agent: Googlebot и укажите, что не хотите отдавать роботу на индексацию. В панели вебмастера Google, кстати, можно составить этот файл автоматом просто указав папки и файлы и желаемое действие над ними. autobackup.php и admin.php переименовываются из соображений безопасности и в robots их указывать вообще не нужно. robots.txt - это общедоступный файл. Поэтому если он существует на каком-то сайте, то в браузере он будет доступен для чтения. Цитата Ссылка на сообщение Поделиться на других сайтах
lepota 3 Опубликовано: 17 июня 2010 Рассказать Опубликовано: 17 июня 2010 (изменено) Автор В итоге такой большой робот Скажите правильно или ? User-agent: * Disallow: /*print Disallow: /user/ Disallow: /favorites/ Disallow: /cache/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /backup/ Disallow: /upup.php Disallow: /admin.php Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /safit.php Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Sitemap: http://site.ru/sitemap.xml User-agent: Yandex Disallow: /*print Disallow: /user/ Disallow: /favorites/ Disallow: /cache/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /backup/ Disallow: /upup.php Disallow: /?do=lastcomments Disallow: /safit.php Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Sitemap: http://site.ru/sitemap.xml Host: site.ru User-agent: Googlebot Disallow: /*print Disallow: /user/ Disallow: /favorites/ Disallow: /cache/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /backup/ Disallow: /upup.php Disallow: /safit.php Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Sitemap: http://site.ru/sitemap.xml Изменено 17 июня 2010 пользователем lepota Цитата Ссылка на сообщение Поделиться на других сайтах
ower_xz 117 Опубликовано: 18 июня 2010 Рассказать Опубликовано: 18 июня 2010 На вкус и цвет... Я использую вот такой: User-agent: * Disallow: /addnews.html Disallow: /newposts/ Disallow: /statistics.html Disallow: /favorites/ Disallow: /user/ Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=search Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Sitemap: http://site.ru/sitemap.xml User-agent: Googlebot Disallow: /addnews.html Disallow: /newposts/ Disallow: /statistics.html Disallow: /favorites/ Disallow: /user/ Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=search Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Sitemap: http://site.ru/sitemap.xml User-agent: Yandex Disallow: /addnews.html Disallow: /newposts/ Disallow: /statistics.html Disallow: /favorites/ Disallow: /user/ Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=search Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Sitemap: http://site.ru/sitemap.xml Host: site.ru Страницы для печати можно закрыть от индексации через админку. Остальное не вижу смысла закрывать. Цитата Ссылка на сообщение Поделиться на других сайтах
asmakovec22 3 Опубликовано: 19 июня 2010 Рассказать Опубликовано: 19 июня 2010 Зачем для каждого робота повторять??? User-agent: * означает для всех роботов, а всё остальное роботы проигнорируют. Например заходит яндекс и видит User-agent: * он понимает, делает выводи и не индексирует то что запрещено, а то что прописано специально для яндекса User-agent: Yandex робот яндекс проигнорирует. ему важнее то что выше прописано. Тоже самое и с гуглом. вот правильный robots.tx его понимают все роботы, и не нужно прописывать для каждого робота лишние строки. User-agent: * Disallow: /addnews.html Disallow: /newposts/ Disallow: /statistics.html Disallow: /favorites/ Disallow: /user/ Disallow: /index.php?do=register Disallow: /index.php?do=lastcomments Disallow: /index.php?do=search Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Sitemap: http://site.ru/sitemap.xml Host: site.ru Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.