MGHaze 2 Опубликовано: 3 часа назад Рассказать Опубликовано: 3 часа назад Доброго дня всем. Может есть у кого собранный список адресов всех стандартных внутренних страниц? Что-то вроде: /user/имя_пользователя/ /index.php?do=pm /index.php?do=lastcomments /favorites/ /statistics.html /newposts/ /index.php?do=feedback и т.д. Цитата Ссылка на сообщение Поделиться на других сайтах
Captain 635 Опубликовано: 2 часа назад Рассказать Опубликовано: 2 часа назад https://dle-news.ru/extras/online/all6.html + в дефолтном robots.txt из DLE. 1 Цитата Ссылка на сообщение Поделиться на других сайтах
MGHaze 2 Опубликовано: 1 час назад Рассказать Опубликовано: 1 час назад Автор 34 минуты назад, Captain сказал: https://dle-news.ru/extras/online/all6.html + в дефолтном robots.txt из DLE. В документации видел, а про роботс не подумал. Спасибо! Но все-равно не все ссылки. Тех же закладок нет, перекрестных ссылок... Цитата Ссылка на сообщение Поделиться на других сайтах
celsoft 6 175 Опубликовано: 47 минут назад Рассказать Опубликовано: 47 минут назад 53 минуты назад, MGHaze сказал: Тех же закладок нет, перекрестных ссылок... Ссылки на закладки и не появляются на страницах вашего сайта потому как поисковых бот это не зарегистрированный пользователь, а перекрестные ссылки это не какие то служебные чтобы они были в стандартом robots.txt. Стандартный robots.txt это лишь базовый пример того что может увидеть робот на страницах по умолчанию. Что индексировать что нет на сайте из контента это каждый сайт и вебмастер решает уже самостоятельно по своему усмотрению. Цитата Ссылка на сообщение Поделиться на других сайтах
MGHaze 2 Опубликовано: 19 минут назад Рассказать Опубликовано: 19 минут назад Автор 23 минуты назад, celsoft сказал: Ссылки на закладки и не появляются на страницах вашего сайта потому как поисковых бот это не зарегистрированный пользователь, а перекрестные ссылки это не какие то служебные чтобы они были в стандартом robots.txt. Стандартный robots.txt это лишь базовый пример того что может увидеть робот на страницах по умолчанию. Что индексировать что нет на сайте из контента это каждый сайт и вебмастер решает уже самостоятельно по своему усмотрению. Мне для проверки шаблона. Вроде что-то состряпал, а в итоге оказалось, что есть такие страницы, для которых шаблонов нет. И по итогу у меня те же страницы /xfsearch/ и формы недоделаны. Мб еще что-то... Цитата Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.