MaxHub
Служба Заботы MaxSite CMS

Почему происходит индексация черновиков?

Вопросы-ответы / 10 октября 2016

Проблема на сайте: Яндекс индексирует еще не опубликованные страницы (черновики). Они висят в вебмастере со статусом "ошибка 404".

Что можно сделать? Подскажите, как править robots.txt

evgeniy 2 1738
Комментариев: 2
  1. Наверно особого правила для robots.txt для этой ситуации придумать не получится - эти страницы выглядят как обычные, да и будут обычными после публикации (а адреса останутся прежними).

    Поэтому предлагаю всё таки бороться не с последствиями, а с причиной. Чтобы Яндекс узнал об этих страницах он должен где-то увидеть ссылки на них (сам по себе он ничего не придумывает - не научен). Вопрос - где Яндекс нашёл ссылки?

    У меня есть три версии:

    1. Ссылки просачиваются в файл sitemap.xml. Вы проверяли - в нём точно нет ссылок на неопубликованные записи?

    2. Если есть страница с адресом /sitemap, то возможно на ней какой-то сбой - надо проверить, нет ли на ней ссылок?

    3. Если на сайте есть виджет "будущих публикаций", то при неправильной настройке он мог вполне показать ссылки на пока не существующие страницы. Вроде это не ваш случай.

    Ну и остаётся вариант, что вы сами реализовали в шаблоне вывод ссылок на несуществующие страницы (например, в како-нибудь виджете или юните) и не заметили. Чтобы попытаться найти эту "дыру" нужно взять программу сканер сайтов (типа Xenu Links) и натравить её на ваш сайт, чтобы она составила список всех страниц и составила граф внутренних ссылок. Возможно это прояснит причину появления ненужных ссылок в отчёте Яндекс.Вебмастера.

  2. Спасибо за рекомендации. Маленькая поправка: страницы не черновики (draft), а в статусе отложенной публикации (publish). Буду разбираться.

    Еще один момент. Сайт регулярно спамят порно каментами + регистрируются пользователи и в своих профилях ставят спамные ссылки. Хотя комментарии висят не опубликованые (на модерации) и спамных пользователей регулярно удаляю, получил санкции в Яндексе за спамный контент (понижение в выдаче и ноль трафика). Значит, яндекс как-то видит эти неопубликованные комментарии?

    P.S. Запретил комментирование на сайте, удалил все комментарии и пользователей - яндекс тут же снял санкции.

    P.P.S. С гуглом подобных проблем никогда не возникало. Трафик только в гору.

Оставьте комментарий!

grin LOL cheese smile wink smirk rolleyes confused surprised big surprise tongue laugh tongue rolleye tongue wink raspberry blank stare long face ohh grrr gulp oh oh downer red face sick shut eye hmmm mad angry zipper kiss shock cool smile cool smirk cool grin cool hmm cool mad cool cheese vampire snake excaim question

Вход / регистрация или войти без комментирования
  Имя и сайт используются только при регистрации

Авторизация MaxSiteAuth. Войти через loginza

(обязательно)