На время проведения реконструкции сайт переведён в режим "ТОЛЬКО ЧТЕНИЕ" (Read only). Приносим свои извинения!
MaxHub
Полезности по Maxsite CMS

Почему происходит индексация черновиков?

Вопросы-ответы / 10 октября 2016

Проблема на сайте: Яндекс индексирует еще не опубликованные страницы (черновики). Они висят в вебмастере со статусом "ошибка 404".

Что можно сделать? Подскажите, как править robots.txt

evgeniy 2 2653
Комментариев: 2
  1. Наверно особого правила для robots.txt для этой ситуации придумать не получится - эти страницы выглядят как обычные, да и будут обычными после публикации (а адреса останутся прежними).

    Поэтому предлагаю всё таки бороться не с последствиями, а с причиной. Чтобы Яндекс узнал об этих страницах он должен где-то увидеть ссылки на них (сам по себе он ничего не придумывает - не научен). Вопрос - где Яндекс нашёл ссылки?

    У меня есть три версии:

    1. Ссылки просачиваются в файл sitemap.xml. Вы проверяли - в нём точно нет ссылок на неопубликованные записи?

    2. Если есть страница с адресом /sitemap, то возможно на ней какой-то сбой - надо проверить, нет ли на ней ссылок?

    3. Если на сайте есть виджет "будущих публикаций", то при неправильной настройке он мог вполне показать ссылки на пока не существующие страницы. Вроде это не ваш случай.

    Ну и остаётся вариант, что вы сами реализовали в шаблоне вывод ссылок на несуществующие страницы (например, в како-нибудь виджете или юните) и не заметили. Чтобы попытаться найти эту "дыру" нужно взять программу сканер сайтов (типа Xenu Links) и натравить её на ваш сайт, чтобы она составила список всех страниц и составила граф внутренних ссылок. Возможно это прояснит причину появления ненужных ссылок в отчёте Яндекс.Вебмастера.

  2. Спасибо за рекомендации. Маленькая поправка: страницы не черновики (draft), а в статусе отложенной публикации (publish). Буду разбираться.

    Еще один момент. Сайт регулярно спамят порно каментами + регистрируются пользователи и в своих профилях ставят спамные ссылки. Хотя комментарии висят не опубликованые (на модерации) и спамных пользователей регулярно удаляю, получил санкции в Яндексе за спамный контент (понижение в выдаче и ноль трафика). Значит, яндекс как-то видит эти неопубликованные комментарии?

    P.S. Запретил комментирование на сайте, удалил все комментарии и пользователей - яндекс тут же снял санкции.

    P.P.S. С гуглом подобных проблем никогда не возникало. Трафик только в гору.