Убрать тэг noindex
Друзья я сделал блог на WP, потом сменил шаблон и вдруг многие страницы выпали из индекса яндекса. Оказалось, что рубрики и архивы блога в шаблоне помечены noindex. Кто может подсказать, как устранить эту проблему, зайдите к примеру на страницу http://blogmoneys.ru/?cat=22 и нажмите просмотреть код, увидите тэг noindex. Как его убрать. В каком файле, просмотрел в админке в редакторе, не нашел.
Просмотров: 14394
28.10.2010 21:36
В папке с шаблоном темы нужно править файл header.php
Плюс в footer.php можно убрать строчку …. Она все равно там не нужна. Других тегов noindex на указанной вами странице не просматривается. А в целом блог индексируется Яндексом – 56 страниц находится в индексе.
28.10.2010 21:58
Так как файл роботс у вас отсутствует ( http://blogmoneys.ru/robots.txt ) хочется задать вопрос – установлен ли у вас плагин All-in-One SEO pack? Если да, то он по умолчанию закрывает от индексации дубли страниц, коими являются ваши категории/рубрики.
29.10.2010 20:37
нет данный плагин не установлен
30.10.2010 09:28
нет данный плагин не установлен
Рубрики и архивы блога действительно считаются дублями существующих страниц, поэтому поисковые системы частенько выкидывают их из индексации по собственной инициативе.
01.11.2010 19:32
Не знаю у меня осталось на блоге 49 страниц, такого не может быть, я вроде бы убрал тэг ноуиндекс, через сколько можно ждать переиндексацию блога?
01.11.2010 22:11
Не знаю у меня осталось на блоге 49 страниц, такого не может быть, я вроде бы убрал тэг ноуиндекс, через сколько можно ждать переиндексацию блога?
49 страниц – это более-менее нормальное количество проиндексированных страниц для вашего блога, ведь у вас блог не очень большой. Как я понимаю, у вас получается где-то пять постов в месяц, а это примерно пять оригинальных страниц в месяц, ибо дублирующие страницы поисковая система Яндекс тоже не индексирует … У меня более трех десятков блогов и сайтов, на некоторых тысячи страниц, но тем не менее поисковые системы индексируют только часть из них … Отмечу,что хорошо индексируются хорошо комментируемые посты … чем больше комментариев на пост, тем выше выдача … Периодичность переиндексации – индивидуальна для каждого блога и задается самой поисковой системой … Чем чаще у вас появляются новые посты, тем чаще появляются на вашем сайте поисковые боты … Например, вы стабильно публикуете пять постов в месяц – это значит, что вы можете рассчитывать на то, что пять раз в месяц поисковый бот зайдет к вам на сайт … Для лучшего контроля за индексацией блога и её ускорения рекомендую вам зарегистрироваться в сервисе Яндекса для вебмастеров – http://webmaster.yandex.ru/, после чего добавить в поисковую систему файлы с картой сайта … это ускорит индексацию сайта … Плюс эта регистрация позволит вам отслеживать все проблемы с индексацией вашего сайта, так как в панели вебмастера поисковая система сообщает, как проходит индексация и какие есть на вашем сайте проблемы … Подобный сервис есть и у поисковой системы Google … Он находится по адресу – https://www.google.com/webmasters/tools/home?hl=ru
13.03.2013 08:23
Если с Seo всё впорядке, то может быть, в админке: Параметры->Чтение «Видимость для поисковых систем» – убрать галочку «Попросить поисковые системы не индексировать сайт»
Как убрать индексацию пагинации WordPress
Разбираемся как запрещать индексацию пагинации Noindex WordPress постов, которые разделены на несколько частей.
Разбивать публикации на подстраницы удобно, если много материала. Таким образом читателю будет проще читать.
Для чего закрывать пагинацию
Основная причина — возможные проблемы с продвижением. Дело в том, что адреса всех подстраниц ведут на главную. Т.е. их названия будут одинаковыми. Такое дублирование не любят поисковые системы. В итоге могут понизить ресурс в поиске.
Отличный способ решения проблемы — добавить на все дочерние страницы атрибуты noindex и nofollow или canonical.
Делаем невидимой пагинацию для поисковых роботов
Разберем 4 способа. Выберите тот, который вам подходит.
Плагин All in One SEO Pack
Этот SEO-инструмент гибко управляет видимостью разделов сайта или отдельных его страниц.
- Установите и активируйте WP-расширение.
- Откройте All in One SEO > Общие настройки.
- Активируйте опцию Использовать noindex для страниц/записей с разбивкой на подстраницы.
- Кликните Обновить настройки.
Плагин Clearfy Pro
Этот мощный ВордПресс-модуль также отлично решит задачу. Для этого:
- откройте Clearfy Pro,
- кликните по вкладке Дубли,
- активируйте Удалить дубли пагинации постов,
- нажмите Сохранить изменения.
Файл robots.txt
Это файл, который используется для поисковых роботов. Он указывает, что на сайте можно индексировать, а что нет. Находится в корневом каталоге сайта.
Откройте его и просто вставьте одну строчку
Disallow: */page/Файл functions.php
Еще один способ закрыть от поисковых роботов страницы пагинации — использовать главный конфигурационный файл WordPress-темы. Он находится в папке с темой.
В самый конец файла вставьте код
add_action( 'wp_head', function () < if ( is_paged() ) < ?> >);Как запретить индексирование страниц вложений?
В закладки
http://www.yoursite.ru/name-of-picture/ http://www.yoursite.ru/category/test.html/attachment/name-of-picture/
Для многих пользователей WordPress откровенным сюрпризом оказывается тот факт, что движок генерирует страницу вложения для каждого медиафайла, загруженного на сайт. Плохо это тем, что такие страницы вложений не закрыты от индексирования и поэтому в индексе поисковиков могут оказаться тысячи лишних страниц. Подобные страницы без контента и с одной лишь картинкой могут восприниматься поисковиками как дубли. А наличие кучи дублей может плохо повлиять на ранжирование сайта (Яндекс вообще может наложить АГС-фильтр за подобное). Поэтому лучше закрыть от индексирования страницы вложений, для этого вам необходимо добавить в файл functions.php вашей темы следующий код:
//запрет индексирования страниц вложений start function wph_noindex_for_attachment() { if(get_post_mime_type()!= false) { echo ''.PHP_EOL; } } add_action('wp_head', 'wph_noindex_for_attachment'); //запрет индексирования страниц вложений end
//запрет индексирования страниц вложений start function wph_noindex_for_attachment() < if(get_post_mime_type()!= false) < echo ''.PHP_EOL; > > add_action(‘wp_head’, ‘wph_noindex_for_attachment’); //запрет индексирования страниц вложений end
Если вы активно пользуетесь медиафайлами на вашем сайте, то данный код для вас обязателен. Лучше перестраховаться, чем потом кусать локти.
6 способов закрыть страницу от индексации в Google или Yandex
У вас могут быть разные причины, чтобы скрыть или удалить страницу из индекса. Важно сделать это грамотно, чтобы не навредить SEO-продвижению вашего сайта.
Существуют разные методы удаления, ручные и автоматические, но ни один из них не универсален. Давайте разберемся как можно убрать URL-адрес из поиска Google и Yandex в зависимости от обстоятельств.
- Какие страницы нужно удалять из индекса?
- Способы удалить страницу из поиска
- Вручную удалить страницу из панели для вебмастеров
- Удалить страницу с сайта и получить ответ сервера 404 (410)
- Закрыть страницу от индексации в файле robots.txt
- Использовать мета-тег robots
- Использовать заголовки X-Robots-Tag
- Удалить через тег rel=“canonical”
Какие страницы нужно удалять из индекса?
Существует ряд страниц, которые своим индексированием не приносят пользу:
- страницы входа в личный кабинет (логин или регистрация);
- страницы сортировок (по рейтингу, цене, популярные, новинки, акционные товары);
- системные файлы;
- страницы с неактуальным товаром или категорией;
- конфиденциальные данные;
- страницы с неуникальным или дублированным контентом;
- мусорные страницы и версия страниц для печати.
Удалять их из индекса стоит, чтобы улучшить позиции сайта в выдаче, защитить данные пользователей и сконцентрировать внимание поисковой системы на более полезных страницах.
Способы удалить страницу из поиска
Вручную удалить страницу из панели для вебмастеров
Это самый быстрый способ удаления страниц из индекса Yandex и Google. Здесь можно удалить страницы на 90 дней, после чего они снова вернутся в SEPR. Чтобы удалить страницы навсегда, они должны быть закрыты от робота методами, о которых мы далее расскажем в этой статье. Как и любой ручной труд, этот способ годится, если вам нужно срочно удалить небольшое количество страниц из поиска.
Удалить страницу с сайта и получить ответ сервера 404 (410)
Самый простой способ убрать страницу из поиска — это удалить физическую страницу с сайта. Этот процесс отличается в зависимости от CMS. Например, в WordPress для этого достаточно выбрать пункт «Удалить в корзину» в редакторе.
После удаления страница получает 404 ответ сервера, а поисковый робот уберет страницу из индекса после повторного сканирования.
Код ответа 404 – означает для поисковых роботов временное удаление страницы, поэтому какое-то время она еще будет появляться в выдаче и будет доступной в кэше. Чтобы ускорить процесс удаления, можно присвоить странице ответ сервера 410.
Перед тем как вы удалите страницу, уберите со всего сайта ссылки, которые ведут на нее, чтобы из них не получились битые ссылки.
Учтите, что удаляя страницу вы удаляете ее вес и другие важные для SEO факторы. Чтобы этого избежать, лучше по возможности использовать 301 редирект на похожую страницу, страницу из родительской категории или на главную страницу сайта. Это также решит проблему битых ссылок.
Закрыть страницу от индексации в файле robots.txt
В файле robots.txt можно прописать директивы — команды для поисковых роботов. Прописывать их нужно с новой строки, затем ставится двоеточие и дается полный адрес файла в каталоге.
Директива disallow закрывает страницы или разделы от просмотра роботами. Для Яндекса это 100% метод удалить страницу из индекса, а для Гугла только рекомендация, которая не работает. Проверить это можно с помощью отчета в Search Console «Проиндексировано, несмотря на блокировку в файле robots.txt».
Чтобы закрыть страницу от индексации во всех поисковых системах, в файле robots.txt вам следует прописать:
User-Agent: *
Disallow: путь страницыЕсли вы хотите закрыть страницу, например дубли, в Яндексе, пропишите:
User-Agent: Yandex
Clean-param: sort_field&orderПосле вы можете убедиться в правильности заполнения robots.txt в сервисах Google и Yandex.
Использовать мета-тег robots
Атрибут — дополнительная характеристика тега или метатега.
С помощью атрибута “robots” в коде страницы, вы закроете страницу от индексации для поисковых роботов всех поисковых систем.
Также это можно сделать для робота определенной поисковой системы.
Атрибут “nofollow” запретит индексировать все ссылки на странице.
Вы можете установить значение “follow”. В долгосрочной перспективе “noindex, follow”, по словам аналитика Google Джона Мюллера, равен для поисковых роботов директиве “noindex, nofollow”. Разница лишь в том, что роботы не будут индексировать страницу, но будут индексировать исходящие в ней ссылки.
Использовать заголовки X-Robots-Tag
Метод во многом аналогичный предыдущему. Но в этом случае используются HTTP заголовки, которые отображаются в файле конфигурации на сервере, а не мета-теги. Официальная справка Google рекомендует использовать этот метод, чтобы запретить индексирование файлов формата, отличного от HTML, например документов PDF, видео или изображений.
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: otherbot: noindex, nofollowУдалить через тег rel=“canonical”
Оптимизаторы любят удалять страницы из индекса тегом canonical. Используйте тег canonical правильно, в соответствии с рекомендациями поисковиков: тег canonical носит рекомендательный характер и должен указывать на дубли страниц.
Заключение
Закрывайте доступ к страницам, которые не приоритеты для продвижения или могут нарушить конфиденциальность пользователей. Это поможет вам и поисковым системам сосредоточиться на продвижении приоритетных страниц. Со временем это повлияет и на позицию сайта в выдаче, количество трафика и другие поведенческие факторы.
Страница в скором времени выйдет из индекса, если вы:
- удалили страницы вручную через Яндекс Вебмастер и Google Search Console
- настроили 301 редирект со страницы 404
- закрыли страницы через директиву Disallow в Robots.txt;
- закрыли доступ с помощью тега Robots, Noindex, Canonical
- закрыли доступ через заголовок X-Robots-Tag.
Проверить результат метода вы можете с помощью оператора site:название сайта или в веб-мастерке.
- Техника Лавинного SEO. ЧАСТЬ 2 — Ответы на вопросы
- Как заблокировать нежелательных роботов в Apache и Nginx
- Продвижение сайта погодного приложения RainViewer. Рост трафика на 98% за год
- SEO для сайта витаминов в UK на Shopify. Как увеличить органический трафик на 182% для монобренда
- Citations – основа Local SEO под бурж. Как использовать сервисы Brightlocal и Whitespark для покупки локальных ссылок
