Как индексировать сайт в google

Создайте отдельные карты сайта для изображений, видео, новостей , если на вашем сайте много таких материалов. Такое сегментирование поможет поисковым роботам найти контент, который сложно обнаружить с помощью обычных методов сканирования (например, он загружается через JavaScript). На большом сайте отдельные карты могут пригодиться даже для разделов и подкатегорий.

Создайте несколько карт сайта, если у вас больше 50 000 страниц или размер карты больше 50 МБ. Созданные карты нужно поместить в один индекс , в котором будут ссылки на все созданные XML-файлы.

Как создать карту сайта и добавить ее в панели веб-мастеров

Создать XML-карту помогут разные веб-инструменты и программы. Эта опция есть и в SE Ranking — в разделе «Аудит сайта».

В этом инструменте можно выбрать, какие типы страниц включить в карту, указать частоту изменения страниц и приоритет сканирования для страниц разного уровня.

Файл с картой нужно добавить на сам сайт (загрузить в корень сайта https://yoursite/sitemap.xml), а затем отправить в Google.

Чтобы отправить карту в Google Search Console, укажите ссылку на размещенную на вашем сайте карту. Сделать это можно в разделе «Файлы Sitemap».

Как только карта сайта будет просканирована роботами, вы получите отчет о том, какие страницы сайта попали в индекс поисковика и какие ошибки были при этом обнаружены.

3. Соберите качественные обратные ссылки

Чем больше качественных обратных ссылок у вашего веб-сайта, тем больше причин у поисковых роботов обратить на него внимание. Ведь если кто-то ссылается на ваши страницы, значит, они кому-то важны.

Для индексации лучше всего работают ссылки из соцсетей и новостных порталов. Дело в том, что они популярны, часто обновляют контент и, тем самым, «стимулируют» поисковых роботов как можно чаще сканировать ресурс. Если ваша ссылка появилась на таком сайте, ее, скорее всего, быстро обнаружит поисковый робот ― шансы есть даже у nofollow-ссылок.

Кстати, в этом году Google изменил правила для nofollow-ссылок. С 1 марта 2020 атрибут nofollow становится рекомендательным. Это значит, есть вероятность, что поисковик будет переходить по nofollow-ссылкам и индексировать их.

Как же получать качественные ссылки с других ресурсов? Начните с разработки стратегии по получению бэклинков. Несколько идей: разместите ссылку на ваш ресурс на тематических форумах, сервисах вопросов и ответов, сайтах-агрегаторах и т.д. Пробуйте все подходящие (и законные) способы .

Если идеи по получению ссылок уже закончились, можно подсмотреть их у ваших конкурентов — собрать площадки для потенциального размещения бэклинков из ссылочного профиля сайта-конкурента. С этим поможет разобраться инструмент « Анализ обратных ссылок » от SE Ranking.

Что нужно делать? Все просто — зарегистрируйте бесплатный пробный аккаунт , откройте «Анализ обратных ссылок» и введите в поисковое поле URL домена конкурента.

Увидите список сайтов, которые ссылаются на вашего конкурента. Сможете оценить контекст, в котором дана ссылка, якорный текст и параметры ресурса. Все нужные данные в одной таблице — так отобрать доноров ссылок гораздо быстрее.

Отдельно стоит сказать о соцсетях.
Поисковые роботы активно «мониторят» соцсети, потому что новые материалы там появляются каждую секунду. Чтобы использовать эту особенность для своего сайта, нужно укрепить его присутствие на социальных площадках.

Просто добавить ссылку на сайт в шапку профиля не достаточно. Чтобы поисковой робот заинтересовался страницей компании, она должны быть популярной — иметь подписчиков, лайки, комментарии и репосты.

Еще ссылки на сайт и страницы можно размещать в постах, комментариях, описаниях к мультимедийным файлам, заметках, личных профилях (например, как место работы или партнерство), группах и сообществах (как ваших, так и чужих по вашей теме). Главное позаботиться о том, чтобы ссылки были к месту.

На первом месте по скорости сканирования ссылок Twitter — он быстро индексируется Google. Также поисковик индексирует ссылки с активных страниц в Facebook.

Общее правило индексации разных соцсетей поисковиками — чем больше социальной активности вы привлечете на свои публикации, тем больше у вас шансов «пригласить» краулеров соцсетей. А они ходят в гости парами, приглашая с собой на ваши страницы роботов поисковых систем.

4. Увеличьте скорость загрузки сайта

Есть такой понятие — краулинговый бюджет. Оно означает максимальное количество страниц, которое поисковой робот может просканировать за один визит. И чем дольше грузятся ваши страницы, тем меньше поисковые роботы просканируют за один раз.

Именно поэтому скорость загрузки так важна для индексации страниц.

Вы можете оценить скорость загрузки любой страницы на вашем сайте с помощью инструмента PageSpeed Insights. Он покажет вам данные по скорости, что можно улучшить и сколько времени вы сэкономите при дальнейших загрузках, если исправите обнаруженные ошибки.

Если вы хотите узнать скорость всех страниц сайта, перейдите в Google Search Console → Улучшения → Отчет о скорости загрузки . Страницы будут разделены по группам — с низкой, средней и высокой скоростью для компьютера и мобильных.

Посмотрите на страницы «с низкой скоростью» — увидите, какие проблемы поисковик обнаружил при сканировании. Устранив описанные проблемы, можно нажать «Проверить исправление» и следить за ходом проверки.

Здесь вы сможете проверить среднее время загрузки всего сайта, время загрузки каждой отдельной страницы и турбо-страниц. Данные в отчете показаны для каждого этапа загрузки страницы (обработка запросов к DNS, обработка HTTP-редиректов, продолжительность установки соединения с браузером, ответ сервера, время загрузки и парсинга HTML и т.д.). Обнаружив самый долгий этап, вы можете начать с оптимизации его загрузки в первую очередь.

5. Выстройте хорошую перелинковку и навигацию по сайту

Внутренняя перелинковка сайта построит ссылочные мостики для поисковых ботов и «поведет» их в нужном направлении — от одной страницы вашего сайта к следующей и т.д. Воспользуйтесь тем, что краулеры с большей вероятностью быстрее просканируют «популярные» страницы (с большим ссылочным весом и трафиком). И если на этих популярных страницах есть ссылки на новые, поисковики перейдут по ним и быстрее их просканируют. Чтобы это работало, нужно настроить правильную перелинковку .

Главное, чтобы внутренние ссылки были релевантными и не сбивали пользователей с толку. Но даже самая удачная перелинковка может со временем перестать работать — поэтому очень важно периодически проверять, как с ней обстоят дела на вашем сайте. Рекомендую воспользоваться понятной рабочей инструкцией в нашем блоге, где по полочкам разложено, как проанализировать внутреннюю перелинковку вашего ресурса и найти все связанные с ней ошибки.

Другой важный момент — навигация на сайте. Она тоже влияет на скорость сканирования и индексации. Основные правила хорошей навигации: будьте логичными и последовательными, добавьте хлебные крошки , старайтесь сокращать путь к страницам до 3 кликов, откажитесь от меню на скриптах и flash, чтобы не усложнять процесс сканирования.

Помните, что ваш сайт должен быть простым и понятным как для поисковых роботов, так и для посетителей.

6. Регулярно публикуйте и обновляйте контент

Поисковикам нет смысла заходить на ваш сайт, если на нем ничего не меняется. Если же свежий контент появляется на вашем сайте регулярно, поисковые боты тоже зачастят на ваш веб-ресурс.

Вы можете создать график публикаций новых страниц на сайте (например, статей или обзоров в блоге) и придерживаться этого плана. Но не стоит публиковать новый контент ради «галочки» — он должен нести ценность для читателей вашего ресурса и не повторять то, что уже есть на сайте.

Много похожих страниц негативно отразятся на индексации всего сайта, особенно если речь идет о больших ресурсах. Также не в вашу пользу сработают публикации, в которых есть неуникальный контент, плохой рерайт, мало смысла и много воды.

Что можно предпринять, чтобы контент на вашем сайте помог с ускорением индексации:

• публикуйте новый контент как минимум раз в неделю;
• проставьте ссылки между новыми и старыми материалами;
• обновляйте устаревшую информацию на сайте;
• убедитесь, что публикуете качественный и уникальный контент .

7. Используйте сервисы пингования

Пингование — еще один способ оповещения поисковых систем о новом контенте. Когда вы отправляете пинг (сигнал), вы как будто «призываете» поисковых роботов прийти и проверить новый контент на вашем сайте.

Специальные пинг-сервисы, например Pingomatic , Pingler , Pingoat , встраиваются в движок вашего сайта и автоматически отправляют пинги поисковым системам, ускоряя процесс индексации.

В админке WordPress предусмотрена такая функция — в настройках нужно выбрать Написание → Сервисы обновления — и там указать список пинг-сервисов.

При использовании таких инструментов обязательно добавляйте только свежий контент и важные обновления, а также не переусердствуйте с отправлением пингов, чтобы поисковики не решили, что вы их спамите. Если планируете использовать автоматическое оповещение, вам пригодятся специальные WP-плагины для кастомной настройки пингования ― как часто отправлять пинги, после каких правок и т.д.

8. Добавьте сайт в RSS-агрегаторы

Сообщать поисковикам о новом контенте на вашем сайте можно через RSS-агрегаторы.

RSS — это формат для публикации новостей, который отлично подходит для отслеживания изменений на сайте без необходимости заходить на сам ресурс. Его используют для создания новостных лент (RSS feed), которые отображаются в самых разных RSS-агрегаторах, рейтингах и каталогах.

Чтобы создать новостную ленту для вашего сайта (пример для WordPress), просто добавьте в адрес вашего ресурса слово feed — получится что-то вроде https://yoursite/feed .

Следующий шаг — зарегистрировать вашу ленту в FeedBurner . Это сервис Google, который приводит все новостные ленты к стандартному формату и помогает ее настроить.

Теперь вы готовы добавлять сгенерированную в FeedBurner ленту в различные агрегаторы и каталоги.

Среди бесплатных RSS-агрегаторов, куда можно добавить свою новостную ленту:

Несколько рейтингов, куда можно добавить свою ленту:

• Топ-100 Рамблер
• Top.Mail.Ru
• Liveinternet

Обычно для добавления ленты в агрегатор достаточно указать название самой ленты, ее описание, URL сайта, ваш email и категорию (тематику новостей).

После добавления новостной ленты в RSS-агрегаторы все анонсы ваших материалов будут появляться там автоматически, привлекая поисковых роботов на ваш ресурс.

Действовать или ждать

Процесс сканирования и индексирования сайта требует вашего постоянного внимания и контроля. Если вы обнаружили проблемы с индексацией, не ждите, пока поисковики сами все решат.

Нужно действовать! Пробуйте методы ускорения индексации, о которых я писала выше ― каждый из них может дать «зеленый свет» для поисковых роботов. Осталось только выбрать наиболее подходящий вариант или комбинацию способов для вашего ресурса.

Уже пробовали какой-то из них или знаете другой рабочий прием? Пожалуйста, поделитесь с нами в комментариях. И пусть ни одна важная страница на вашем сайте не останется без индексации!

Как проиндексировать сайт в Google и повысить его позиции в поиске

Чтобы пользователи могли найти ваш сайт, поисковые системы должны его проиндексировать. После этого он будет доступен всем, кто введет в строку поиска соответствующий запрос. Рассказываем в статье более подробно о том, как добавить сайт в Google и избежать возможных ошибок.

Последнее обновление: 22 октября 2023 года

Время прочтения: 7 минут

О чем статья:

• Что такое индексирование?
• Кому необходима индексация сайта в Google?
• Как улучшить индексацию сайта в Google: пошаговая инструкция
• Как ускорить индексацию сайта в Google?
• Выводы

Для кого эта статья?

• Для маркетологов
• Для SEO-специалистов
• Для директоров по развитию компаний
• Для владельцев бизнеса

Что такое индексирование?

На конец 2022 года в интернете насчитывалось около 1,97 миллиардов веб-сайтов. Из них были активны примерно 400 миллионов. Каждый день создаются тысячи новых страниц. Чтобы пользователи могли находить в таком объеме данных именно то, что их интересует, поисковые системы структурируют информацию и размещают её в своих каталогах.

Индексация сайта – это сохранение и анализ всего имеющегося на странице контента, включая изображения тексты, ключевые фразы, ссылки, видео, в индексе поисковой системы, то есть в базе данных поисковика. Только после этого сайты могут попасть в поисковую выдачу. Без индексации их невозможно найти через поиск, хотя можно увидеть в рекламных объявлениях на поиске.

Кому необходима индексация сайта в Google?

Проиндексировать сайт в этой поисковой системе необходимо абсолютно любому бизнесу. Сайты созданы чтобы привлекать трафик, а без индексации этого не получится. К тому же с 2022 года рекламная платформа Google Ads в России не работает. Таким образом, поисковая выдача – единственный способ показать свои страницы пользователям Google и получить переходы. Но пока сайта нет в индексе, SEO-продвижение невозможно.

Алгоритмы индексации

Индексирование выполняют поисковые роботы, которые в автоматизированном режиме проверяют обновление контента.

Мнение эксперта

Алексей Губерман, руководитель отдела поисковой оптимизации «Ашманов и партнеры»:

«Посещаемость и частота обновления информации почти не влияет на скорость работы поисковых роботов. Значительное влияние оказывают качество работы сервера, оптимизация размера отдельных изображений и видео на страницах, наличие или отсутствие ошибок во внутренней перелинковке таких как «битые» ссылки, редиректы».

Например, на популярные новостные порталы, где контент обновляется постоянно и через короткие промежутки времени, роботы заходят до нескольких раз в день. На менее известных и реже обновляемых индексация сайта может проводиться 1-2 раза в неделю.

Мнение эксперта

Алексей Губерман, руководитель отдела поисковой оптимизации «Ашманов и партнеры»:

«Считается количество проиндексированных страниц в день, а не за один заход. Нигде нет информации как долго робот ходит по сайту и прерывает ли он свой поход на время. Количество проиндексированных страниц в день у всех сайтов разное и зависит от пунктов, перечисленных в предыдущем комментарии. Чем лучше сайт с точки зрения технической оптимизации, тем больше страниц в день робот проиндексирует».

На практике последние годы Google не так охотно индексирует все страницы подряд, как раньше. Он ежедневно сканирует миллиарды URL и может не успеть, не заметить новые адреса, на которые даже нет ссылок с других ресурсов. Если поисковый робот сочтет документ или весь сайт некачественным, он не добавит его в индекс и может больше не заходить на него. В этом случае продвижение сайта в Google не происходит.

Также при разветвленной структуре некоторые вложенные страницы могут остаться непроиндексированными, так как бот проверит верхние уровни и покинет сайт. Важное значение имеет перелинковка и распределение веса страниц. Если на документ не ведут внутренние ссылки, поисковый робот может счесть его незначимым и не посетить.

В итоге индексация новых или обновленных документов в этой поисковой системе, в отличие от Яндекса, требует более внимательного подхода.

Как улучшить индексацию сайта в Google: пошаговая инструкция

Чтобы мотивировать Googlebot зайти на сайт и заставить его делать это регулярно, нужно сделать следующее:

• Проинформировать поисковую систему о существовании сайта;
• Регулярно мониторить и устранять технические ошибки, из-за которых Google сочтет ресурс некачественным;
• Заполнить проект полезным, экспертным, авторитетным контентом, чтобы привлечь пользователей и показать поисковику высокое качество сайта;
• Провести линкбилдинг, получив внешние ссылки с трастовых ресурсов;
• Проверять индексацию при помощи инструментов оптимизатора.

Цены на поисковое продвижение

Тариф
«Лидер тематики»
Тариф
«Лидер отрасли»
Тариф
«Лидер рынка»
Тариф
«Абсолютный лидер»

Заказ услуги

Менеджер свяжется
c вами в ближайшее время

Как проинформировать поисковую систему о существовании сайта

Зайдите в Google Search Console. Если вы там впервые, кабинет сразу предложит вам подтвердить права на новый проект, как показано на скриншоте ниже. Либо нажмите вверху слева «Добавить ресурс» – появится такое же диалоговое окно.

Подтверждение прав на проект в Google Search Console

Подтвердить свои права вебмастера можно несколькими способами:

• Запись DNS (ТХТ или CNAME) доступна для любого типа ресурса.
• Для сайтов с протоколом безопасности HTTPS возможно также подтверждение через HTML-файл или мета тег HTML, а также через аккаунты Google Analytics или Google Диспетчер тегов (если они у вас есть).

В любом варианте – DNS или HTML-код – операция достаточно простая и доступна для вебмастера с минимальными навыками использования административной панели сайта.

Чтобы облегчить роботу индексацию, создайте на хостинге XML-карту сайта – файл Sitemap.xml. Его можно написать вручную либо использовать соответствующий плагин вашей CMS. У вас должна быть хорошая скорость загрузки сайта.

Обычно карту размещают в корневом каталоге,например: www.domain.ru/sitemap.xml. И указывают ссылку на файл в служебном файле robots.txt, который тоже расположен в корневом каталоге, с помощью директивы: Sitemap: www.domain.ru/sitemap.xml.

После чего через Google Search Console сообщите роботу, где его ожидает карта сайта. Для этого в разделе меню «Индексирование» выберите «Файл Sitemap», добавьте адрес и отправьте.

Как сообщить роботу, где находится Sitemap.xml

Если в файле будут найдены ошибки, сообщение об этом появится ниже, в разделе «Файлы Sitemap на проверке». Их нужно будет исправить и подать заново.

Вот, собственно, и все: подтвердив право на ресурс, вы получили возможность анализировать и корректировать процесс индексации сайта.

Какие технические ошибки необходимо мониторить

Неработоспособность тех или иных элементов сообщает роботу о том, что ресурс некачественный, не стоит тратить на него время. Поэтому необходим регулярный аудит сайта. Проверяйте:

• Неработающие ссылки, качество навигации по сайту, юзабилити. Должны работать «хлебные крошки», категории, теги, которые облегчают пользователю поиск информации.
• Наличие статических, а не динамических URL.
• Присутствие ответа сервера 404 – на такие документы не должно быть ссылок и переходов.
• Редиректы 301, которые мешают индексации.
• Дублированные страницы.
• Скорость загрузки страниц. Для индексирования в Google это крайне важный параметр, медленно загружающиеся адреса не попадают в индекс и снижают частоту заходов бота на ресурс.
• Наличие и хорошая работа мобильной версии сайта. Так как в Google существует приоритет мобильного поиска, именно по ней поисковик судит о качестве и функционировании сайта.
• Создайте файл robots.txt, из которого Googlebot узнает, какие страницы и разделы сайта не надо посещать.

Мнение эксперта

Алексей Губерман, руководитель отдела поисковой оптимизации «Ашманов и партнеры»:

«Без этого файла поисковому роботу по умолчанию разрешено индексировать всё, а приоритет индексации он строит по своим алгоритмам. Закройте от индексации адреса, которые являются служебными или неготовыми для показа пользователям. Убедитесь, что при этом вы не запретили роботу индексировать изображения, видео, стили, шрифты – иначе сайт в его представлении будет выглядеть некачественно».

В поиске ошибок поможет раздел «Обзор» Google Search Console – в нем можно увидеть, на каких страницах есть ошибки. Или платные инструменты для проверки сайта Screaming Frog, Rush Analytics. Скорость загрузки лучше всего оценивать при помощи бесплатного сервиса Google PageSpeed Insights.

Как создавать контент, который попадет в индекс

Для оценки качества наполнения ресурса Google использует алгоритм E-A-T (экспертиза – авторитетность – надежность), краткие характеристики которого отражены ниже.

Также для поисковой системы важен рейтинг низкого/высокого качества страниц Page Quality. Как он строится, схематично показано на картинке.

Здесь мы не будет детально разбирать эти критерии, так как подробно их рассмотрели в статье «Что такое алгоритм E-A-T и как делать контент, который полюбит Google?». Сейчас расскажем, что сделать на сайте, чтобы им соответствовать.

• Указывайте авторов статей с информацией, что они являются подтвержденными экспертами в данной нише. Идеально, если они представлены не только на сайте, но и на сторонних площадках, в соцсетях. Так Google поймет, что авторы – реальные люди, имеющие вес в тематике.
• Если в контенте приводятся цифры, факты, рекомендации со сторонних ресурсов – ставьте ссылки в подтверждение своих слов. Ссылайтесь на трастовые площадки, например, научные библиотеки, сайты производителей, официальные справки сервисом.
• Проверяйте уникальность, переспам, водность, стилистику текстов, например, при помощи сервиса «Тургенев». Не допускайте орфографических и грамматических ошибок, кликбейтных заголовков – все это понижает оценку Page Quality.
• Используйте видео, в том числе внедренное на сайт с Youtube – Google хорошо оценивает коллаборацию с его собственным видеохостингом.
• Добавляйте дополнительную информацию: дата публикации, время прочтения/просмотра, счетчик прочтений/просмотров, активное оглавление, для кого полезна статья.
• Каждая страница должна решать свою задачу – дать пользователю контент, который закроет его потребность. Доносите информацию доступным языком, делайте видеоинструкции, чтобы мотивировать пользователя остаться на сайте и дочитать или досмотреть полезный контент.

Управление индексированием в Google Search Console — обзор всех возможностей

Search Console — основной опорный инструмент для продвижения сайтов в Google (и не только). По функциональности консоль может уступать некоторым более продвинутым SEO-инструментам, но у нее есть три ключевых преимущества: она бесплатная, интуитивно понятная и самое важное – предоставляет данные прямо от Google. Через GSC, не опираясь на гипотезы, можно узнать, как алгоритмы оценивают ваш сайт, при этом все рекомендации по улучшению технической части вебмастер получает напрямую от первого лица, т. е. Google. И в этом плане Search Console вряд ли когда-нибудь превзойдет какой-либо коммерческий SEO-инструмент.

Используя функциональность одной лишь консоли, можно выполнить базовую поисковую оптимизацию сайта, что особенно удобно для проектов с небольшим бюджетом и тех, кто продвигает свои проекты самостоятельно. В одной из предыдущих статей мы говорили о возможностях GSC при работе с поисковыми запросами, подробно разобрав:

• как проанализировать запросы, по которым сайт получает трафик, и узнать их позиции;
• как точечно исследовать ключи, по которым ранжируются конкретные страницы, и отслеживать показатели их эффективности;
• как использовать данные из GSC на практике, для расширения присутствия в выдаче (поиск упущенной семантики, доработка потенциально сильных ключей и т. д.).

Работа с запросами, безусловно, важна для эффективного продвижения сайта в поиске, но семантика – далеко не все, на чем держится успех в SEO. Прежде чем страницы начнут ранжироваться по релевантным запросам, они должны быть правильно просканированы и проиндексированы поисковыми роботами. Это очень важный процесс, и здесь Google Search Console является самым надежным информатором и техническим помощником. В вебмастерке всегда можно узнать, какие из документов были проиндексированы, а какие нет, когда совершался последний обход сайта, на каких страницах есть проблемы и как их лучше всего устранить по мнению Google. Об этих и других функциях индексирования в GSC – рассказываем в представленном материале.

Отслеживаем индексацию страниц и исправляем ошибки

Индексирование – это процесс, во время которого поисковые боты Google (краулеры) последовательно посещают все страницы сайта и сканируют их содержимое. Если просканированные документы соответствуют требованиям Google о качестве сайтов, они попадают в индекс поисковой системы и начинают отображаться в результатах поиска. В некоторых случаях краулеры могут совершать обходы и добавлять страницы в индекс, даже если сайт закрыт от индексации (подробнее об этом – ниже).

Первое, что смотрят при проведении любого SEO-аудита, — получает ли Google доступ ко всем страницам, которые следует отображать в поиске. Вся нужная информация на этот счет доступна в разделе «Покрытие». Здесь можно посмотреть URL всех страниц, которые попали в поисковый индекс, а также другие документы, например, PDF-файлы, ранжирующиеся в поиске.

Есть много причин, по которым обход Google может быть заблокирован на определенных страницах. Иногда это происходит случайно, иногда проблемы возникают после проведения технических работ или передаются в наследство от предыдущих SEO-подрядчиков. Такие ошибки являются критичными: недоступные для индексирования страницы будут простаивать, не принося поискового трафика и делая ваши усилия по SEO бесполезными. Данные из раздела «Покрытие» позволяют своевременно обнаруживать и исправлять подобного рода недоработки.

Чтобы проверить, имеются ли на сайте проблемы с индексацией, откройте Google Search Console и перейдите на вкладку Индекс → Покрытие – здесь будет доступен статус всех страниц сайта.

В первую очередь обратите внимание на разделы «Ошибка» и «Без ошибок, есть предупреждения», чтобы выяснить, что не так с указанными страницами и как устранить имеющиеся проблемы.

Ошибки. Типичные проблемы и как их исправить

В отчет об ошибках в GSC попадают все страницы, которые НЕ удалось проиндексировать поисковым роботам Google. Как правило, это происходит, поскольку конкретные URL-адреса имеют ограничения доступа или же потому, что их больше не существует. Такие проблемы являются критичными, и их следует решать в первую очередь.

Под графиком в разделе «Сведения» система уведомляет, какая именно проблема с индексированием присутствует на сайте, например:

Вы можете кликнуть на каждую ошибку, чтобы перейти на вкладку с расширенным списком всех затронутых URL-адресов. Здесь можно посмотреть детали по каждому URL в отдельности и проверить конкретный адрес на предмет текущего статуса индексации и других проблем.

Теперь поговорим о наиболее распространенных ошибках индексации и том, как их лучше всего исправить.

URL-адреса недоступны для индексирования

Эта группа ошибок возникает, когда Google дают указание проиндексировать конкретный URL-адрес, но сама страница по каким-то причинам недоступна для обхода поисковыми роботами. Вот наиболее типичный пример такой ситуации:

Первое, что нужно проверить в этом случае: действительно ли вы хотите, чтобы страница отображалась в поиске. Если речь идет о URL, который не должен индексироваться – такие страницы есть на любом сайте и о них можно почитать здесь – тогда нужно отозвать свой запрос на обход, чтобы Google прекратил безуспешные попытки отправить страницу в индекс. Наиболее вероятная причина подобных ошибок заключается в том, что нежелательный URL-адрес по недосмотру был добавлен в карту сайта. В этом случае необходимо просто отредактировать файл Sitemap.xml, удалив из него проблемный URL-адрес (подробнее об этом – ниже).

Если же вы хотите, чтобы страница с красным уведомлением, отображалась в поиске, необходимо разобраться, почему ей отказано в индексировании и устранить ошибку. Как правило, это происходит по следующим причинам:

Неиндексируемая страница закрыта директивой noindex. Решение: удалить тег noindex из HTML-кода или из заголовка ответа HTTP X-Robots-Tag.

Страница запрещена к индексированию в robots.txt. Решение: проверить файл robots.txt специальным инструментом Google, после чего удалить или изменить все ненужные запрещающие директивы и исправить найденные ошибки.

При обращении к URL возникает ошибка 404. Подобное происходит, когда страница удалена или изменен ее изначальный URL-адрес. Решение: восстановить исходный URL или настроить 301-редирект на новую версию страницы.

URL возвращает ложную ошибку (soft 404). Такое происходит, когда страница физически существует (сервер помечает ее статусом OK), но Google решил, что URL имеет статус 404 (страница не найдена). Как правило, это происходит при отсутствии контента на странице (или его незначительности), а также из-за манипуляций с редиректами, когда внутренняя переадресация ведется на тематически НЕблизкую страницу. Решение: проверить страницу на предмет «тонкого» контента или нерелевантных редиректов.

URL возвращает ошибку 401 (неавторизованный запрос). Это значит, что робот Google не может получить доступ к нужной странице из-за запрашиваемой авторизации. Решение: отменить требование авторизации либо разрешить Googlebot доступ к странице.

URL возвращает ошибку 403. Googlebot выполняет вход на сервер, но ему не предоставлен доступ к контенту. Решение: если вы хотите, чтобы страница попала в индекс, откройте к ней доступ анонимным посетителям.

После того как найдены и исправлены причины, препятствующие индексации, страницу отправляют на переобход с помощью инструмента проверки URL-адресов (подробнее об этом — немного ниже).

Наличие ошибок переадресации

Иногда нужная страница не может быть проиндексирована по причине некорректно работающего редиректа. Выше мы уже описали, как это происходит в случае с перенаправлением на нерелевантную страницу (ошибка soft 404), но на практике существуют и другие ошибки переадресации. Страница может не попадать в индекс по причине слишком длинной связки перенаправлений, из-за циклических редиректов или битых URL в цепочке переадресаций.

Решение: проверьте URL на предмет некорректно работающих 301- или 302-редиректов и примите меры по их отладке.

Проблемы на стороне хостера

Ошибка 5xx возникает, когда поисковым роботам Google не удается получить доступ к серверу. Возможно, сервер вышел из строя, истекло время ожидания или он был недоступен, когда Googlebot проводил обход сайта (скорее всего, причина именно в этом).
Решение: проверьте URL с помощью инструмента «Проверка URL-адреса», отображается ли ошибка в настоящее время. Если сервер в порядке, отправьте страницу на переобход, в противном случае внимательно ознакомьтесь с тем, что предлагает Google для решения этой проблемы или свяжитесь со своим хостинг-провайдером.

Без ошибок, есть предупреждения

Если Google проиндексировал содержимое сайта, но до конца не уверен, что это было необходимо, то консоль пометит эти страницы как действительные с предупреждением, и они будут выглядеть вот так:

С точки зрения SEO страницы с такими предупреждениями могут принести даже больше проблем, чем ошибки, поскольку в поиск в этом случае часто попадают документы, которые владелец сайта не хотел делать общедоступными. Поэтому все URL, попавшие в желтую категорию, требуют особенно пристального внимания со стороны вебмастера.

Проиндексировано, несмотря на блокировку в файле robots.txt

Это, пожалуй, самая распространенная причина, по которой страницы сайта попадают в желтую категорию проблем индексирования. Многие, как правило, еще неопытные вебмастера и SEO-специалисты ошибочно полагают, что robots.txt — это правильный механизм для сокрытия страниц от попадания в индекс Google. Это не так. Добавление директив в служебный файл robots.txt полностью не запрещает индексирование указанных URL. Вебмастера используют этот способ в основном, чтобы избежать лишних запросов со стороны краулеров и не перегружать сайт.

Чтобы гарантированно исключить попадание нежелательных страниц в индекс, используют другие механизмы: добавление noindex в HTML-код страницы или настройку HTTP-заголовка X-Robots-Tag. Запреты в robots.txt поисковик же расценивает исключительно как рекомендации: он не будет сканировать страницу, отклоненную в роботс, во время обхода сайта, но эта же страница может быть проиндексирована, если на нее ведут другие ссылки. Отсюда следует один очень важный момент: из-за запрета в robots.txt, страницы могут попадать в индекс в неполной версии, поскольку поисковые роботы смогли просканировать лишь отдельные фрагменты «закрытого» документа.

Как решить такую проблему? В первую очередь следует внимательно изучить все «желтые» URL и определиться, нужно ли блокировать конкретную страницу или нет. Если вы уверены, что странице не место в индексе – ограничиваем к ней доступ поисковых ботов с помощью noindex или X-Robots-Tag. От страниц, не представляющих ценности ни для пользователей, ни для поисковых лучше избавиться вовсе. Как правильно удалять страницы из индекса Google и Яндекса без вреда для SEO – читайте в отдельной статье.

Страница проиндексирована без контента

Такое предупреждение означает, что страница проиндексирована, но по какой-то причине Google не смог распознать ее контент. Это определенно плохо для SEO и нередко служит предвестником ручных санкций. Проблема может возникнуть из-за преднамеренных манипуляций, когда вебмастера используют разные методы клоакинга (маскировки и подмены содержимого), или когда формат страницы не распознается Google. Отдельно отметим, что такие ошибки не связаны с блокировкой доступа в robots.txt, о чем говорилось выше на примере частичного индексирования страниц.

Чтобы устранить эту проблему, необходимо внимательно ознакомиться со всеми рекомендациями в разделе «Покрытие» и внедрить предложенные правки. В некоторых случаях может потребоваться дополнительная проверка кода страницы, поскольку отчеты Search Console далеко не всегда способны обнаруживать недочеты, связанные с указанной проблемой. Более глубокий технический SEO-аудит, проведенный с использованием специальных программ, поможет обнаружить битые изображения или видео, повторяющиеся заголовки и метаописания, проблемы с локализацией и другие недочеты, из-за которых страницы могут индексироваться без контента.

Исключено

Google Search Console также уведомляет о страницах, которые не попали в индекс, но присутствуют на сайте. Эта информация отображается в красном блоке «Исключено».

Большинство страниц попадает сюда, по указанию вебмастера и это не связано с техническими проблемами. Например, такое происходит когда:

• обход страниц запрещен через noindex или X-Robots-Tag;
• прописаны запрещающие директивы в файле robots.txt;
• страница является неканонической, т. е. дублем, правильно размеченным атрибутом rel=«canonical».

Но иногда попадание страниц в блок «Исключено» может свидетельствовать о наличии технических проблем или недоработок, например:

• страница не проиндексирована из-за неавторизованного запроса (ошибка 401), переноса в другое место или удаления (404), запрета доступа (403), ложной ошибки (soft 404);
• присутствие на странице некорректно настроенного редиректа;
• страница является дублем, без указания канонического URL.
• Google выбрал канонический вариант страницы не таким, как его указал вебмастер (соответственно, из индекса вылетели важные URL).

Таким образом, отслеживая все, что попадает в блок «Исключено», можно получать сигналы о недоработках в техническом SEO и своевременно устранять недочеты. Отдельно отметим, что сюда иногда залетают и полностью «здоровые» страницы, например, те, что были просканированы, но пока не попали в индекс. Отправлять на принудительную переиндексацию такие URL не нужно.

Ускоряем индексирование приоритетных страниц

Принудительный переобход позволяет страницам попадать в индекс значительно быстрее. В этом случае не нужно ждать, пока краулеры найдут и просканируют документ в плановом порядке. Таким образом, страница сможет быстрее появляться в результатах поиска и вся SEO-стратегия будет реализовываться без лишних простоев. В дополнение к этому, привычка отправлять только что опубликованные материалы на переобход, поможет уменьшить риски при воровстве или копипасте вашего контента. Подробнее на эту тему – читайте здесь.

Делайте запрос на переиндексацию каждый раз после публикации новой страницы или существенного обновления старого контента. Для этого нужно ввести исходный адрес в верхнее поле поиска Google Search Console и нажать Enter. Через несколько секунд система предоставит информацию о текущем статусе URL, после нужно нажать «Запросить индексирование».

Инструмент быстро просканирует страницу на предмет проблем, и при отсутствии таковых добавит URL в очередь на приоритетный обход. Запрос на ускоренную индексацию или переобход большого количества страниц делают через отправку файла Sitemap (об этом – в следующем пункте).

Об успешном попадании страницы в индекс сообщит такое уведомление. Оно будет доступно не сразу. На практике переобход документа может занять от нескольких минут до нескольких дней, но в любом случае это будет быстрее, чем если бы происходила органическая индексация. Не стоит пытаться подгонять поисковых ботов Google: множественные запросы на сканирование одного и того же URL никак не повлияют на скорость переобхода.

Оптимизируем индексацию с помощью Sitemap

Карта сайта — это специальный файл (sitemap.xml), который размещают в корневой папке, чтобы помочь поисковым роботам Google лучше ориентироваться в структуре ресурса. В хml-файле содержится перечень всех URL сайта с информацией об их последнем обновлении и указанием, какие из страниц нужно сканировать в первую очередь. Таким образом хml-карта упрощает краулерам поиск URL для индексирования, выступая в роли вспомогательной навигации по сайту.

Файл sitemap.xml можно создать одним из нескольких способов:

• Написать вручную, в соответствии с правилами синтаксиса (сегодня почти никто так уже не делает).
• Сгенерировать автоматически при помощи специальных программ или онлайн-сервисов.
• Воспользоваться встроенным функционалом некоторых CMS (например, такая опция предусмотрена в Битрикс).
• Сгенерировать и настроить XML-карту при помощи WP-плагинов (эта опция доступна в двух популярных SEO-плагинах: All in One SEO и Yoast).

Два последних способа являются самыми популярными, главным образом потому, что позволяют полностью автоматизировать процесс обновления sitemap; другими словами, вам не придется вносить изменения в карту сайта, каждый раз, когда будет добавляться новая страница.

Чтобы передать созданную карту сайта в Search Console и/или проверить ее на наличие ошибок, достаточно перейти в раздел «Файлы Sitemap», ввести путь доступа к xml-файлу и нажать «Отправить».

В плане технических требований файл Sitemap должен:

• соответствовать правилам синтаксиса (ошибки в файле можно проверить специальными валидаторами);
• иметь размер, не превышающий 50 МБ;
• содержать не более 50 000 URL-адресов, а если количество URL на сайте превышает указанный лимит, необходимо добавить несколько файлов sitemap.xml.

Без Sitemap содержимое сайта все равно будет попадать в индекс. В этом случае Google станет самостоятельно сканировать URL и проверять их на наличие обновлений, но он будет делать это так часто и в такой приоритетности URL, как посчитает нужным. Очевидно, что это не лучшим образом отразится на скорости индексирования важных страниц. В то же время возлагать на sitemap большие ожидания тоже не стоит. Карта сайта – это в первую очередь рекомендация, которую поисковик может брать во внимание, а может и не учитывать.

Так ли важна карта сайта?

С учетом всего вышесказанного может возникнуть вопрос: нужна ли вообще карта сайта? Ответ однозначный: да нужна. Хотя Google утверждает, что относительно небольшим сайтам (до 500 страниц) можно пренебречь Sitemap, этого лучше не делать. В первую очередь потому что любой молодой проект по умолчанию имеет слабый ссылочный профиль, а этот фактор важен в том числе и для краулеров. Поэтому, если на сайт ведет мало ссылок, его сложнее найти – отсюда проблемы с органической индексацией.

Во время сканирования роботы Google переходят во все важные разделы ресурса, следуя по ссылкам с главной страницы, поэтому логичная и оптимизированная структура сайта – залог успешной органической индексации. Но идеальной структурой способны похвастаться далеко не все сайты. Разделы могут иметь нелогичную иерархию или же вовсе оказаться не связанными друг с другом. Если не перечислить такие URL в файле Sitemap, успешность их самостоятельного сканирования — под большим вопросом.

Отдельно отметим, что на многих сайтах есть проблемы с перелинковкой. Внутренняя система ссылок может быть не проработанной по естественным причинам, когда просто не хватает страниц для линкования, или же являться не оптимизированной из-за банального непонимания ее важности. Это также вносит свою лепту в плохое качество органической индексации, и является еще одним аргументом в пользу Sitemap.

Для каких сайтов Sitemap является обязательным

Для некоторых проектов значимость карты сайтов не вызывает сомнений, в первую очередь это:

• Ресурсы, у которых много страниц (500+ URL).
• Сайты с большим архивом документов, иерархически не связанных друг с другом.
• Крупные сайты с логичной, но сложноорганизованной структурой.
• Площадки с большой долей мультимедийного контента (видео/изображения).
• Часто обновляемые ресурсы (магазины, новостники и т. д.).

Для указанной категории сайтов Sitemap является не только инструментом оптимизации индексирования, но и дополнительным источником информации о потенциальных проблемах. Чтобы обнаруживать возможные недочеты, связанные с индексированием, сканированием или дублированием контента, сравнивайте количество страниц, отправленных через файл Sitemap, с фактическим числом URL, проиндексированных в поиске Google.

Отслеживаем индексирование AMP-страниц

Если на сайте внедрена технология быстрых AMP-страниц, в Search Console будет доступен специальный отчет для мониторинга их эффективности. В этом разделе можно посмотреть, какие AMP-страницы попали в индекс, а также узнать текущие ошибки, из-за которых ускоренные версии отображаются в поиске Google как обычные.

Структура отчета здесь в целом такая же, как и для стандартных страниц на вкладке «Покрытие». Вверху на графике показано общее количество URL с ошибками, предупреждениями и без ошибок.

Уведомления об ошибках являются наиболее важными, и на них нужно обращать внимание в первую очередь. Все «красные» оповещения сгруппированы по типу проблем. Кликнув по той или иной строке внизу отчета, будут доступны расширенные сведения о конкретной ошибке, а также рекомендуемые способы ее устранения. В этом отчете консоль уведомляет не только о стандартных ошибках индексации, но и специфических проблемах, присущих исключительно AMP-страницам (с их полным перечнем можно ознакомиться здесь).

Ошибки на AMP-страницах часто носят массовый характер. Поэтому в первую очередь имеет смысл устранять проблемы, которые встречаются на множестве страниц, а затем фиксить единичные неполадки. В целом GSC выстраивает уведомления об ошибках в порядке приоритетности, и именно в такой последовательности их лучше исправлять. Внеся технические правки, рекомендуемые системой, нужно сообщить о принятых мерах и отправить AMP-страницу на переобход.

Предупреждения – это не ошибки. Они носят характер рекомендации и не препятствуют индексированию ускоренной версии URL. Однако следует знать, что АMP-страницам из желтого блока могут быть недоступны определенные опции на выдаче, например, они не попадают в некоторые колдунщики, а отображаются простым сниппетом.

Для своевременного обнаружения проблем с индексацией, следите за тем, чтобы фактическое число созданных AMP-страниц на сайте сильно не отличалось от суммарного количества URL из всех трех блоков в отчете.

Как проиндексировать сайт в гугл — 9 проверенных способов

В этой статье мы расскажем как проиндексировать сайт в гугл за минимально возможное время.

Что такое индексирование Google и как оно работает?

Индексирование – добавление сайта и его страниц в базу данных Google. Благодаря чему ваш сайт отображается в результатах поиска.

Поисковик обнаруживает новый контент на сайте, переходя по различным гиперссылкам. Найдя новые веб-страницы, Google добавляет их в свою базу данных.

Как проверить, проиндексировал ли Google ваш сайт?

Есть два простых способа узнать, проиндексировал ли сайт в Google:

• Выполнить поиск в Google.
• Используя операторы поиска Google. Например, site:www.example.com . Также можно ввести URL-адрес веб-страницы: site:www.example.com/your-web-page .

Кроме этого можно использовать Google Search Console, чтобы проверить статус индексирования конкретных веб-страниц (инструмент « проверка URL») .

Далее мы рассмотрим несколько простых способов быстрой индексации сайта в Google:

Создайте и отправьте в поисковые системы файл Sitemap

Карта сайта – это список важных страниц сайта, представленный в формате XML.

С помощью Sitemap.xml вы помогаете поисковым роботам перемещаться по сайту, находить новый контент и индексировать веб-страницы. Это повышает видимость сайта в поиске и новых веб-страниц, которые еще не имеют обратных ссылок.

Удалите теги Nofollow для внутренних ссылок

Веб-страницы сайта не будут индексироваться, если на нем есть внутренние ссылки с тегом rel=«nofollow» . Этот атрибут запрещает поисковым роботам сканировать ссылку.

В результате этого веб-страница не будет отображаться в результатах поиска. Чтобы преодолеть эту проблему, необходимо проверить внутренние ссылки и удалить теги nofollow.

Удалите ненужные теги Noindex

Теги Noindex сообщают Google об исключении веб-страницы из процесса индексации. В результате поисковая система не сохранит веб-страницу в своей базе данных и не отобразит ее в результатах поиска. Тег noindex расположен в разделе веб-страницы.

Для запрета индексации боту Google атрибут name будет включать googlebot.

Удалите этот тег, чтобы Google мог проиндексировать веб-страницу.

Еще один способ поиска тегов noindex – использование инструмента проверки URL-адреса в Search Console.

Если на веб-странице присутствует тег noindex, в http-заголовке «X-Robots-Tag» появится сообщение «обнаружено «Noindex».

Проверьте Robots.txt на наличие блокировки поискового сканирования

Файл Robots.txt сообщает поисковым роботам, какие веб-страницы они обходить не должны. Вы можете найти файл robots.txt, введя robots.txt в конце URL-адреса сайта (example.com/robots.txt) . Теперь найдите следующий фрагмент кода и удалите его.

Этот код не позволяет поисковой системе сканировать сайт. Кроме этого URL-адрес веб-страницы не должен быть заблокирован, особенно для user-agent: googlebot.

Блокируйте или перенаправляйте веб-страницы низкого качества

Если на сайте тысячи записей, но большинство из них не несет для пользователей никакой пользы, Google сократит количество поисковых сканирований и индексаций площадки.

Если поисковый бот постоянно находит веб-страницы низкого качества, это замедлит обнаружение нового контента, появляющегося на сайте.

Чтобы избежать возникновения подобной проблемы, можно настроить редирект 301 для низкокачественных веб-страниц и перенаправить их на другие более качественные публикации.

Убедитесь, что нет дублирования веб-страниц

Наличие дублированного контента может быть еще одной причиной медленной индексации сайта. Если веб-страница дублируется, Google вряд ли ее проиндексирует.

Поделитесь своим контентом в социальных сетях

Чтобы ускорить индексацию сайта, делиться новыми публикациями в социальных сетях. Это повышает шансы на индексацию вашего сайта.

Например, Twitter, отлично подходит для популяризации контента. Google регулярно сканирует Twitter и даже демонстрирует соответствующий сниппет в результатах поиска.

Получите качественные обратные ссылки

Веб-страницы с высококачественными обратными ссылками будут иметь большее значение для Google, чем те, которые их не имеют. Когда сайт получает обратные ссылки с авторитетных площадок, Google сочтет его заслуживающим доверия и начнет быстрее индексировать контент ресурса.

Создание мощных внутренних ссылок

Если на сайте есть веб-страница, на которой нет внутренних ссылок, Google не сможет найти через нее другой контент. В результате этого для индексации остальных страниц сайта может потребоваться много времени.

На площадке должны быть веб-страницы, которые получают наибольшее количество трафика. Эти веб-страницы могут занимать хорошие позиции в поисковой выдаче Google и должны приносить пользу пользователям. Размещая в них гиперссылки на другие страницы сайта, вы создадите мощные внутренние ссылки.

Если у вас возникли проблемы с индексацией сайта в Google, воспользуйтесь советами, перечисленными в этой статье.

Вадим Дворников автор-переводчик статьи « 9 Proven Ways to Get Google to Index Your Website Right Away »