Как ускорить индексацию сайта в google

Как ускорить индексацию сайта в поисковых системах: 10 способов

Попасть в индексы поисковых систем — жизненно важная задача для любого сайта, который хочет привлечь посетителей и завоевать их доверие. Чем раньше поисковики проиндексируют новые страницы или внесенные изменения на старых, тем быстрее они окажутся в выдаче и их увидят пользователи. Следовательно, в интересах вебмастеров — увеличить скорость индексирования. Точные алгоритмы этого процесса известны только самим поисковикам, поэтому напрямую повлиять на них не получится. Но за годы развития SEO были выявлены действия, которые косвенно способствуют ускоренному попаданию ресурса в поиск. В статье мы расскажем, как ускорить индексацию сайта в разных системах самыми эффективными способами.

10 методов, как ускорить индексацию сайта в Яндекс и Google

1. Создание карты сайта sitemap.xml.
2. Переобход страниц в Яндекс.Вебмастере.
3. Запрос индексирования в Google Search Console.
4. Постоянное обновление контента.
5. Создание HTML-карты сайта.
6. Использование пинг-сервисов.
7. Внешние ссылки на новые страницы.
8. Анонсы в соцсетях.
9. Внутренняя перелинковка.
10. Простая навигация и структура.

Яндекс и Google — наиболее популярные в рунете поисковые системы, поэтому в вопросах оптимизации сайта стоит ориентироваться именно на них. Они имеют разные алгоритмы и свои нюансы, но в целом, вышеперечисленные рекомендации будут полезны для ускорения индексации и в Гугле, и в Яндексе.

Ниже мы разберем каждый метод и объясним, как ускорить индексацию сайта в Google и Yandex с его помощью.

Изображение от pch.vector на Freepik.

№1. Создание карты сайта sitemap.xml

Речь идет о файле в формате XML, который содержит в себе ссылки на все подлежащие индексации страницы веб-ресурса в порядке их вложенности. XML-карта — это путеводитель по сайту для поисковых роботов. Она позволяет им понять внутреннюю иерархию проекта: какая веб-страница главная, в какие разделы она ведет, что куда входит и т. п. В карте также прописываются дополнительные сведения об отдельных URL: например, дата их последнего обновления (через тег ) и приоритет, определяющий очередность внесения их в индекс (через тег ). И хотя google-бот перестал обращать внимание на эти указания, наличие Sitemap лишним не будет. Благодаря ей краулеры быстрее разбираются в структуре веб-сайта, а значит, и индексирование становится ускоренным.

Создать такую карту можно вручную (если страниц немного) или с помощью CMS-плагинов и специальных онлайн-сервисов. Загружать файл необходимо в корневую папку сайта. Не забудьте прописать к ней путь в robots.txt.

№2. Переобход страниц в Яндекс.Вебмастере

Регистрация в панели Яндекс.Вебмастера необходима для доступа ко множеству полезных инструментов, с помощью которых можно следить, как Яндекс-бот индексирует ваш сайт. Там дана постраничная статистика посещений и показов в поиске, имеются отчеты по запросам, мобилопригодности каждого документа и мн. др. В том числе — возможность заказать переобход веб-страниц в специальной вкладке. Это встроенный сервис, который способствует ускоренному сканированию за счет ручного оповещения системы о внесенных изменениях.

Итак, как ускорить индексацию в Яндексе через Вебмастер:

1. Добавьте сайт в панель и подтвердите право владения.
2. Откройте личный кабинет, зайдите в пункт «Индексирование — Переобход страниц».
3. Введите в поле URL-адреса веб-страниц, которые требуется проиндексировать, и нажмите кнопку «Отправить».

Готово. Под окном будет указан лимит адресов для одного домена (и всех его поддоменов) в сутки. Ниже в таблице можно посмотреть список уже отправленных страниц и статус их проверки роботом Яндекса.

№3. Запрос индексирования в Google Search Console

Поисковая консоль Google — аналогичный Яндекс.Вебмастеру инструмент для отслеживания индексации в Гугл поиске. GSC также формирует отчеты по посещаемости, дает рекомендации по улучшению контента для мобильных устройств и позволяет ускорить попадание сайта в базу данных поисковика. Здесь процесс строится похожим образом:

1. Регистрируете ресурс в панели, подтверждаете право собственности.
2. Выбираете пункт «Проверить URL» или сразу нажимаете на адресную строку в верхней части интерфейса. Вводите адрес страницы, нуждающейся в ускоренной индексации.
3. В открывшемся окне жмете кнопку «Запросить индексирование».

Консоль покажет сообщение, что URL добавлен в приоритетную очередь сканирования. Имейте в виду, что несколько раз повторять эту процедуру не стоит: ускорить бота еще больше не получится.

№4. Постоянное обновление контента

Один из немногих способов ускорить индексацию сразу в обеих системах — регулярные публикации новых материалов. Яндекс обновляет базу и результаты выдачи несколько раз в неделю, Google и вовсе делает это ежедневно. Чаще выкладывая посты, вы приучаете роботов к постоянным изменениям на вашем сайте. Таким образом, они запоминают график обновлений и начинают посещать ресурс, как по расписанию, чтобы быстро проиндексировать добавленный контент.

Публикуйте свежие статьи хотя бы еженедельно, актуализируйте информацию на старых страницах, внедряйте в них ссылки на новый контент. Это обеспечит ускоренное индексирование — разумеется, если тексты будут уникальными, качественными и релевантными тематике веб-ресурса.

№5. Создание HTML-карты сайта

Помимо sitemap.xml, есть также HTML-каталог со списком всех важных разделов и страниц сайта, упорядоченных по уровню вложенности. Если карта XML-формата предназначена для роботов и хранится на сервере, то эта нужна в большей степени для людей, поэтому должна быть видна всем посетителям. Как правило, HTML-карта — это отдельная страница, ссылка на которую расположена в футере веб-ресурса, т. е. доступ к ней должен осуществляться в один клик из любой части проекта. На ней перечислены и даны гиперссылки на главные рубрики и подразделы. Такая карта наглядно демонстрирует структуру веб-сайта. Ускоренную индексацию в Гугле это не обеспечит, но наличие страницы-путеводителя полезно для внутренней перелинковки, а та вполне способна ускорить краулеров Яндекса.

№6. Использование пинг-сервисов

Пингование — это автоматическое уведомление поисковых систем о выходе обновлений на сайте. Существуют специальные сервисы, к которым можно подключить свой ресурс, чтобы они сообщали Яндексу и Google о новом контенте. Это позволит ускорить индексацию. Как мы уже сказали, роботы «любят» актуальную информацию, и чем раньше они узнают о внесенных изменениях, тем быстрее их просканируют и добавят в индекс.

Пинг-сервисы также называют Update Services или агрегаторами слежения. В интернете довольно много площадок с таким функционалом. Для веб-сайтов на WordPress они работают по умолчанию, но чтобы индексирование было ускоренным, рекомендуется периодически обновлять список этих служб в настройках.

№7. Внешние ссылки на новые страницы

Оставляя бэклинки (обратные ссылки) на сторонних интернет-ресурсах, вы повышаете ссылочную массу своего сайта и одновременно ускоряете его индексацию в поисковиках. Чем авторитетнее и популярнее площадка, тем чаще ее посещают Яндекс- и Гугл-боты, а значит — выше вероятность, что они просканируют размещенную там ссылку. Публикуйте бэклинки на тематических форумах, в комментариях под новостными статьями, в блогах, сервисах «Вопрос — ответ» — главное, чтобы они выглядели естественно и содержали анкоры, релевантные как для публикации, так и для контента, расположенного по гиперссылке. Отдельно отметим, что ускоренному сканированию отлично помогает добавление сайта в различные интернет-каталоги и рейтинги.

№8. Анонсы в соцсетях

Еще один эффективный способ ускорить индексирование с помощью бэклинков — анонсировать выход новых статей в социальных сетях компании/бренда. Для Яндекса более важны Вконтакте и Одноклассники, Google ориентируется в основном на западные соцсети. В любом случае обе ПС постоянно мониторят подобные интернет-площадки, так что, если хотите ускоренную индексацию, обязательно размещайте там ссылки на новый контент. Это можно делать как в собственных аккаунтах, так и в тематических пабликах и сообществах: писать комментарии или предлагать целые отдельные посты. В сети можно найти сервисы, которые будут делать такие публикации автоматически.

Важное условие: тексты анонсов в разных соцсетях должны отличаться, иначе краулеры будут воспринимать их как один.

№9. Внутренняя перелинковка

Ссылки внутри сайта важны для ботов Яндекса и Гугла даже больше, чем бэклинки. Навигация по ресурсу должна быть продуманной, чтобы в иерархии вдруг не обнаружились сироты — страницы, оторванные от основного дерева, т. е. такие, на которые нет линков в других частях проекта. Организовать внутреннюю перелинковку можно разными способами, например:

• использовать сайдбары и меню в шапке;
• внедрять хлебные крошки;
• добавлять блоки с рекомендациями вроде «Похожие записи» или «С этим товаром покупают»;
• размещать ссылки на новые страницы внутри уже проиндексированных.

Таким образом можно ускорить попадание контента в базы данных поисковиков и одновременно улучшить юзабилити. Лучше всего ускоренному индексированию помогают линки с главной и самых посещаемых веб-страниц.

№10. Простая навигация и структура

Даже если на вашем сайте тысячи страниц, постарайтесь организовать их так, чтобы с «домашней» до них можно было добраться максимум в три клика. Ускорить индексацию — значит помочь боту как можно быстрее обнаружить контент, и уровень вложенности URL играет здесь не последнюю роль. Чем меньше показатель DFI (Click Distance From Index), тем приоритетнее считается страница и тем более ускоренным будет ее внесение в индекс. Если веб-документ находится в 5 или даже 6 нажатиях от главной, Яндекс и Google заметят его нескоро. Поэтому навигация и структура ресурса должны быть простыми и понятными как для пользователя, так и для поисковых роботов.

Заключение

Чтобы ускорить роботов поисковых систем в вопросе индексирования вашего сайта, нужно действовать комплексно. Размещайте ссылки на сторонних веб-ресурсах, оптимизируйте внутренние процессы и показатели, пользуйтесь вспомогательными инструментами для отслеживания статистики. Как мы уже сказали, волшебной кнопки для ускоренной индексации не существует. Только совместив вышеуказанные рекомендации, вы сможете повлиять на ПС и сделать сканирование ускоренным.

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Всем хочется, чтобы опубликованные страницы мгновенно попадали в индекс и сразу же приводили посетителей.

• Интернет-магазину важно, чтобы новая категория или товар поскорее начали привлекать покупателей.
• Информационному проекту быстрая индексация нужна, чтобы размещенный материал не потерял актуальность.
• Сайту услуг тоже нужно соревноваться с конкурентами в поиске.

Если вы хотите, чтобы новые страницы сайта побыстрее стали доступны в выдаче, следуйте нашим советам.

Почему не индексируется сайт

Проблемы с индексацией сайта бывают трех типов:

1. Страницы долго индексируются. Зачастую причина — в низкой частоте обновления контента на сайте, и робот просто реже его посещает. Также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом.
2. Страницы не индексируются ни Яндексом, ни Google. В этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt, настройках хостинга или в метатегах robots.
3. Страницы не индексируются только одним поисковиком. Тогда стоит проверить сайт на фильтры проблемной поисковой системы.

Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.

Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.

Давайте разберем способы ускорения индексирования сайта поисковиками.

1. Улучшите внутреннюю SEO-оптимизацию

Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.

Проверьте файл robots.txt

Что нужно сделать:

• Проверить, есть ли вообще файл robots.txt. Он располагается в корневой папке сайта и должен быть доступен по адресу site.ru/robots.txt. Если его нет — создать и настроить.
• Убедиться, что в нем нет запрета на индексацию (подлежащие индексации страницы не должны быть закрыты директивой Disallow). Если в файле robots.txt прописана строка «Disallow: /», это значит, что сайт полностью запрещен к индексации поисковыми системами.
• Закрыть доступ к системным файлам, страницам авторов, архивов, тегов, результатов поиска. В противном случае робот будет тратить время на сканирование бесполезных для поиска страниц и может так и не успеть добраться до основного контента.
• Проверить правильность синтаксиса robots.txt.

Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt:

В разделе можно проанализировать текущую и предыдущие версии файла, инструмент покажет ошибки. Здесь же можно скачать файл для того, чтобы отредактировать:

В этом же разделе есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.

Создайте sitemap.xml

Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре. Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.

После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:

Также укажите путь в панелях для вебмастеров:

• Яндекс.Вебмастер – в разделе Инструменты / Анализ файлов Sitemap:

• Google Search Console – в разделе Индекс/Файлы Sitemap:

Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml. Он настраивается с помощью плагинов (например, один из популярных для WordPress – All in One SEO Pack) или средствами PHP. Динамический файл sitemap.xml создается каждый раз перед обращением робота (а значит, всегда актуален).

Добавьте HTML карту сайта

Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.

Интересно, что этот способ утратил свою актуальность для Google: представители поисковика советуют лучше прорабатывать структуру сайта, тогда надобность в HTML карте отпадет. Но от Яндекса подобных заявлений пока не было, так что создавайте по принципу «хуже не будет». Тем более делается это буквально за несколько минут штатными средствами CMS или при помощи специальных плагинов.

Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.

Проверьте ответы сервера

Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.

Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.

Подробно о кодах ответа сервера мы рассказывали в этой статье.

Поработайте над внутренней перелинковкой

Чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц. Контент, в котором находится ссылка (ссылочное окружение) должен быть близким по тематике:

Лучше всего работают ссылки с главной и других посещаемых страниц сайта, поэтому разместите на них линки на новые статьи или товары.

В блогах добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре).

В интернет-магазинах – блоки рекомендуемых товаров или комплектующих/аксессуаров:

Следите за уровнем вложенности

Как быстро робот доберется до нового url, зависит в том числе от его уровня вложенности. Идеальный вариант – не более трех кликов от главной. Страницы на 5, 6 и далее уровнях индексируются хуже.

Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.

Пишите полезные и уникальные тексты

Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.

Чаще публикуйте записи и обновляйте страницы

Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.

Как поддерживать актуальность сайта:

• публикуйте новые записи не реже 1 раза в неделю;
• добавляйте ссылки со старых страниц на новые материалы;
• актуализируйте и обновляйте информацию на сайте;
• настройте заголовки Last-Modified и If-Modified-Since (так поисковики будут обходить старые страницы только после внесенных на них изменений).

Устраните дубли на сайте

Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:

• явными (URL со слешем в конце и без него, с WWW и без WWW, с HTTP и HTTPS, с GET-параметрами);
• неявными (дубли страниц с комментариями, страницы товаров со схожими описаниями, страницы пагинации).

Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».

2. Используйте инструменты для вебмастеров

После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.

После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).

В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».

«Аддурилка» Яндекса

В октябре 2021 года Яндекс представил технологию IndexNow. Это протокол, при помощи которого поисковая система сможет в режиме реального времени узнавать обо всех изменениях на сайте. Технически реализовать IndexNow можно при помощи API или плагинов для популярных CMS. Перед тем, как передавать URL, нужно будет сформировать и разместить на сайте специальный ключ, который подтвердит, что сайт принадлежит вам. Подробная инструкция по использованию протокола — в Справке Вебмастера.

В Google Search Console после обновления интерфейса как таковой «аддурилки» нет. Но можно воспользоваться функцией проверки URL:

Вбиваете новый URL, получаете данные о его статусе и нажимаете «Запросить индексирование». Таким же способом можно отправлять на переобход гуглобота страницы с внесенными изменениями:

Эти действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.

3. Добавьте сайт в RSS-каналы, каталоги, рейтинги и соцсети

Каталоги и рейтинги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.

RSS-агрегаторы уходят в прошлое. Из тех, что еще работают в 2020-м году, отметим:

Добавить блог можно в такие каталоги:

Нелишним будет добавить сайт в бесплатные рейтинги:

• top100.rambler.ru
• top.mail.ru
• liveinternet.ru

Здесь важно серьезно подойти к отбору площадок, на которых регистрируете свой ресурс. Обходите стороной заспамленные «братские могилы» сайтов. Обращайте внимание на посещаемость, траст и ИКС. Отдавайте предпочтение тематическим каталогам и рейтингам а также тем, которые принадлежат к региону, в котором вы продвигаетесь.

Также для ускорения индексации советуем разместить ссылку на новую запись в соцсетях – в своих и тематических группах. Для России особенно важны ВКонтакте и Одноклассники, для продвижения на западных рынках – Twitter и Facebook.

Еще один канал для привлечения дополнительного трафика на новые материалы – Яндекс.Дзен. Трансляция публикаций в канале с хорошей посещаемостью обеспечит переходы и поспособствует быстрому добавлению страницы в индекс.

Для новостных сайтов актуальна работа с быстровыдачей Яндекса, которая формируется по актуальным на данный момент запросам. Для этого нужно подключить сайт ко всем доступным агрегаторам новостей, транслировать свежие статьи в соцсетях. Кроме этого, нужно использовать актуальные ключевые слова в заголовках и избегать кликбейта. Пользователь должен находить ценность в материале. Высокий процент отказов подскажет Яндексу о низком качестве источника. В этом случае путь к высоким местам в быстровыдаче будет закрыт.

4. Используйте пинг-сервисы

С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:

Пример списка пинг-сервисов для блога на WordPress

Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.

5. Нарабатывайте «сильные» ссылки

Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.

Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах. Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.

Если у вас возникнут вопросы, то всегда можно воспользоваться услугой «Персональный менеджер» — специалист проведет аудит сайта, будет регулярно высылать рекомендации по его улучшению и отвечать на возникающие вопросы.

Как ускорить индексацию сайта: 18 простых способов

Недостаточно просто написать и опубликовать на веб-сайте уникальный текст, чтобы интернет-пользователи смогли его прочитать. Любая статья, размещенная в сети, становится доступной только после того, как проиндексируется, то есть сведения будут обработаны поисковыми системами и сохранены в базу данных.

До того момента, пока контент не распознан и не проанализирован роботами-поисковиками, он недоступен для просмотра. Процесс распознавания может длиться и сутки, и месяц. Поэтому для продвижения любого веб-ресурса необходимо знать, как ускорить индексацию сайта.

Что подразумевается под индексацией сайта

Вся размещенная в интернете информация, собранная роботами (краулерами) с разных ресурсов и сформированная в единую базу, называется индексом поисковых систем. При индексации веб-сайта распознается не только текстовый контент (статьи, ссылки, метаданные), но и графический.

Когда интернет-пользователь желает найти ответ на какой-либо вопрос, он вводит соответствующий запрос в поисковике. Специальная программа сканирует базу данных, и полученные результаты предоставляет в виде списка веб-ресурсов. Ранжирование происходит по релевантности в порядке убывания, то есть по степени соответствия запросу пользователя.

Индексация веб-сайта – это сбор, анализ и формирование информации в единую базу данных. После добавления из собранных сведений создается выжимка – индекс. Существуют два способа, с помощью которых можно проиндексировать страницу – сделать это вручную или ускорить процесс за счет автоматизации.

В первом случае администратор самостоятельно вносит URL-адрес в соответствующую форму поисковой системы («Яндекс», Google, Rambler и пр.). При автоматической индексации краулер анализирует карту сайта (файл sitemap в формате xml) либо находит веб-ресурс, переходя на него с внешних ссылок.

Еще в конце 1990-х существовал алгоритм категоризации всех данных, размещенных в сети. Поисковые роботы сканировали веб-страницы, находили ключевые слова и распределяли сведения по каталогам, которые формировались по принципу предметного указателя. За последние десятилетия произошли глобальные изменения.

Чтобы ускорить индексацию веб-сайтов и сделать ее более качественной, внедряются вычислительные системы и искусственный интеллект. Современные боты анализируют информацию по разным параметрам.

Любой поисковик индексирует страницы сайтов, а сформированная база данных в дальнейшем используется, чтобы на запросы интернет-пользователей выдавать релевантные результаты. Разновидности поискового сканирования:

• Основное – анализируется и обрабатывается веб-сайт целиком и отдельные его страницы.
• Ускоренное – индексируется только информация, добавленная после обновления.

Боты сканируют текстовой и графический контент, новостные ленты и пр.

При первоначальной индексации обрабатывается сайт целиком, а его сведения попадают в базу данных. При повторной обработке веб-ресурса поисковиком информация лишь дополняется деталями.

Правила работы с поисковыми системами

Па просторах «Рунета» наиболее востребованы две поисковые системы – «Яндекс» и Google. Большинство веб-сайтов оптимизируются под алгоритмы индексации и ранжирования именно этих сервисов.

Вновь созданная страница, не проиндексированная поисковиком, не отражается в выдаче. Чтобы на запрос пользователя система вывела именно ваш сайт, о его существовании сообщите ботам. Сделать это можно двумя способами:

1. Разместить ссылку на страницу или веб-сайт на стороннем ресурсе – этот метод позволяет ускорить индексацию. Поисковик посчитает, что контент по указанному URL-адресу интересен и полезен интернет-пользователям, поэтому быстро направит роботов для сканирования сайта.
2. Использовать специальные инструменты, предназначенные для вебмастеров. В каждой поисковой системе («Яндекс», Google) есть функциональные возможности, с помощью которых можно отслеживать статистику веб-сайта или страницы – показы, переходы и другие метрики. Применяя сервисы, администратор сообщает поисковикам о существовании ресурса. Если после диагностики выяснится, что содержимое rtxt и мета-теги соответствуют требованиям, то сайт будет проиндексирован, а данные — выдаваться по соответствующему поисковому запросу.

Сканирование веб-ресурса поисковой машиной может занять от одного дня до нескольких недель. Очевидно, что любой вебмастер хочет ускорить процесс и добавляет свой ресурс в сервисы «Яндекс.Вебмастер» и Google Search Console.

Не стоит заблуждаться, что проиндексированный сайт сразу же будет в поисковой выдаче – для этого требуется время. Боты анализируют контент, оценивают его по различным параметрам (уникальность, полезность и пр.), а затем делают доступным к просмотру и ранжируют по запросам. Если же сделать что-то неправильно, то результата можно не дождаться вовсе.

Если вы решили индексировать веб-сайт только после полного наполнения, потребуется больше времени для анализа поисковиком. Чем больше контента, тем дольше длится индексация. Обычно после добавления ресурса в сервис вебмастеринга проходит 1-2 недели, прежде чем страница появляется в поиске.

Помимо двух описанных способов как ускорить индексацию сайта в Google или «Яндексе», есть еще один, менее эффективный, который реализуется введением в строку поиска следующих команд:

• Яндекс:Host: Название + site.ru.
• Google: Site: Название + site.ru, где site.ru – ваш домен.

Добавляется веб-сайт и при помощи автоматических сервисов, но предсказать результат сложно. Вероятнее всего, они просто воспользуются командами или размещением ссылки на стороннем ресурсе.

Ускоренная индексация новых страниц на сайте за счет внутренней оптимизации

Вебмастер всегда заинтересован в том, чтобы ускорить процесс добавления страницы в индекс. Краулеры не способны обрабатывать такой массив информации столь же быстро, как обновляется контент. В среднем данные в Яндексе индексируются 1-2 недели, в Google это происходит чуть активнее (несколько дней). Однако некоторым ресурсам (например, новостным порталам) необходимо как можно скорее попадать в поиск. Здесь используется специальный бот, который посещает веб-сайт в течение дня неоднократно.

Существуют условия, как ускорить индексацию сайта в «Яндексе» или «Гугле». Для быстрого распознавания контента поисковиком потребуются следующие действия:

• Во-первых, добавить ресурс в сервисы «Яндекс.Вебмастер» и Google Search Console. Без этих инструментов ускорить индексацию не получится – сайт долго не будет появляться в выдаче, возможно, вообще туда не попадет.

• Во-вторых, правильно настроить robots.txt. Не стоит забывать, что за одно посещение бот способен проанализировать ограниченное количество контента. Исключите из индексации страницы, где содержатся второстепенные данные, не требующие отображения в поиске. Сведения о страницах, которые следует проиндексировать, записываются в файл robots.txt.
• В-третьих, оформить карту сайта (sitemap.xml). Файл содержит список тех страниц, которые необходимо проиндексировать с указанием приоритета и временных интервалов. Чем чаще обновляется карта, тем активнее поисковый бот будет анализировать внесенные изменения. Не забывайте: вебмастер заинтересован в том, чтобы робот заходил на веб-сайт как можно чаще.

Веб-ресурс всегда должен быть доступен. В противном случае, поисковик понизит уровень доверия, а значит, опустит ресурс в выдаче.

Ускорить индексацию можно, поработав над темпом загрузки страниц. Чем быстрее поисковый бот получает ответ на свой запрос, тем лучше.

Любой веб-сайт должен иметь четкую и понятную структуру. При создании разделов пользуйтесь правилом трех кликов: доступ к любой странице занимает не более 3 переходов с главной.

Код, написанный с ошибками, отрицательно сказывается на индексации. Правильным является код 200, поэтому любой другой, например, 404, который свидетельствует об ошибке, не должен попадаться поисковому боту.

Помимо описанных, существуют и другие эффективные способы ускорить индексацию сайта.

18 способов, как ускорить индексацию сайта в поисковиках

1. Разместите ссылки на авторитетных сервисах. Поисковые роботы часто посещают такие порталы, как LiveInternet, «Рамблер ТОП100» и «Рейтинг@Майл». Размещение URL-адреса сайта на одном из ресурсов поможет ускорить индексацию.
2. Публикуйте полезный и уникальный контент. Интернет-пользователи заинтересованы в том, чтобы на запросы получать релевантные ответы, то есть достоверную и оригинальную информацию. Поэтому поисковый бот хорошо ранжирует веб-сайты, на которых опубликован качественный контент. Не стоит дублировать проиндексированные тексты с других ресурсов. Таким способом вы не только понизите свои позиции в выдаче, но и можете попасть под фильтр.

Ускорить индексацию сайта можно, установив обратную связь с посетителями: вопросы и ответы, комментарии, конкурсы, опросы и т. д. Если под постом пользователи активно высказывают мнение, поисковики быстро ранжируют ресурс.

Регулярно обновляйте и дополняйте информацию на веб-сайте. Чем чаще вы меняете и актуализируете контент, тем чаще боты заходят на ваш портал. Так, в «Яндексе» постоянно происходят обновления базы данных и изменения поисковой выдачи (update). Если каждую неделю публиковать на сайте свежие статьи, через некоторое время система начнет регулярно его посещать, чтобы проанализировать новый контент. Таким образом, бота можно «приучить» быстро индексировать измененные или добавленные страницы. Это один из способов ускоренной индексации сайта в «Яндексе». В поисковой системе Google ситуация обстоит несколько иначе. Новые веб-страницы индексируются в реальном времени, поэтому попадают в выдачу почти каждый день.

Разместите свою компанию в каталогах. Чтобы ускорить процесс, используйте специальные инструменты автоматической регистрации. Они помогут быстро опубликовать URL-адреса, ведущие на главную страницу или конкретную статью, даже в каталогах с низким рейтингом. Однако если вы не уверены в репутации портала, не стоит там размещаться, чтобы не навредить веб-сайту.

Выкладывайте анонсы к новым постам в социальных закладках. Они являются своеобразными аналогами закладок в браузерах. Для краткого обзора статьи подойдут Memori.ru, «БобрДобр», «МоеМесто» и пр. В них можно размещать ссылки на главные и внутренние страницы. Составляйте для анонса уникальный текст, не используйте фрагменты опубликованных статей. Ускорьте процесс размещения с помощью сервиса «Жукладочник».

Оставляйте комментарии в сервисах «Вопрос-ответ». Подобные сервисы привлекают внимание не только интернет-пользователей, но и поисковых роботов, поэтому помогают ускорить индексацию. Опубликовать комментарий с URL-адресом своего сайта можно, к примеру, на портале mail.ru. Контент на некоторых ресурсах строго модерируется, поэтому комментарии со ссылками нередко удаляются. В этом случае воспользуйтесь услугами исполнителей с бирж фриланса. Пользователи с высокой репутацией хорошо проходят модерацию.

Кейс: VT-metall

Узнай как мы снизили стоимость привлечения заявки в 13 раз для металлообрабатывающей компании в Москве

Рекомендуемые статьи по данной теме:

• Проверка robots.txt: типичные ошибки и их устранение
• Файл htaccess: применение, включение, настройка
• Редирект с http на https: повышаем безопасность сайта

Включите пингование. Специальная утилита, которая сообщает поисковикам о новом контенте на веб-сайте и ускоряет процесс распознавания, входит в набор функций WordPress – одной из наиболее популярных и востребованных CMS. В другую систему управления сайтом пинг-сервис также можно встроить.

Используйте e-mail рассылку. Ссылки, размещенные в письме, будут еще одним каналом привлечения интернет-пользователей на сайт. Таким способом можно не только ускорить индексацию, но и увеличить трафик. Сервисов для электронной рассылки великое множество. Выберите подходящий, сверстайте письмо и вставьте кликабельную ссылку на свою страницу.

Ведите блог на бесплатных хостингах. «Живые журналы» (LiveJournal, Liveinternet и пр.) популярны у поисковых ботов. Чтобы ускорить индексацию сайта, достаточно лишь пройти бесплатную регистрацию на одном из порталов и регулярно оставлять там ссылки на веб-сайт: вручную или с помощью специального приложения (плагин для WP – LiveJournalCrossposter).

Заведите аккаунты компании в социальных сетях. «Вконтакте», «Твиттер», Google+ имеют большую посещаемость, поэтому контент в них индексируется в ускоренном режиме (практически моментально). Виджеты на соцсети и кнопки для репоста статьи можно установить на своем сайте.

Покупайте ссылки с других интернет-площадок. Этот способ не стоит использовать, если у вас вновь созданный сайт. Иначе вы не ускорите индексацию, а вызовете обратную реакцию у поисковых ботов. Однако если веб-сайт существует уже достаточно давно, но не попадает в выдачу, можно купить одну-две ссылки. Важно выбирать порталы с высокой посещаемостью, качественным и регулярно обновляемым контентом.

Читайте также! «Проверка скорости загрузки сайта: 14 лучших инструментов» Подробнее

Совет вебмастерам: если администрируете ранжированные сайты, размещайте сквозные ссылки на страницах, которые еще не попали в индекс.

Используйте инструмент «Социальный замок». Сервис в виде плагина или скрипта блокирует часть информации на веб-странице. Фрагмент текста, фото или видео будут недоступны, пока пользователь не совершит одно из действий: репост на свою страницу в соцсети, подписку на email-рассылку и пр. Способ позволяет не только ускорить индексацию, но и распространить контент.

Воспользуйтесь программой поискового продвижения. Провести рекламную кампанию в интернете и повысить видимость сайта в поисковых системах можно с помощью автоматизированных систем, к примеру, платформы Seopult. Такие сервисы позволяют ускорить индексацию без особых усилий.

Постоянно наращивайте ссылочную массу.Чтобы страницы сайта индексировались в ускоренном режиме (в течение нескольких часов), размещайте не менее тысячи ссылок на разных интернет-площадках.

Купите трафик на сайт. Популярность какого-либо контента, допустим, информационной статьи, дает сигнал поисковым ботам, что страницу нужно проиндексировать. Закупить трафик можно на специальных платформах для сотрудничества вебмастеров и рекламодателей, которые именуются тизерными площадками.

Как ускорить индексацию картинок на сайте

Рекомендации будут особенно полезны тем, кто занимается продвижением в сети фотохостингов.

Сначала уточните, что боты разных поисковых систем («Яндекс», «Гугл», «Бинг») пользуются разными алгоритмами для индексации графического контента. Первыми по скорости обработки являются роботы Google, на втором месте – «Яндекс». Поисковая система Bing сканирует картинки медленнее остальных, причем только те, которые размещены на просторах Рунета.

Существует универсальный способ, который позволяет ускорить процесс распознавания изображений. При верстке страницы для каждого необходимо прописать атрибуты title=»» и alt=»» в теге . Первый является подсказкой для пользователя: текст, размещенный в нем, будет всплывать при наведении мышки на картинку.

Бывают ситуации, когда браузер не отображает графический контент. Например, исходное фото недоступно либо в настройках эта возможность отключена. В таком случае вместо изображения будет выходить содержимое атрибута alt, то есть поясняющий текст.

Как выяснить, какое количество картинок поисковик смог проиндексировать? Для этого в строке используемого браузера необходимо написать команду site, после двоеточия и пробела указать имя домена и нажать Enter. Затем перейти в раздел «Изображения» или «Картинки» (в каждом поисковике называется по-разному), где будет указано конкретное количество проиндексированных фото.

Проверка индексации сайта

Помимо вопроса о том, как ускорить процесс распознавания, часто возникают и другие. Например, проиндексирована ли страница в принципе. Существуют разные способы выяснить, попал ли ресурс в поиск. Важное уточнение: для обработки пользовательского запроса и выдачи соответствующего результата используются сведения, которые находятся в базе данных поисковой системы, а не размещенные на конкретном веб-сайте. Итак, существуют три способа, позволяющих проверить индексацию:

1. Найти нужную информацию в кабинетах вебмастеринга («Яндекс.Вебмастер», GoogleSearchConsole и пр.)
2. Использовать доступные онлайн-сервисы. Принцип работы инструментов идентичен: необходимо указать URL-адрес и вся информация будет доступна.
3. Проверять вручную с помощью команды «site». Чтобы получить список проиндексированных страниц, в строку поиска нужно вбить site:my-site.ru

Рассмотрим подробнее первые два способа, которые являются ускоренными и более простыми.

Кабинеты

Первый способ – использование кабинета вебмастеринга в поисковой системе «Яндекс». Необходимо перейти по ссылке webmaster.yandex.ru, завести личный кабинет либо залогиниться, если он уже есть. Затем перейти по следующим вкладкам: «Индексирование сайта» – «Страницы в поиске».

Второй путь: «Индексирование сайта» – «История» – «Страницы в поиске».

Сервис предоставит полную статистику изменений: какие страницы были проиндексированы, а какие – исключены.

Алгоритм работы в поисковой системе Google: необходимо перейти по ссылке google.com/webmasters/tools/home, завести личный кабинет или залогиниться, перейти в раздел «Индекс Google» (на боковой панели инструментов) и выбрать «Статус индексирования».

Кабинет для вебмастеров есть и у mail.ru – webmaster.mail.ru. Отправить веб-сайт на индексацию можно через форму go.mail.ru/addurl.

Сервисы

Разработано множество онлайн-сервисов, с помощью которых можно ускорить процесс поверки индексации нескольких веб-сайтов. Наиболее востребованными являются:

• Сервис http://www.seogadget.ru/sepages.

Инструмент позволяет проверить целый список сайтов в ускоренном режиме – достаточно поместить перечень в соответствующую форму. Сервис дает возможность указывать имена доменов, например, my-site.ru, и ссылки на конкретные страницы(my-site.ru/content/new). Имена доменов он определяет автоматически. Данный сервис используется, чтобы отследить индексацию веб-сайтов в поисковиках «Яндекс» и Google. В бесплатном режиме доступны 250 проверок в сутки.

Скачайте полезный документ по теме:
Чек-лист: Как добиваться своих целей в переговорах с клиентами

• Сервис http://xseo.in/indexed.

Принцип работы такой же, как и у предыдущего онлайн-сервиса, но с некоторыми ограничениями. Первый является более ускоренным, поскольку позволяет анализировать сайты по списку. В XSEO можно отследить попадание в индекс лишь одного сайта, то есть проверка выполняется поэтапно.

Как закрыть сайт от индексации

В некоторых случая вебмастеру необходимо не ускорить индексацию веб-сайта, а закрыть его (или часть контента) от поисковых ботов. Такие меры требуются, чтобы скрыть информацию, не предназначенную для публичного просмотра: технические данные, страницы-дубли и пр.

Для этого можно воспользоваться одним из способов:

1. Указать те страницы или сайт, индексация которых запрещена, в файле robots.txt. В текстовом документе для бота-поисковика прописываются правила, состоящие из двух частей: в первой (User-agent) указывается адресат, во второй (Disallow) – запрет на индексацию какого-либо объекта. Универсальный запрет прописывается следующим образом:
   • User-agent: *
   • Disallow: /
2. Использовать мета-тегrobots. Именно этот способ применяется, когда необходимо закрыть одну страницу. Значения noindex и nofollow атрибута content=»» вводят запрет на попадание в индекс веб-сайта, страницы или части контента: – весь документ будет закрыт.
3. Ввести запрет для конкретного робота: Размещайте такие мета-теги при помощи плагина YoastSEO, в котором есть отдельные параметры, отвечающие за индексацию. Можно запретить попадание в индекс как отдельной страницы, так и всего веб-сайта. Самый простой и правильный способ закрывать от индексации отдельные страницы – использование мета-тегов. В этом случае не нужно каждый раз вносить изменения в файл robots.txt.

Индексация сайта в Google: проверка и ускорение

Если вы уже завершили работу над созданием корпоративного сайта, блога, интернет-магазина или другой онлайн-площадки, нужно позаботиться о том, чтобы ваш проект могли найти его потенциальные пользователи. Для этого необходимо добавить новый ресурс в поисковые системы. Эта процедура называется индексация сайта в Google, «Яндексе» или других поисковиках. После этого ваша онлайн-площадка будет доступной для пользователей, которые вводят в строку поиска соответствующий запрос.

Почему так важна индексация сайта в Google

Недавно появилась информация о покупке корпорацией Google совместно с NASA особой системы, которую условно можно назвать «квантовый компьютер». На базе устройства, приобретенного у компании из Канады D-Wave Systems, планируется запуск лаборатории по исследованию искусственного интеллекта.

Квантовый компьютер можно представить в виде высокопроизводительной машины, в оперативной памяти которой будет содержаться вся информация, присутствующая в Интернете. После реализации такой идеи необходимость в индексации сайтов отпадет. Все новые ресурсы сразу после публикации будут попадать в память квантовой машины, а следовательно, их можно будет найти в поиске.

Все описанное выше является долгосрочной перспективой, а сейчас без индексации в Google не сможет эффективно работать ни один интернет-ресурс, кроме тех, которые рассчитаны на пользователей закрытых информационных пространств (Китай и Северная Корея).

Сложно представить, какой огромный объем данных находится сегодня во Всемирной паутине. Чтобы поисковые системы могли быстро находить нужные сведения, всю информацию необходимо четко структурировать и разместить в определенных ячейках. В каталогах поисковиков хранятся данные о каждой онлайн-странице всех сайтов, поэтому пользователи могут легко находить то, что их интересует.

Всемирная сеть непрерывно наполняется огромными объемами новой информации. Даже передовые поисковые системы не в состоянии сразу же индексировать все поступающие данные. На интернет-площадках с высоким уровнем посещаемости роботы «Гугла» ежедневно проверяют обновление контента, а на других ресурсах индексация проводится каждую неделю.

Примечательно, что «Гугл» осуществляет проверку новых ресурсов гораздо быстрее других систем. Этот поисковик может вносить в свои каталоги сведения об изменениях информации на онлайн-площадках буквально через несколько часов. Индексация сайта в Google предполагает также внесение такой важной информации, как ссылки, ключевые фразы и т. д.

Как происходит индексация сайта в Google

Скорость индексации разных онлайн-площадок в Google различается. Существует ряд факторов, от которых зависит, как быстро роботы поисковой системы посетят веб-площадку и сколько времени понадобится для внесения в информационную базу обнаруженных изменений. К примеру, новостные ресурсы индексируются быстроботами с интервалом в несколько часов. Есть несколько вариантов добавления онлайн-ресурса в «Гугл». Один из таких способов связан с размещением ссылок на проиндексированных страницах.

После посещения интернет-площадки роботы поисковой системы анализируют всю необходимую информацию и вносят ее в базу данных. Затем происходит ранжирование и определение авторитетности сайта (сортировка по установленным критериям – PageRank). Эти показатели рассчитываются исходя из количества и качества ссылок, которые ведут на него с других веб-страниц. Чем больше ссылочной массы, тем выше PageRank.

Рассмотрим основные факторы, влияющие на индексацию сайта в Google:

• посещаемость;
• релевантность контента (соответствие информации, представленной на сайте, запросам, которые интернет-пользователи вносят в поисковик) обеспечивается с помощью определенного количества ключевых слов в контенте и метатегах;
• внутренняя оптимизация страниц сайта.

Показатели авторитетности интернет-страниц могут находиться в пределах от 0 до 10. У лучших ресурсов PageRank составляет 4–5 пунктов. По шкале авторитетности сам «Гугл» имеет показатель в 10 пунктов. В настоящее время отключен тулбарный показатель PR.

Нужно учитывать, что страницы блогов, сайтов и других ресурсов, имеющие более высокие индексы авторитетности, в выдаче «Гугла» располагаются выше своих конкурентов. При этом каждая из них имеет свой собственный показатель PageRank, поэтому у всех страниц место в выдаче может быть разным.

Индексация осуществляется с помощью Googlebot, который и осуществляет сканирование.

Что такое «Гуглбот»? В чем отличие сканирования от индексирования веб-страниц? Как эти процессы могут ускорить попадание страниц сайта в выдачу «Гугла»? Ответы на эти вопросы приведены ниже:

1. Googlebot – специальная программа поисковой системы «Гугл», осуществляющая сбор информации в сети Интернет и сканирование веб-страниц с последующим их размещением в поисковой выдаче.
2. Сканирование старых и новых страниц сайтов, которое осуществляется программой Googlebot, необходимо для поиска новой и измененной информации, передаваемой поисковой системе «Гугл». На этот процесс значительное влияние оказывают ссылки.
3. После обработки информации, собранной гугл-ботами во время сканирования интернет-страниц, происходит их индексация. При условии, что размещенный контент соответствует качественным требованиям, он добавляется в индекс. В процессе индексации информации, размещенной на страницах, обязательно проводится рассмотрение ключевых слов, анализ alt-тегов и «тайтлов».

Остается только уточнить, как же программа Googlebot обнаруживает новый контент или обновление данных. Этот процесс включает анализ собранной информации об интернет-страницах, проиндексированных «Гуглом», и данных карты сайта, которая размещена его администратором. Далее рассмотрим, что нужно сделать, чтобы пройти индексацию.

Различия индексации сайта в Google и «Яндексе»

Основное различие поисковых систем «Гугл» и «Яндекс» заключается в региональной принадлежности. Если Yandex работает только в русскоязычной части Интернета, то Google является международным поисковиком. Свои системы поиска есть практически в каждой стране. В некоторых случаях региональные сервисы могут составлять серьезную конкуренцию «Гуглу» («Яндекс» в РФ, Seznam – в Чехии, Baidu – в КНР и т. д.). Подтверждением этого факта могут служить переговоры по вопросам выкупа сервиса Yandex компанией «Гугл», которые имели место в 2003 году. Пока такое поглощение не состоялось.

У каждой поисковой системы есть свои программы ботов, осуществляющие проверку сайтов на предмет релевантности и качества представленного на них контента. При этом стандарты работы таких роботов постоянно совершенствуются. Нужно отметить, что разработчики не открывают полностью суть алгоритмов индексации, поэтому специалисты постоянно анализируют поисковые программы и на основании имеющихся практических данных формируют определенные выводы.

Требования, которые предъявляют «Гугл» и «Яндекс» к индексации сайтов, имеют много общего. Поэтому можно сформулировать некоторые универсальные рекомендации:

1. Нужно уделять больше внимание качеству контента (уникальность, полезность и грамотность). Программные и орфографические ошибки четко отслеживаются ботами и снижают индекс авторитетности сайта.
2. Интернет-площадки должны иметь понятную структуру. Важно, чтобы они были удобными для пользователей и содержали важную и ценную информацию.
3. Следует качественно проработать страницы контактов и обратной связи, разместить портфолио и отзывы, а также описать имеющиеся достижения.
4. На сайте нужно разместить работающие исходящие ссылки.
5. Контент на интернет-площадках должен постоянно обновляться, а их функционал следует дорабатывать с учетом различных нововведений и инноваций. Все это учитывается поисковиками при ранжировании сайтов.

Поисковая система «Яндекса» имеет два робота – основной и быстрый (Orange). Первый осуществляет индексацию Сети в целом, а второй обеспечивает возможность быстрого поиска наиболее свежей и актуальной информации по запросу пользователя. Каждый робот имеет перечень данных, которые необходимо проиндексировать.

По мнению экспертов, «Яндекс» работает медленнее, чем «Гугл». Но при этом поисковая система Рунета индексирует полезные материалы и исключает из выдачи «лишние» результаты.

Кейс: VT-metall

Узнай как мы снизили стоимость привлечения заявки в 13 раз для металлообрабатывающей компании в Москве

Преимущество «Гугла» заключается в его универсальности. «Яндекс» же развивается исключительно в русскоязычном Интернете (попытки выйти на другие рынки имели место, но пока не увенчались успехом).

Система Yandex ориентирована на поиск по запросам из ограниченного перечня регионов. Но именно региональный характер во многом определяет его успешность. В настоящее время «Гугл» и «Яндекс» занимают в русскоязычном Интернете примерно одинаковые ниши.

Yandex указывает сайты, для которых необходима привязка по региону:

• Информационные ресурсы, которые имеют региональную направленность. В «Вебмастере» «Яндекса» необходимо прописать предпочтительный регион.
• Площадки, которые предлагают продажу товаров или услуг. В эту категорию попадает широкий перечень сайтов, начиная интернет-магазинами и заканчивая порталами знакомств.

В интернет-пространстве других стран поисковая система Yandex не получила распространение, так как наиболее значимыми факторами поиска там выступают язык и местонахождение пользователя. На основании этих критериев и строится поисковая выдача «Гугла». В системе «Яндекс» индексация по языковым признакам не происходит. Несмотря на то, что этот поисковик определяет место нахождения пользователя, он не учитывает этот фактор при обработке запроса. Классифицировать сайты Рунета по регионам в зависимости от языка запроса не получается. «Яндекс» может настраивать поисковую выдачу исключительно по территориальному признаку, в чем и заключается уникальность этой системы.

Не так давно Yandex запустил новый инструмент – поиск «Андромеда». После этого поисковик предлагает определенные места в городах, дает возможность собирать коллекции пользователя, информирует о событиях из мира спорта, отмечает статус интернет-ресурсов особыми значками в зависимости от их благонадежности и популярности. Каким образом новый инструмент может влиять на индексацию, еще не совсем ясно.

Важным нововведением 2018 года является замена показателя ТИЦ (индекс цитирования) на ИКС (индекс качества сайта). Новый показатель необходимо учитывать при продвижении ресурса.

Как проиндексировать сайт в Google

Индексация сайта в Google требует терпения, так как поисковые системы достаточно медлительны. Этот процесс занимает несколько недель, поэтому не затягивайте с добавлением ресурса в поисковик. Даже если на страницах вашего сайта еще не появились записи, его уже можно добавлять в систему выдачи «Гугла».

Для начала нужно создать свой аккаунт в Google (если у вас есть почта Gmail, то можно считать, что аккаунт уже зарегистрирован) и через него получить доступ ко всем инструментам этой системы.

Этапы регистрации сайта в Google:

1. Нужно перейти в раздел «Инструменты веб-мастера» и выбрать «Добавить ресурс». Затем необходимо внести адрес вашего ресурса и нажать «Продолжить».
2. После того как вы будете переадресованы на следующую страницу, следует дать подтверждение своих прав на сайт. Сделать это можно несколькими способами, но наиболее простой – вариант с использованием HTML-файла. В этом случае, согласно п. 1 инструкции «Гугла», нужно закачать такой файл в «корень» сайта. Если операция выполнена без ошибок, то кликнув на ссылку, которая находится в 3 пункте инструкции, вы сможете увидеть содержание ресурса. Если же была допущена неточность, то вы перейдете на страницу 404. Если все нормально, то нужно выбрать пункт «Подтвердить».
3. Для добавления сайта в поисковую систему «Гугл» и ускорения его индексации нужно указать ботам поисковика местонахождение XML-карты ресурса. Сделать это можно в панели управления сайтом, расположенной в инструментах веб-мастера. Здесь следует нажать кнопку «Сканирование» и выбрать подпункт «Файлы Sitemap». После этого переходите по ссылке «Добавление/проверка файла Sitemap» и вносите в строку адрес до карты (к примеру, «ru/sitemap.xml»). Нужно учесть, что доменное имя в этой строке уже будет прописано, поэтому вводить адрес необходимо без него («sitemap.xml»). Затем нужно нажать кнопку «Отправить файл Sitemap». Предварительно этот файл можно проверить на наличие ошибок, нажав кнопку «Проверить Sitemap».

Если все описанные выше шаги выполнены правильно, то ресурс уже будет добавлен в поисковик. Происходит индексация сайта в Google бесплатно, но этот процесс занимает от 7 дней до 3 недель.

Как проверить индексацию сайта в Google

• Применяйте поисковые операторы (специальные символы, добавляемые к запросам).

Поисковые символы обеспечивают уточнение результатов выдачи. К примеру, оператор «site:» позволяет получить данные об ориентировочном числе страниц сайта, прошедших индексацию в Google. Чтобы выполнить такую проверку, следует ввести в строку поиска следующую комбинацию: «site:[url вашего сайта]». В некоторых случаях значительное расхождение результатов выдачи Google и «Яндекса» может быть показателем существующих проблем с сайтом. С помощью дополнительных поисковых инструментов можно получить информацию относительно индексации страниц сайта за необходимый промежуток времени.

• Применяйте плагины и JavaScript-программы, сохраняемые как закладки браузера (букмарклеты).

С помощью таких инструментов можно выполнять проверку индексации в автоматическом режиме. Вам не придется открывать отдельно поисковую систему и вводить запросы в строку поиска.

• Устанавливайте специальные сервисы, проверяющие индексацию.

Такие инструменты значительно облегчают работу SEO-специалистов. Подобных сервисов достаточно много, к примеру связка Netpeak Spider и Netpeak Checker.

С помощью первого инструмента выполняется сканирование. При этом можно получить не только сведения о количестве страниц, прошедших индексацию в Google, но и другие полезные сведения: каноникал, код ответа, название, заголовки, метаописания, мета robots, robots.txt, переходы, ссылки и т. д. Кроме того, Netpeak Spider уведомляет о наличии ошибок в таких данных.

Рекомендуемые статьи по данной теме:

• Внутренняя оптимизация сайта: пошаговый разбор
• Проверка robots.txt: типичные ошибки и их устранение
• Редирект с http на https: повышаем безопасность сайта

После получение перечня всех URL его можно ввести в Netpeak Checker и выполнить проверку индексации поисковиками.

Проверка индексации сайта в Google может выполняться с помощью следующих инструментов:

1. Оператор «cache:» и индексация страниц. Данный оператор используется для получения информации по архивированной копии страницы, которая была проиндексирована сервисом Google. Чтобы увидеть последнюю версию главной страницы вашего ресурса и получить сведения по дате формирования кеша, нужно ввести в поиск запрос cache:google.ru. Вы сможете увидеть последнюю версию страницы с обычным текстом. Это очень удобно, так как можно увидеть сайт таким, каким его видит гугл-бот. Запрос «мета тег noarchive» ограничивает доступ других лиц к результатам поиска кеш-версии, но это не скажется на процессе индексации сайта в Google.
2. Оператор «related:» и поиск ресурсов, подобных сайту. Оператор «related:» позволяет быстро находить сайты-конкуренты. Этот инструмент используется для ресурсов, которые пересекаются по различным признакам.

Как ускорить индексацию сайта в Google

Индексация сайта в Google, проверить которую позволяют инструменты, описанные в предыдущем разделе, может быть ускорена разными способами:

1. Создание Sitemap. Файл Sitemap XML – перечень страниц ресурса, размещенных на сервере хостинга. При добавлении новых страниц сайта этот документ предоставляет соответствующую информацию «Гуглу» и дает инструкции по необходимому режиму проверки изменений. Частота посещения ресурса может быть выбрана веб-мастером. В случае необходимости можно дать команду поисковым роботам выполнять анализ сайта на наличие обновленных данных (товары, записи и т. д.). При отсутствии такой необходимости можно указать другую периодичность проверок. Если сайт работает на платформе «Вордпресс», то для автоматизации процессов формирования и обновления файла Sitemap необходимо установить плагины Google XML Sitemaps или Yoast SEO.
2. Предоставьте Google Indexing Tool свою карту сайта. После того как вы создали карту сайта, необходимо перейти в Google Webmaster Tools в аккаунт своей площадки. Если такого аккаунта еще нет, то можно создать бесплатную учетную запись в Google и выполнить регистрацию в сервисе Webmaster Tools. Затем добавляете сайт в «Веб-мастер» и переходите к папке «Сканирование». Здесь необходимо выбрать «Sitemaps» и вставить туда ссылку на свой файл карты сайта. Такое действие позволяет сообщить поисковой системе о новых страницах. Для более эффективного информирования поисковика дополнительно используется консоль Bing. Здесь можно создать еще один аккаунт и включить карту своего ресурса, используя Webmaster Tools. Поисковый робот получает задачу на сканирование с помощью ссылок, поэтому необходимо выполнить проверку файла robots.txt и убедиться, что нужные страницы сайта открыты для индексации.
3. Используйте Google Analytics.Сервис Google Analytics применяется для анализа источников трафика и поведения посетителей сайта. Но после добавления кода этого ресурса на страницы вашего интернет-ресурса и настройки аккаунта в аналитической системе «Гугла» происходит уведомление поисковика о появлении новой площадки, которую нужно сканировать.
4. Зарегистрируйте сайт в поисковых системах. Раньше эксперты считали, что для индексации сайта системой «Гугл» веб-мастер должен зарегистрировать свой проект и подать заявку. Сейчас же есть некоторые примеры, когда специалисты по SEO-оптимизации выводят сайты на первые страницы поиска без предварительной регистрации. Но для этого нужны специальные знания и навыки. Если у вас их нет, то стоит потратить время на регистрацию своего ресурса в наиболее популярных поисковиках. Для регистрации сайта в Google используйте инструмент Google Search Console.
5. Сделайте внутреннюю перелинковку. Чтобы индексация сайта прошла быстрее, стоит провести внутреннюю перелинковку страниц ресурса. Как было отмечено ранее, поисковые боты для перемещения в Интернете используют ссылки. Таким образом, если страницы связаны ссылками, то робот посетит их автоматически. Веб-мастер должен убедиться, что все наиболее важные страницы сайта перелинкованы друг с другом. При правильно организованной структуре ресурса внутренняя перелинковка происходит естественным путем. Для получения более высоких результатов по индексации сайта нужно связать друг с другом как можно больше страниц, поэтому, как только происходит публикация нового контента, не забывайте добавить в него несколько ссылок на другие записи.
6. Своевременно публикуйте качественный и уникальный контент на сайте.Важно также уделять внимание регулярному появлению на сайте нового материала. Чем чаще это происходит, тем чаще поисковые боты будут посещать ваш ресурс, а значит, увеличится скорость индексации. Стоит создать план появления новых публикаций (1 раз в 3 дня или 2 раза в неделю) и строго придерживаться его. Соблюдение такого графика может увеличить скорость индексации в несколько раз. Поисковые боты будут строго по расписанию посещать сайт для поиска нового контента. Именно по этой причине новостные площадки ежедневно публикуют десятки страниц. Такой режим публикаций обеспечивает ежедневное посещение сайта поисковыми роботами «Гугла». Такая же ситуация способствует тому, что в поисковой выдаче очень быстро появляются записи в социальных сетях. В погоне за количеством публикаций не стоит забывать о качестве. Низкокачественный контент отрицательно отражается на индексации страниц сайта. Наиболее негативно влияют на этот процесс такие факторы, как:
   • копирование статей с других ресурсов;
   • публикация материалов с большим количеством орфографических и других ошибок;
   • добавление текстов, перенасыщенных ключевыми словами.

На скорость индексации сайта в Google оказывает влияние и размер публикуемых статей. Их объем должен быть не менее 1,5 тыс. знаков при уникальности от 80–90 %. В каждой статье должна быть хоть одна картинка.

Добавьте URL страницы вручную. В вопросах ускорения индексации сайта многие администраторы интернет-ресурсов забывают о специальных инструментах «Гугла». Их использование точно не принесет никакого вреда ресурсу и не создаст никаких сложностей веб-мастеру. Нужно только лишь зайти в Google-аккаунт и нажать «Отправить URL» в настройках Webmaster Tools.

Создавайте и обновляйте свои социальные профили. Ранее уже отмечалась роль ссылок в вопросах привлечения роботов «Гугла» на сайт, поэтому становится очевидной и полезная роль, которую могут сыграть в вопросах индексации соцсети. Зарегистрируете свои профили LinkedIn, Твиттер, Pinterest, «Фейсбук», YouTube и Google+. Задействуйте для продвижения своего ресурса максимальное количество соцсетей. После появления на сайте нового контента обязательно публикуйте ссылку на него в своих социальных сетях.

Использование «правила трех кликов». Чтобы ускорить индексацию сайта в Google и улучшить поведенческие факторы интернет-ресурса, для посещения любой страницы нужно сделать не больше трех переходов от главной.

Добавьте кнопки социальных сетей на сайт. Для упрощения публикации ссылок на новые материалы в соцсетях следует установить на сайте кнопки таких сетей. Кроме того, посетители ресурса будут пользоваться такими кнопками, что увеличит посещаемость интернет-площадки.

Разместите ссылки на новую страницу на внешних ресурсах. Процесс индексации сайта в Google можно ускорить с помощью наполнения блога, публикации статей, пресс-релизов, постов пользователей и других видов линкбилдинга.

Создайте RSS-канал. RSS-канал не является обязательным элементом, но он не помешает индексации сайта в Google. RSS (с английского Rich Site Summary – «обогащенная сводка сайта») – семейство XML-форматов, которые используются для описания новостных лент, анонсов публикаций, изменений в блогах и др. Это еще один простой способ уведомления поисковиков об обновлениях сайта, но сегодня этот инструмент считается устаревшим. Тем не менее RSS-канал помогает передать поисковым системам сведения о новом материале сразу же после его появления на сайте.

Отслеживайте ошибки индексации (о них будет рассказано ниже).Достаточно сложно избежать ошибок, мешающих индексации сайта в Google. Часто они связаны с внесением значительных изменений в структуру сайта – с добавлением/удалением и перемещением различных страниц. Для отслеживания ошибок используется Google Search Console.

Теперь вы знаете о многих методах ускорения индексации сайта в Google. Стоит отметить, что некоторые способы помогут привлечь целевую аудиторию на вашу площадку.

Почему не индексируется сайт в Google

Причины могут быть разными. Рассмотрим наиболее часто встречающиеся:

1. Новый сайт. В этом случае нужно только терпение и время. Не все страницы нового ресурса сразу попадают в индекс «Гугла». Иногда процесс индексации может растянуться на несколько месяцев.
2. Отсутствие карты сайта (файл Sitemap). Профессионально составленная карта сайта помогает поисковым ботам быстрее сканировать страницы сайта. Ссылка на файл «Сайтмеп» должна быть добавлена в панель веб-мастеров.
3. Ошибки на страницах сайта. В панели для веб-мастеров «Гугл» постоянно уведомляет собственников интернет-ресурсов о появляющихся ошибках. Если есть проблема с индексацией сайта в Google, посмотрите, какие ошибки находит поисковый бот, и исправьте их.
4. Ошибка с метатегом robots. Она может появиться из-за неправильного изменения настроек CMS или хостинга. В коде интернет-страниц в этом случае появится строка:

• дубли страниц;
• недостаточный процент уникальности контента;
• затрудненный доступ к страницам и длительное время их загрузки.