Что такое google search lin fix

Google Search URL Fixup by Chris Siebenmann

Fix links in the JavaScript-free Google Search results pages to be the original links instead of links that go through Google with tracking identifiers. This is only of interest if you disable JavaScript for Google Search (eg via uMatrix).

You’ll need Firefox to use this extension

Extension Metadata

Used by

Rated 4.3 out of 5
About this extension

Google Search has a special version of its results pages for people who disable JavaScript. The search results links on these pages are rewritten to be redirected through Google (with tracking identifiers), which damages convenient copy and paste and causes all links show up as unvisited (among other things). This addon rewrites those links back to their original, true destinations. It is only of interest if you use the non-JS Google Search results pages; if you use the normal Google Search pages, you need a different addon such as Google search link fix.

This addon currently only works on www.google.com, www.google.ca, www.google.co.uk, www.google.se, and www.google.de because those are the only Google search sites that I use or that people have requested. If you would like it to cover an additional Google domain, please let me know (file an issue on the Github repo).

It’s possible that this addon will malfunction on some complex URLs with unusual encoded components, because I’m not completely sure I’m correctly decoding Google’s rewriting and then re-encoding the URL in all situations. If you experience problems, please let me know.

Rate your experience
Report this add-on for abuse

Report this add-on for abuse

If you think this add-on violates Mozilla’s add-on policies or has security or privacy issues, please report these issues to Mozilla using this form.

Please don’t use this form to report bugs or request add-on features; this report will be sent to Mozilla and not to the add-on developer.

PermissionsLearn more

This add-on needs to:

• Access your data for www.google.com
• Access your data for www.google.ca
• Access your data for www.google.co.uk
• Access your data for www.google.se
• Access your data for www.google.de

More information

• Homepage
• Support site

• Search Tools
• Other

• See all versions

Расширенный поиск Google – советы и команды для улучшения поиска

Расширенный поиск Google позволяет избавиться от беспорядка в Интернете и сосредоточиться на именно тех результатах поиска, которые вы ищете. Расширенный поиск Google может приносить пользу всем, особенно для предпринимателям в сфере электронной коммерции: использование расширенных поисковых запросов упрощает выявление возможностей, выявление конкурентов и понимание того, как Google (и пользователи) видят ваш магазин.

В конце концов, вы не всегда хотите, чтобы Google давал вам на выбор 7 139 091 страницу. Иногда хочется что-то более точное. Например, какие веб-сайты ссылаются на ваш магазин. Или как легко найти товары в вашем магазине. Или что продают ваши конкуренты.

В этом посте будут рассмотрены наиболее полезные расширенные функции поиска Google и рассмотрено, как вы можете использовать их для оптимизации своего бизнеса в сфере электронной коммерции.

Что такое расширенный поиск Google?

Расширенный поиск Google – это способ настроить поиск в Google с помощью набора специальных инструкций. Эти расширенные инструкции поиска Google, известные как операторы и команды, сообщают Google, что вы не хотите выполнять поиск во всем доступным в Интернете ресурсам, от начала до конца и сверху вниз, и вместо этого заинтересованы в более конкретных данных.

Ваши родители, вероятно, никогда не воспользуются расширенным поиском в Google. Во-первых, команды, которыми вы должны «кормить Google» не очевидны; трудно угадать команды расширенного поиска Google. Во-вторых, вашим родителям, вероятно, не потребуется использовать расширенный поиск в Google. Эти поиски предназначены для выполнения очень конкретных запросов.

Всё это может иметь больше смысла, если мы рассмотрим несколько примеров операторов поиска, так что давайте углубимся!

Операторы расширенного поиска Google

Большинство людей пишут или произносят слово, вопрос или предложение, когда ищут что-то конкретное в Google. Но, на самом деле, существуют различные типы поисковых операторов, которые можно использовать для фильтрации результатов поиска.

Ниже приведены некоторые из самых популярных операторов, которые можно объединить, чтобы глубже погрузиться в индекс Google.

Точный поиск

Что это такое: точный поиск – это самый простой расширенный поиск Google. (Ваши родители, вероятно, могли бы это сделать.) Всё, что вы делаете с этим поисковым оператором Google, – это помещаете в кавычки свои поисковые запросы. Это говорит Google, что вам нужны результаты именно для того, что находится в кавычках. Google уже неплохо умеет читать мысли, но эти кавычки позволяют устранить любую путаницу и обеспечить наиболее релевантные результаты.

Когда его использовать. Используйте этот расширенный поиск Google, если вам нужны результаты, содержащие точную фразу.

На что это похоже:

Оператор OR

Что это такое: использование OR (в верхнем регистре!) позволяет искать несколько отдельных поисковых запросов. В отличие от точного поиска, который сужает ваши результаты, этот поисковый оператор Google расширяет ваш запрос, чтобы вы могли получить больше результатов.

Когда его использовать: существует несколько сценариев, в которых вы можете использовать расширенный поиск Google. Во-первых, он отлично подходит, когда вы ищете информацию, которую можно найти с помощью нескольких поисковых запросов. Также он полезен, если вы не знаете правильную фразу, связанную с информацией, которую вы ищете.

Примечание. Если OR вписать строчными буквами, тогда Google может подумать, что вы пытаетесь выяснить лингвистический вопрос. Это приведёт к появлению результатов, объясняющих заданных вопрос. Так что помните – OR!

Оператор исключения

Что это такое. Этот оператор поиска Google позволяет исключить определенные элементы из результатов поиска. Это как заказать официанту любой суп без лука. Таким образом, вы можете вести поиск в Интернете, но игнорировать результаты, содержащие бесполезные термины. Итак, если кто-то спросит вас, как что-то исключить из поиска Google, вы можете сообщить им об операторе исключения.

Когда его использовать: этот совет по расширенному поиску Google отлично подходит, когда слово имеет несколько значений. Если вы хотите просматривать растения, например, и не хотите, чтобы Google думал, что вы изучаете экологическое разнообразие в тропических лесах Амазонки, тогда вам следует использовать этот расширенный поиск Google: растения −джунгли

Поиск по сайту

Что это такое: site: – это расширенный поиск Google, который позволяет сосредоточиться на конкретном веб-сайте или домене. С помощью оператора поиска Google по конкретному сайту вы сообщаете, что хотите искать не во всей сети, а только по определенному сайту.

Когда его использовать: это отличная тактика расширенного поиска Google с несколькими приложениями. Предприниматели могут использовать его для поиска веб-сайтов конкурентов. Допустим, вы занимаетесь йогой и хотите знать, продают ли ваши конкуренты определенный товар. Вы можете указать Google, чтобы он выполнял поиск только на сайте этого конкурента. Вы также можете использовать этот поисковый оператор Google для поиска определенных слов и фраз на своём собственном сайте. Это особенно полезно, если вы хотите найти потенциально повторяющиеся продукты или контент.

Примечание: У этой уловки с поиском в Google есть противоположность: вместо site:domen.com вы набираете −site:domen.com. Тогда вы будете искать по всей сети, за исключением одного этого сайта.

Поиск по типу файла

Что это такое: эта функция расширенного поиска Google позволяет сузить результаты поиска до определенных типов файлов, таких как .GIF, .PNG, .PPT и т.д. Если вы не укажете формат файла перед этим оператором, Google будет показывать ссылки на все файлы, относящиеся к поисковому запросу

Когда его использовать: рассмотрите возможность использования оператора filetype: , когда ищете изображения продуктов для использования на своем веб-сайте. Вы можете ограничить тип файла до .PNG, чтобы получить быстрые результаты. Другой вариант использования может включать изучение презентаций PowerPoint, связанных с конкретным продуктом, чтобы увидеть, можете ли вы добавить что-нибудь ценное к описанию продукта.

На что это похоже:

Связанный поиск

Что это такое: расширенный поиск Google по теме позволяет находить похожие друг на друга веб-сайты. Когда вы выполняете связанный поиск, Google выдаст результаты для сайтов, которые находятся в том же диапазоне, что и выбранный вами.

Когда его использовать: related: идеально подходит для выявления конкурентов. Вы можете подключить свой сайт к соответствующему поисковому запросу, и тогда Google автоматически откроет другие похожие сайты в сети. Это позволит вам провести некоторое исследование рынка продуктов, которые они продают, цен и т.д.

Поиск ссылок

Что это такое: в отличие от обычного поиска, при котором Google просматривает Интернет в поисках определенных терминов, поиск по ссылкам – это расширенный поиск ссылок между веб-сайтами. Если какой-либо веб-сайт ссылается на указанный сайт, вы увидите его в результатах поиска.

Когда его использовать: используйте оператор link: , если вы хотите, чтобы Google знал, что вас интересует не контент, а ссылки, содержащиеся в нём. Поэтому, если вы хотите знать, например, какие веб-сайты ссылаются на ваш веб-сайт, используйте поиск по ссылкам. Вы также можете использовать его, чтобы посмотреть, какие веб-сайты ссылаются на ваших конкурентов, чтобы вы могли связаться с ними и получить собственную ссылку.

В заголовке, в тексте и в URL

Что это такое: мы объединяем эти три расширенных метода поиска Google вместе, потому что они выполняют одну и ту же функцию – только в разных частях страницы.

allintitle позволяет вам находить страницы, в названии которых есть определенный набор слов, и отбрасывать страницы, в названии которых нет волшебного текста. allintext делает то же самое, но вместо сканирования заголовков ищет соответствие в тексте сообщений и страниц. Наконец, allinURL позволяет – как вы уже догадались – находить страницы, в URL которых есть определенные термины.

Когда его использовать: эти советы по расширенному поиску в Google отлично подходят для определения наиболее распространенных фраз, которые ваши конкуренты используют для определенных продуктов. Вы можете попытаться превзойти их по тем же самым фразам, или вы можете объединить расширенные результаты поиска Google с исследованием ключевых слов, чтобы выявить «низко висящие фрукты».

Например, если вы продаёте аксессуары для смартфонов и замечаете, что есть тысячи заголовков, страниц и URL-адресов содержат «чехол для смартфона», но очень немногие содержат «держатель для смартфона», возможно, вы только что нашли микро-нишу, которая недостаточно обслуживается.

Примечание. Вы можете отказаться от «all» в любом из этих операторов поиска Google, чтобы объединить поисковые запросы. Например, если вы хотите узнать, является ли слово «прочный» важным аргументом в пользу других магазинов, продающих чехлы для iPhone, вы можете выполнить поиск, подобный этому: чехлы для iphone intext:прочный. Это даст вам возможность искать чехлы для iPhone в Google и ограничиться чехлами для iPhone, которые описаны в тексте как прочные. Вы можете выполнить тот же поиск, но использовать intitle вместо intext, получая информацию о том, какие поставщики чехлов для iPhone считают, что долговечность достаточно важна, чтобы упоминать её в заголовке страницы.

Автозаполнение

Что это такое: автозаполнение – тоже автозаполнение, которое мы используем для поиска текстов песен и названий фильмов – можно использовать как часть вашего расширенного поискового арсенала. Google знает, какие термины и фразы люди используют в сочетании, и заполнит пробелы, ищете ли вы неуловимые слова для припева начала 90-х или проводите исследование рынка для своего магазина.

Когда его использовать. Продавцы могут использовать автозаполнение для множества функций. Например, вы можете сравнивать товары; определить, какие товары часто появляются вместе; и выясните ключевые слова и фразы, которые Google чаще всего ассоциирует с вашими продуктами.

На что это похоже:

Недостающие слова

Что это такое: это более формальный способ сделать то же самое, что и при автозаполнении. Вместо того, чтобы запускать поисковый запрос и затем позволять Google предлагать способы его завершения, вы сообщаете Google, какого именно фрагмента головоломки вам не хватает.

Когда его использовать: если вы хотите, чтобы Google заполнил за вас пустое поле, вам нужно использовать символ * вместо пропущенных слов. Эта тактика поиска Google часто используется для завершения фразы.

Определения

Что это такое: эта опция расширенного поиска предоставляет вам встроенный словарь Google. Ваш поиск отобразит значение искомого слова в карточном формате. Вы получаете определение, набор синонимов (а иногда и антонимов), а также пример предложения, в котором используется искомое слово. Вы также можете прослушать произношение слова, нажав на значок мегафона.

Когда его использовать: define: предназначен для тех случаев, когда вам нужно быстро найти определение слова или фразы. Или, может быть, посмотреть, как произносится конкретное слово.

Поиск для конкретных мест

Что это такое: магия этой команды заключается в том, что она возвращает результаты из указанного вами места. Таким образом, этот трюк Google поможет сузить область поиска, если вы ищете спортивные или текущие события, связанные с определенной областью.

Когда его использовать: этот совет по поиску в Google полезен, если вы ищете что-то в определенном месте. Итак, если вы ищете новости из определенной области и хотите отфильтровать свой поиск, поставьте двоеточие после запроса и укажите место.

Использование страницы расширенного поиска Google

Несмотря на то, что большая часть мировых знаний доступна через Google, это не означает, что вам нужно видеть всё, чтобы найти то, что вам нужно. Есть более простой способ выполнить поиск и использовать все функции расширенного поиска Google, не запоминая их все.

В этом вам поможет страница расширенного поиска в Google.

Эта веб-страница делает ваш расширенный поиск в Google очень точным и простым в использовании. С помощью этого инструмента вы можете ограничить поиск по атрибутам, которые недоступны в обычном окне поиска Google. Всё, что вам нужно сделать, это заполнить поля на странице. Перед каждым полем вы найдёте объяснение того, как этот поиск сузит ваши результаты.

Страница расширенного поиска Google может пригодиться, когда вы ищете академические результаты, определенный тип изображения или даже выполняете расширенный поиск видео.

Ниже приведены некоторые дополнительные сведения об этих поисках.

Расширенный поиск картинок Google

Для большинства предпринимателей простого поиска изображений в Google достаточно, чтобы получить изображения продуктов, которые им нужны. Однако, у вас также есть возможность использовать расширенный поиск Картинок Google, чтобы лучше фильтровать результаты.

Например, если вам сложно найти изображения продуктов с прозрачным фоном, вы можете использовать фильтр, чтобы отображались только изображения с чистым фоном.

Чтобы узнать, какие фильтры доступны, откройте images.google.com, перейдите в «Настройки» и выберите «Расширенный поиск».

Как видно на скриншоте выше, Расширенный поиск Картинок Google позволяет вам уточнить результаты по типу изображения, соотношению сторон, цветам изображения, правам на использование и многому другому. Обязательно выберите «лицензии Creative Commons» в качестве типа права использования, если вы ищете изображения, не содержащие стоковые изображения, для использования на страницах вашего продукта.

Расширенный поиск видео Google

Что касается видео, Google предлагает расширенные функции поиска, которые позволяют фильтровать результаты для онлайн-видео. Например, вы можете захотеть найти не слишком длинные или не слишком короткие видео. С помощью расширенного поиска видео Google вы можете указать, чтобы в результатах поиска были видео средней длины.

Чтобы увидеть полный список доступных фильтров, введите любой поисковый запрос в Google, щелкните вкладку видео, откройте «Настройки» и выберите «Расширенный поиск».

Вы также можете ограничить результаты только видео HD, искать видео-контент только на одном веб-сайте (например, Vimeo) и находить видео с субтитрами / скрытыми субтитрами.

Если вы хотите встраивать видео на свой веб-сайт, эти расширенные фильтры поиска видео, скорее всего, вам пригодятся.

Расширенный поиск в новостей

Скорее всего, вы об этом не подозреваете: у Google есть страница расширенного поиска новостей, на которой можно найти новости из определенного источника, места или тематической категории. Фильтр источника особенно полезен, поскольку он не дает вам тратить время на попытки вспомнить полный URL-адрес источника новостей. Просто сообщите Google слова, которые вы знаете, и он вернёт результаты из источников, в названии которых есть эти слова.

Быстрый расширенный поиск Google

Калькулятор

Когда вам нужно сделать быстрый расчёт, вместо того, чтобы искать калькулятор или открывать приложение калькулятора, всё, что вам нужно сделать, это ввести «калькулятор» в строку поиска Google, и вы получите его.

Калькулятор чаевых

Помимо обычного калькулятора, у вас есть доступ к встроенному калькулятору чаевых от Google. В следующий раз, когда вы будете в баре или кафе и попытаетесь выяснить математику, лежащую в основе чаевых, вы можете мгновенно найти его, используя этот поисковый трюк. Всё, что вам нужно сделать, это выполнить поиск по «калькулятор чаевых», ввести сумму счёта, процент и количество людей.

Таймер

Если вам нужно отсчитать время до момента, вы можете положиться на встроенный таймер Google. Всё, что вам нужно сделать, это ввести количество времени + слово «таймер», и обратный отсчёт начнётся.

Секундомер

Как и в случае с таймером, чтобы использовать секундомер, просто введите слово «секундомер» в Google, и вы сразу же его получите. Вы можете запускать и останавливать его по своему усмотрению.

Погода

Если вы ищете статистику погоды или прогноз для определенного места, всё, что вам нужно, это поиск погоды + интересующий вас район.

Информация об авиакомпании

Если вы выполните поиск по авиакомпании и номеру самолета в Google, вы сможете увидеть терминал полета, номер выхода, ожидаемое время вылета, ожидаемое время прибытия, время до пункта назначения и многое другое.

Бонус! Смешные поисковые запросы Google

Прежде чем мы подведём итоги, вот три глупых уловки с поиском в Google, которые помогут вам убить минуту или две.

• Введите «Do a Barrel Roll», и страница поиска Google буквально закрутиться.
• Google «определяет анаграмму» – слово или фразу, созданную перемещением букв в слове или слов в фразе.
• Введите «flip a coin» – и получите генератор случайного подброса монетки!

Google Search Console: руководство для начинающих вебмастеров

От того, как ранжируется ваш сайт на поиске Google, напрямую зависит его посещаемость. На позиции в выдаче влияет релевантность контента поисковому запросу, скорость загрузки страниц, поведенческие сигналы, наличие технических ошибок и многие другие факторы. Получить полную картину эффективности ресурса на Google-поиске можно с помощью Search Console.

Рассказываем, как работать с этим сервисом и использовать его отчеты для оптимизации сайта.

Что такое Google Search Console

Google Search Console — бесплатный инструмент для вебмастеров и SEO-специалистов, который показывает, как Google сканирует и представляет сайт в результатах поиска.

Какие задачи можно решить с помощью информации в Google Search Console:

• Собрать данные о целевой аудитории — по каким запросам были переходы на сайт, в каких странах находятся пользователи, какими устройствами пользуются.
• Проанализировать ключевые слова, по которым посетители сайта нашли его в поиске Google — по каждому ключевому слову можно посмотреть его позицию, количество показов, переходов, кликабельность.
• Определить эффективные и неэффективные страницы с точки зрения скорости загрузки.
• Найти непроиндексированные страницы и ускорить их индексацию.
• Определить среднюю позицию сайта на поиске Google, в том числе, позицию сайта по определенному запросу.
• Выявить проблемы в мобильной версии — слишком мелкий шрифт, не задано значение метатега viewport и т. д.
• Проанализировать ссылочную массу — какие внешние источники ссылаются на сайт и на какие конкретно страницы.

Как добавить площадку в Search Console

Авторизуемся в Google, переходим в Google Search Console и для начала выбираем тип ресурса, который нужно добавить. От этого зависят способы, которыми можно подтвердить права на него.

Доступно два варианта:

• Доменный ресурс. Проверяется не отдельный протокол, а весь ресурс, в том числе все домены, протоколы и директории. Например, при добавлении ресурса promopult.ru, проверка будет распространяться и на его поддомен — blog.promopult.ru. Подтвердить права на доменный ресурс можно только с помощью DNS.
• Ресурс с префиксом в URL. Проверка прав осуществляется только по конкретному адресу с определенным протоколом. Например, только по адресу https://blog.promopult.ru. В этом случае возможны разные способы подтверждения.

Как подтвердить права на доменной ресурс

Вводим домен или субдомен:

Подтверждаем права собственности на домен. Для этого копируем запись TXT и добавляем ее в конфигурацию DNS своего домена. Кликаем «Подтвердить».

Как подтвердить права на ресурс с префиксом в URL

Выбираем доступный способ подтверждения прав:

• Скачать созданный сервисом HTML-файл и загрузить на свой сайт.

• Другие способы подтверждения. Можно добавить тег HTML в код главной страницы, добавить в код главной страницы фрагмент кода analytics.js или gtag.js., использовать аккаунт Диспетчера тегов, добавить записи DNS в конфигурацию домена.

Если нужно добавить в Search Console еще один ресурс, разворачиваем список напротив надписи «Ресурс» и выбираем «Добавить ресурс»:

Далее повторяем процедуру верификации.

Отчеты и инструменты в Search Console

После добавления ресурса в Search Console открывается доступ к его инструментам и отчетам. Остановимся на каждом и опишем функционал.

Отчет «Обзор»

Разворачиваем список напротив «Ресурс» и выбираем нужный ресурс:

После этого попадаем на главную страницу, где представлен отчет «Обзор». Это общий отчет по основным показателям.

Разделы отчета «Обзор»:

• Эффективность. Представлены данные о том, сколько кликов получил сайт за месяц в Google Поиске и общее количество кликов.
• Покрытие. Показывается количество проиндексированных страниц.

• Улучшения. Сколько страниц сайта проиндексированы без ошибок, а сколько — с ошибками.

Получить подробные данные по каждому пункту можно двумя способами: перейти в соответствующий раздел меню («Эффективность», «Обзор» или «Улучшения») или кликнуть «Открыть отчет» в строке таблицы.

Отчет «Эффективность»

Это ключевой отчет для SEO-специалистов. В старой версии Search Console его аналогом был отчет «Анализ поисковых запросов».

Из отчета можно узнать:

• По каким запросам пользователи попадали на ресурс.
• Динамику трафика и показов на сайте.
• Средний CTR ресурса, страницы с высоким и низким CTR.
• Среднюю позицию сайта на поиске Google и позиции ресурса по конкретным запросам.
• Определить, из каких стран и с каких устройств пользователи заходят на сайт (мобайл, десктоп).

Отслеживаем динамику по основным показателям

В верхней части отчета находится линейный график, на котором отображается динамика кликов и показов за последние 3 месяца. Также указывается средний CTR и средняя позиция сайта на поиске.

По умолчанию на графике представлены только клики и показы:

На график можно добавить показатели среднего CTR и/или средней позиции сайта.

Например, добавим на график показатель CTR. Для отображения показателя поставим галочку в блоке «Средний CTR»:

Также в отчете «Эффективность» можно задать статистику за другой период. Для этого нажимаем «Дата: за последние 3 месяца»:

Указываем нужный период:

В результате мы получим график за последние 12 месяцев:

Анализируем статистику по конкретному запросу

В Search Console можно посмотреть статистику по конкретному запросу или слову, которое должен содержать запрос. Для этого воспользуемся фильтром.

Допустим, мы хотим посмотреть статистику по всем запросам, которые содержат слово «завод». Для этого кликаем на «+Новый»:

В меню выбираем пункт «Запрос»:

Выбираем фильтр «Запросы, содержащие». Ниже пишем слово «завод» и применяем изменения:

Получаем линейный график по ключевым запросам, содержащим слово «завод»:

Внизу находится таблица с подробной статистикой за три месяца по всем словам, которые содержат слово «завод»:

Из таблицы мы видим, что больше всего кликов было по запросу «ярославский завод композитов». Больше всего показов было по запросу «завод композитных материалов».

Посмотрим, с каких устройств пользователи переходили на сайт по запросам, которые содержат слово «завод композитных материалов». Для этого перейдем на вкладку «Устройства»:

Из таблицы мы видим, что большинство пользователей переходили с десктопных устройств — 26 кликов. Но переходы с мобильных устройств также были — всего 9 кликов.

Анализируем, по каким запросам ранжируется страница

Воспользуемся фильтром, чтобы посмотреть по каким запросам ранжируется страница. Для этого нажимаем на «+Новый» и в меню выбираем «Страница»:

В выпадающем списке выбираем «Точный URL» и указываем адрес:

Внизу отчета появится список запросов, по которым эта страница ранжируется на поиске Google:

Указанная страница ранжируется по шести запросам. Больше всего показов было по запросу «композитная арматура купить». Ни по одному из запросов не было кликов.

Определяем запросы с низким CTR

Переходим к таблице со статистикой по запросам. Нажимаем на значок фильтра и в выпадающем меню выбираем пункт «CTR»:

Отфильтруем запросы, у которых CTR меньше 10%. Кликаем на «Готово»:

Получаем список всех запросов с низким CTR:

Из результатов видно, что по многим запросам не было кликов. Поэтому они имеют нулевой CTR.

Проверка URL

Проверка URL показывает, попала ли страница в индекс. Аналогичная функция в старой версии Search Console — «Посмотреть как Googlebot».

Для выполнения проверки вводим URL в строку поиска:

Система выполнит проверку:

По результатам проверки мы видим, что никаких ошибок не обнаружено: URL есть в индексе Google, страница оптимизирована для мобильных устройств.

Зачем нужно использовать проверку URL:

• Ускорить индексацию новой страницы. Если проверка показала, что URL не проиндексирован, то можно ускорить процесс индексации. Для этого необходимо запросить индексирование.

• Ускорить переиндексацию. Если произошло обновление страницы (например, изменились цены, ассортимент, описание товара, описание компании и т. д.), то также можно запросить индексирование повторно.
• Устранить ошибки. В ходе проверки URL система может обнаружить ошибки. Для получения подробной информации нажимаем «Изучить просканированную страницу»:

Здесь можно посмотреть HTML-код страницы (вкладка «HTML»). Перейдем на вкладку «Скриншот», чтобы посмотреть, как видит страницу Google.

Оказывается, Google видит эту страницу совсем не так как пользователь. Для уточнения причин переходим на вкладку «Подробнее»:

Причина в том, что при индексации не все ресурсы страницы удалось загрузить. Также обнаружены две ошибки кода JavaScript.

В отчете «Покрытие» содержится информация о количестве проиндексированных страниц и ошибках. Аналогичный инструмент в предыдущей версии Search Console назывался «Статус индексирования».

Перейдем на вкладку «Покрытие». Здесь мы видим, что 98 страниц проиндексировано Google без ошибок. Исключено из поиска 113 страниц.

Посмотрим отчет о проиндексированных страницах. Для этого устанавливаем галочку в блоке «Страницы без ошибок».

Внизу в разделе «Сведения» отображается информация о типе проверки и количестве страниц. Нажимаем на ссылку «Страница без ошибок»:

Попадаем в отчет, в котором показывается, какие страницы и когда были проиндексированы:

Аналогичным образом узнаем о страницах, исключенных из индекса. Устанавливаем галочку в блоке «Исключено»:

Переходим в раздел «Сведения». Там указано сколько страниц:

• исключено из-за переадресации;
• просканировано, но пока не проиндексировано;
• заблокировано в файле robots.txt и т. д.

Посмотрим отчет по страницам, которые просканированы роботом Google, но еще не попали в индекс. Для этого нажимаем на нужную строку:

Из этого отчета можно посмотреть URL страницы и дату сканирования. Например, мы видим что последняя в таблице страница была просканирована более двух месяцев назад, но так и не попала в индекс.

Кликаем два раза по этой строке — справа откроется окно с подробностями по данному URL.

Проверим блокировку URL в robots.txt:

Проверка не обнаружила директив, которые запрещают индексацию страницы.

Для ускорения процесса индексации URL запросим индексирование. Для этого нажимаем «Проверить URL»:

Проверка показывает, что URL нет в индексе. Нажимаем «Запросить индексирование»:

После этих действий Google проверит возможность индексирования страницы. Если никаких ошибок не будет обнаружено, то страница попадет в индекс.

Файлы Sitemap

Для ускорения индексации, а также передачи поисковому роботу информации о последнем обновлении и приоритетности обхода страниц составляется xml-карта сайта. Отправить карту сайта для сканирования гуглоботом и выявления возможных ошибок можно через Search Console в разделе «Файлы Sitemap».

Для добавления карты сайта вносим ее адрес в поисковую строку и нажимаем «Отправить»:

В блоке «Файлы на проверке» можно посмотреть информацию о добавленной карте. Здесь отображается тип файла, дата его отправки, статус, дата последней обработки, количество выявленных URL.

Для получения более подробной информации о проверке кликаем на любое место в строке с данными:

Из отчета видно, что все URL успешно обработаны. Ошибки, предупреждения или исключения отсутствуют.

Если обнаружены ошибки, посмотрите отчет об индексировании. Это важно, потому что все страницы в карте сайта должны быть проиндексированы.

С помощью этого инструмента Search Console можно временно (примерно на 6 месяцев) удалить из результатов поиска Google URL, текущее описание страницы или ее кешированную версию.

Покажем, как временно удалить URL. Перейдем в раздел «Удаление» — вкладка «Временные удаления». Нажимаем кнопку «Создать запрос»:

Вводим URL, выбираем опцию «Удалить только этот URL» и подтверждаем свои действия:

Готово! Временно можно удалить конкретную страницу или целую папку.

Основные интернет-показатели

Из отчета «Основные интернет-показатели» можно узнать, насколько эффективно работают страницы сайта для ПК и мобильных устройств. Источник данных — отчет об удобстве пользования браузером Chrome. Этот отчет приобрел особую значимость в связи с введением Google новых факторов оценки качества сайта — Core Web Vitals. Это три показателя, которые потенциально будут влиять на ранжирование ресурса в Google:

• LCP (Largest Contentful Paint) — скорость загрузки основного контента на странице;
• FID (First Input Delay) — время, которое проходит до возможности первого взаимодействия с контентом;
• CLS (Cumulative Layout Shift) — стабильность верстки (как сильно сдвигается верстка в процессе загрузки контента).

Данные по всем трем показателям и представлены в этом отчете.

Важно: вы не сможете посмотреть здесь данные о скорости загрузки для отдельной страницы. Данные сгруппированы по статусу, показателям и группам URL. Задача отчета — получить полную картину эффективности ресурса в целом и устранить неполадки. Узнать о скорости загрузки конкретного URL можно с помощью сервиса PageSpeed Insights.

Перейдем в раздел «Основные интернет-показатели». Здесь представлены данные о количестве:

• эффективных URL-адресов;
• неэффективных URL-адресов;
• страниц, скорость которых надо увеличить.

Посмотрим подробнее отчет по основным интернет-показателям страниц сайта для ПК. Для этого кликнем на «Открыть отчет»:

В отчете URL сгруппированы по следующим параметрам:

• Низкая скорость (показатель LCP больше 4 с).
• Нужно увеличить скорость загрузки (меньше 4 с, но больше 2,5 с). Это URL-адреса, которые не являются неэффективными, но скорость их загрузки можно увеличить.
• Вполне надежный (2,5 с и меньше). Это страницы, которые быстро загружаются и благоприятно воспринимаются пользователями.

Из нашего отчета видно, что в течение трех месяцев неэффективных URL-адресов обнаружено не было. Но есть рекомендации по увеличению скорости загрузки страниц.

В разделе «Сведения» представлена информация о рекомендациях, проверках и тенденциях. В столбце «Статус» мы видим рекомендацию по увеличению скорости. Для получения более развернутых сведений кликаем по этой строке:

После работ по оптимизации страницы проверим в Search Console, устранена ли проблема. Для этого нажимаем «Проверить исправление»:

Проверка занимает до 28 дней. Но система не сможет ее выполнить, если на странице будет низкая посещаемость.

Удобство для мобильных

Отчет предоставляет информацию о том, какие страницы сайта не оптимизированы под мобильный трафик.

Вверху отображается число страниц, которые неудобно просматривать на мобильных устройствах. Мы видим, что на 8 страницах обнаружено 2 проблемы. На 38 страницах проблем не обнаружено.

По умолчанию на графике отображаются данные только по ошибкам. Установим галочки напротив показателей «Страница без ошибок» и «Показы». Так мы можем отследить в динамике количество просмотров с мобильных устройств:

Ниже в разделе «Сведения» указаны ошибки.

В нашем случае их две (и они самые распространенные):

• Интерактивные элементы расположены слишком близко. Ошибка показывается в том случае, когда элементы навигации на странице находятся настолько близко, что пользователь не может пользоваться одним, не задевая второй.
• Контент шире экрана. Ошибка выдается в том случае, если для просмотра страницы приходится пользоваться горизонтальной прокруткой.

Также к ошибкам относятся: слишком мелкий шрифт, не задано значение метатега viewport, в метатеге viewport не задано значение device-width.

Для получения более подробной информации об ошибке кликаем на нужную строку:

В открывшемся отчете перечислены URL страниц, на которых обнаружена ошибка:

После оптимизации страницы можно проверить, решена ли проблема:

Не знаете, с чего начать оптимизацию сайта под мобильные устройства? Изучите гайд по Mobile First — часть 1, часть 2, часть 3.

Отчет о статусе AMP-страниц

Для тех, кто внедрил на сайте технологию ускоренных AMP-страниц, в Search Console есть специальный отчет для отслеживания их эффективности. Он показывает, какие AMP-страницы сайта проиндексированы Google, и выявляет ошибки.

Как и многие отчеты в Search Console, этот состоит из двух частей — диаграммы и таблицы. На диаграмме наглядно показано количество страниц с ошибками, предупреждениями и без ошибок. В табличной части представлена информация о конкретных проблемах: URL не найден или заблокирован в robots.txt, размер изображения меньше рекомендуемого и другие (полный перечень возможных ошибок — здесь).

Отчеты о статусе расширенных результатов

Из этой группы отчетов можно узнать, какие данные для расширенных результатов Google смог найти в контенте страниц, и есть ли в этих данных ошибки.

Search Console поддерживает отчеты о таких типах расширенных результатов: строки навигации, товар, логотип, вакансии, набор данных, мероприятие, видео и другие (полный список — здесь). Эти типы робот определяет по наличию в коде страницы определенного вида микроразметки.

О том, как самостоятельно внедрить микроразметку Schema.org, мы писали в этой статье, OpenGraph — в этой. А здесь рассказали о синтаксисе JSON-LD, который Google рекомендует использовать для разметки данных.

Покажем принцип организации данных на примере отчетов «Строки навигации» и «Продукты».

Строки навигации

Перейдем в раздел «Строки навигации». В верхней части отчета мы видим диаграмму и три вкладки: «Ошибка», «Без ошибок, есть предупреждения», «Страница без ошибок». Ниже представлена таблица с подробной расшифровкой типа проблем и количества элементов, в которых найдены ошибки или есть предупреждения.

Чтобы посмотреть примеры URL с ошибкой, нужно кликнуть на строку таблицы.

Перейдем в раздел «Продукты»:

What Is Crawl Budget & Why Most SEOs Shouldn’t Worry About It

Patrick Stox is a Product Advisor, Technical SEO, & Brand Ambassador at Ahrefs. He was the lead author for the SEO chapter of the 2021 Web Almanac and a reviewer for the 2022 SEO chapter. He also co-wrote the SEO Book For Beginners by Ahrefs and was the Technical Review Editor for The Art of SEO 4th Edition. He’s an organizer for several groups including the Raleigh SEO Meetup (the most successful SEO Meetup in the US), the Beer and SEO Meetup, the Raleigh SEO Conference, runs a Technical SEO Slack group, and is a moderator for /r/TechSEO on Reddit.

Article Performance
Data from Ahrefs
Organic traffic
Linking websites
Get SEO metrics of any website or URL.

The number of websites linking to this post.

This post’s estimated monthly organic search traffic.

Get the week’s best marketing content

Crawl budget is how many pages a search engine wants to crawl on your site (crawl demand) and how fast they can crawl (crawl rate). It’s affected by the amount of resources a crawler wants to use on your site and the amount of crawling your server supports.

More crawling doesn’t mean you’ll rank better, but if your pages aren’t crawled and indexed they aren’t going to rank at all.

Most sites don’t need to worry about crawl budget, but there are few cases where you may want to take a look. Let’s look at some of those cases.

• When should you worry about crawl budget?
• How to check crawl activity
• What counts against crawl budget?
• How does Google adjusts its crawling?
• How can I make Google crawl faster?
• How can I make Google crawl slower?

When should you worry about crawl budget?

SEOs usually don’t have to worry about crawl budget on popular pages. It’s usually pages that are newer, that aren’t well linked, or don’t change much that are not crawled often.

Crawl budget can be a concern for newer sites, especially those with a lot of pages. Your server may be able to support more crawling, but because your site is new and likely not very popular yet, a search engine may not want to crawl your site very much. This is mostly a disconnect in expectations. You want your pages crawled and indexed but Google doesn’t know if it’s worth indexing your pages and may not want to crawl as many pages as you want them to.

Crawl budget can also be a concern for larger sites with millions of pages or sites that are frequently updated. In general, if you have lots of pages not being crawled or updated as often as you’d like, then you may want to look into speeding up crawling. We’ll talk about how to do that later in the article.

How to check crawl activity

If you want to see an overview of Google crawl activity and any issues they identified, the best place to look is the Crawl Stats report in Google Search Console.

There are various reports here to help you identify changes in crawling behavior, issues with crawling, and give you more information about how Google is crawling your site.

You definitely want to look into any flagged crawl statuses like the ones shown here:

There are also timestamps of when pages were last crawled.

If you want to see hits from all bots and users, you’ll need access to your log files. Depending on hosting and setup, you may have access to tools like Awstats and Webalizer as is seen here on a shared host with cPanel. These tools show some aggregated data from your log files.

For more complex setups you’ll have to get access to and store data from the raw log files, possibly from multiple sources. You may also need specialized tools for larger projects such as an ELK (elasticsearch, logstash, kibana) stack which allows for storage, processing, and visualization of log files. There are also log analysis tools such as Splunk.

What counts against crawl budget?

All URLs and requests count against your crawl budget. This includes alternate URLs like AMP or m-dot pages, hreflang, CSS, embedded content, and JavaScript including XHR requests.

These URLs may be found by crawling and parsing pages, or from a variety of other sources including sitemaps, RSS feeds, submitting URLs for indexing in Google Search Console, or using the indexing API.

There are also multiple Googlebots that share the crawl budget. You can find a list of the various Googlebots crawling your website in the Crawl Stats report in GSC.

Google adjusts how they crawl

Each website will have a different crawl budget that’s made up of a few different inputs.

Crawl demand

Crawl demand is simply how much Google wants to crawl on your website. More popular pages and pages that experience significant changes will be crawled more.

Popular pages, or those with more links and PageRank, will generally receive priority over other pages. Remember that Google has to prioritize your pages for crawling in some way, and links are an easy way to determine which pages on your site are more popular. It’s not just your site though, it’s all pages on all sites on the internet that Google has to figure out how to prioritize.

You can use the Best by links report in Site Explorer as an indication of which pages are likely to be crawled more often. It also shows you when Ahrefs last crawled your pages.

Google also looks at which pages they are serving in their index the most often when determining crawl demand. They want to crawl pages they have to serve more often to make sure they’re up to date.

There’s also a concept of staleness. If Google sees that a page isn’t changing, they will crawl the page less frequently. For instance, if they crawl a page and see no changes after a day, they may wait three days before crawling again, ten days the next time, 30 days, 100 days, etc. There’s no actual set period they will wait between crawls, but it will become more infrequent over time. However, if Google sees large changes on the site as a whole or a site move, they will typically increase the crawl rate, at least temporarily.

Crawl rate limit

Crawl rate limit is how much crawling your website can support. Websites have a certain amount of crawling they can take before having issues with the stability of the server like slowdowns or errors. Most crawlers will back off crawling if they start to see these issues so they do not harm the site.

Google will adjust based on the crawl health of the site. If the site is fine with more crawling, then the limit will increase. If the site is having issues, then Google will slow down the rate at which they crawl.

Google will slow down their crawling if they receive too many 5xx (server errors) or 429 (too many requests) HTTP status codes.

I want Google to crawl faster

There are a few things you can do to make sure your site can support additional crawling and increase your site’s crawl demand. Let’s look at some of those options.

Speed up your server / increase resources

The way Google crawls pages is basically to download resources and then process them on their end. Your page speed as a user perceives it isn’t quite the same. What will impact crawl budget is how fast Google can connect and download resources which has more to do with the server and resources. Check your logs for any 5xx or 429 errors.

More links, external & internal

Remember that crawl demand is generally based on popularity or links. You can increase your budget by increasing the amount of external links and/or internal links. Internal links are easier since you control the site. You can find suggested internal links in the Link Opportunities report in Site Audit, which also includes a tutorial explaining how it works.

Fix redirected links

Keeping links to redirected pages on your site active will have a small impact on crawl budget. Typically, the pages linked here will have a fairly low priority because they probably haven’t changed in a while, but cleaning up any issues is good for website maintenance in general and will help your crawl budget a bit.

You can find redirected (3xx) links on your site easily in the Internal pages report in Site Audit.

For redirected links in the sitemap, check the All issues report for the “3XX redirect in sitemap” issue.

Use GET instead of POST where you can

This one is a little more technical in that it involves HTTP Request methods. Don’t use POST requests where GET requests work. It’s basically GET (pull) vs POST (push). POST requests aren’t cached so they do impact crawl budget, but GET requests can be cached.

Use the Indexing API

If you need pages crawled faster, check if you’re eligible for Google’s Indexing API. Currently this is only available for a few use cases like job postings or live videos.

Bing also has an Indexing API that’s available to everyone.

Noindex

Google still has to crawl pages to see the noindex tag, but with their crawl adjustments they may crawl these pages less and less over time. If you have pages you don’t want indexed anyway, it may be worth adding the noindex tag.

304 (Not Modified)

Googlebot doesn’t always send an If-Modified-Since or If-None-Match HTTP request header. If they do send it and your server responds with a 304 (Not Modified) response with no body content, then Google will reuse the content from the last time they crawled.

This will use a bit less server resources, meaning Google may be able to crawl your site more. However, it is a technically complex setup and it just doesn’t feel like it’s worth it. You’re likely better off working on your caching setup rather than even attempting this approach.

What may work

This is a bit iffy as to whether it will help your crawl budget or not.

• Nofollow. In the past nofollow links wouldn’t have used crawl budget. However, nofollow is now treated as a hint so Google may choose to crawl these links. They also may find the links as followed on other pages on the web.

What won’t work

There are a few things people sometimes try that won’t actually help with your crawl budget.

• Small changes to the site. Making small changes on pages like updating dates, spaces, or punctuation in hopes of getting pages crawled more often. Google is pretty good at determining whether changes are significant or not, so these small changes aren’t likely to have any impact on crawling.
• Crawl-delay directive in robots.txt. This directive will slow down many bots. However Googlebot doesn’t use it so it won’t have an impact. We do respect this at Ahrefs, so if you ever need to slow down our crawling you can add a crawl delay in your robots.txt file.
• Removing third-party scripts. Third-party party scripts don’t count against your crawl budget, so removing them won’t help.

I want Google to crawl slower

There are just a couple good ways to make Google crawl slower. There are a few other adjustments you could technically make like slowing down your website, but they’re not methods I would recommend.

Slow adjustment, but guaranteed

The main control Google gives us to crawl slower is a rate limiter within Google Search Console. You can slow down the crawl rate with the tool, but it can take up to two days to take effect.

Fast adjustment, but with risks

If you need a more immediate solution, you can take advantage of Google’s crawl rate adjustments related to your site health. If you serve Googlebot a ‘503 Service Unavailable’ or ‘429 Too Many Requests’ status codes on pages, they will start to crawl slower or may stop crawling temporarily. You don’t want to do this longer than a few days though or they may start to drop pages from the index.

Sometimes large changes to a site can also trigger Google to crawl faster. Changes come with risks, so it’s not something I’d typically recommend if your only reason is that you want Google to re-crawl some pages.

Final thoughts

The rate of crawling isn’t going to impact your rankings. I want to reiterate that crawl budget isn’t something for most people to worry about. If you do have concerns, I hope this guide was useful.

I typically only look into it when there are issues with pages not getting crawled and indexed, I need to explain why someone shouldn’t be worried about it, or I happen to see something that concerns me in the crawl stats report in Google Search Console.

Have questions? Let me know on Twitter.