Где находится robots.txt в WordPress?
10.02.2021
По умолчанию Вордпресс автоматически создает файл robots.txt для любого сайта. Но тут есть ряд нюансов. Во-первых, пользователь не знает, где находится robots.txt в WordPress. Во-вторых, не сможет его отредактировать.
Стандартный файл мало кому подходит по настройкам, поэтому его обязательно нужно редактировать, указав, какие директории следует закрыть от индексации, а какие оставить доступными для поисковиков. И для этого необходимо знать все о файле robots.txt в wordpress: где его найти, как его настроить и т.д. Рассмотрим данный вопрос подробнее.
Проверяем наличие файла robots.txt
Итак, система WordPress автоматически создает виртуальный файл robots.txt. Но есть исключения. И перед тем как его искать, необходимо удостовериться, что он существует.
Самый простой способ это проверить – дописать к адресу сайта строчку /robots.txt. Должно получиться примерно так:
Если данный файл есть, то откроется новая страница примерно с таким содержанием:
В файле robots.txt указано несколько строчек, поэтому он считается некорректным. Его нужно изменить, подробно указав, что можно индексировать, а что – нельзя. Но виртуальный файл отредактировать не получится, нужно создавать его физическую версию на хостинге.
Разумеется, предварительно нужно понять, где в сайте на WordPress лежит файл robots.txt, ведь новый файл должен находиться там же, где и предыдущий. В противном случае поисковики его не найдут и посчитают, что его попросту нет (что считается критической ошибкой при продвижении сайта).
Где найти и как работать с файлом robots.txt?
Файл robots.txt лежит в корневой директории сайта. Открыть его можно разными способами.
Первый – через панель управления хостингом. В данном случае нужно перейти по пути: www/адрес_сайта.
Здесь расположены папки:
- wp-admin;
- wp-content;
- wp-includes.
И ниже находятся различные файлы, в том числе и robots.txt.
Второй способ – с помощью FTP-клиента, установленного на компьютере. Например, через программу Filezilla.
Алгоритм действий аналогичный:
- заходите на хостинг с помощью Filezilla;
- открываете папки www/адрес_сайта;
- находите файл robots.txt.
Выделив его и нажав правую кнопку мыши, вы можете его отредактировать. Либо создать новый, если файл отсутствует.
Третий способ – с помощью специальных плагинов WordPress (Yoast SEO или All in One SEO) .
Они выполняют множество полезных функций, в том числе умеют создавать файл robots.txt для сайта на WordPress. Данный вариант очень прост и отлично подходит начинающим пользователям. Достаточно установить подходящий плагин и отредактировать содержимое файла robots.txt сайта на WordPress.
Не надо заходить в панель управления хостинга или ставить на компьютер FTP-клиент. Плюс не придется разбираться, где искать файл в WordPress (SEO плагин сам создаст файл в нужном месте и сохранит изменения).
И последний вариант – проконсультироваться с менеджерами компании, у которой заказывали хостинг сайта.
Это уже самая крайняя мера, которая выручит тех, кто совершенно не разбирается в том, как зайти в панель управления или поставить SEO плагин. Менеджеры помогут разобраться в данном вопросе и подробно объяснят, где найти и как правильно настроить файл robots.txt для вашего сайта.
Понравилась статья? Расскажите о ней друзьям: 
Правильный файл robots.txt для CMS WordPress
20. 04. 2021
Вебмастера и маркетологи знают насколько важна индексация сайта поисковыми системами. Именно поэтому они делают все возможное, чтобы помочь поисковикам типа Google и Yandex правильно сканировать и индексировать свои сайты.
Большое количество времени и ресурсов тратятся на внутреннюю и внешнюю оптимизацию, такую как контент, ссылки, теги, оптимизация изображений и структуры сайта.
Всё это играет огромную роль в продвижении. Однако если вы забыли сделать техническую оптимизацию сайта, если вы не слышали о файлах robots.txt и sitemap.xml могут возникнуть проблемы с правильным сканированием и индексацией вашего сайта.
В этой статье я объясню как правильно настраивать и использовать файл robots.txt и мета-тег robots. Итак, начнем!
Что такое robots.txt
Robots.txt – это текстовый файл, который используется в качестве инструкции для роботов поисковых систем (также известных как сканеры, боты или пауки), как сканировать и индексировать страницы сайта.
Простыми словами, robots.txt говорит роботам, какие страницы или файлы сайта мы хотим видеть в поиске, а какие нет.
В идеале файл robots.txt размещается в корневом каталоге вашего веб-сайта (https://site.com/robots.txt), чтобы роботы могли сразу получить доступ к его инструкциям.
Если вы используете CMS WordPress, то вы сможете увидеть ваш файл по вышеуказанному адресу, однако вы не найдете сам файл в общей папке с вашим сайтом. Это потому что WordPress автоматически создает виртуальный файл robots.txt (с параметрами по-умолчанию), если не находит данный файл в корневом каталоге сайта.
Виртуальный файл robots.txt CMS WordPress не решает всех необходимых задач, в связи с этим крайне желательно написать свой.
Для чего нужен robots.txt
Файл robots.txt нужен, для того чтобы запретить поисковым роботам посещать определенные разделы вашего сайта, например:
- страницы пагинации;
- страницы с результатами поиска на сайте;
- административные файлы;
- служебные страницы;
- ссылки с utm-метками;
- данные о параметрах сортировки, фильтрации, сравнении;
- страница личного кабинета и т.п.
Важно! Файл robots.txt не является обязательным к исполнению поисковыми роботами. В связи с этим, если вы хотите на 100% быть уверенными в том что какая-либо из страниц вашего сайта не появится в поисковой выдаче – используйте мета-тег robots.
Согласно Cправке Google файл robots.txt не предназначен для того, чтобы запрещать показ веб-страниц в результатах поиска Google.
Если вы не хотите чтобы какая-то страница вашего сайта появилась в поиске вставьте в страницы атрибут noindex:
Как редактировать robots txt
Редактировать файл robots.txt в CMS WordPress можно двумя способами. Добавить необходимый код в файл functions.php, или при помощи плагина.
В нашей компании мы предпочитаем второй способ.
Устанавливаем плагин Virtual Robots.txt из репозитория CMS WordPress, открываем его в админ. панеле во вкладке Настройки. В открывшееся поле плагина вносим необходимый код, жмем кнопку Save и вуаля – ваш файл robots.txt готов.
Правильный robots.txt для CMS WordPress
Взял с сайта seogio.ru и немного подкорректировал. Вот что получилось:
User-agent: * # общие правила для роботов всех поисковых систем Disallow: /cgi-bin # служебная папка для хранения серверных скриптов Disallow: /? # все параметры запроса на главной Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет, # правило можно удалить) Disallow: *?s= # поиск по сайту Disallow: *&s= # поиск по сайту Disallow: /search/ # поиск по сайту Disallow: /author/ # архив автора Disallow: /users/ # архив пользователей Disallow: */trackback # трекбеки, уведомления в комментариях о ссылке на веб-документ Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: */embed # все встраивания Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете, # правило можно удалить) Disallow: /xmlrpc.php # файл WordPress API Disallow: *utm*= # ссылки с utm-метками Disallow: *openstat= # ссылки с метками openstat Allow: */uploads # открываем папку с файлами uploads Allow: /*/*.js # открываем файлы скриптов js Allow: /*/*.css # открываем фалы css Allow: /wp-*.png # разрешаем индексировать изображения Allow: /wp-*.jpg # разрешаем индексировать изображения Allow: /wp-*.jpeg # разрешаем индексировать изображения Allow: /wp-*.gif # разрешаем индексировать гифки Allow: /wp-admin/admin-ajax.php # разрешаем ajax # Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS # то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал # Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают. Host: www.site.ru # Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent # не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже. Sitemap: http://site.ru/sitemap.xml Sitemap: http://site.ru/sitemap.xml.gz
Проверка robots.txt
Если файл robots.txt настроен неправильно это может привести к множественным ошибкам в индексации сайта. Проверить правильность настройки вашего robots.txt можно с помощью бесплатного инструмента Google Robots Testing Tool
Выбираем наш сайт:
Вводим в строку путь к нашему файлу robots.txt и жмем кнопку Проверить:
В результате не должно быть ошибок и предупреждений и файл должен быть Доступен для роботов:
Если файл robots.txt настроен правильно, это значительно ускорит процесс индексации вашего сайта.
Файл robots.txt для WordPress
Рассмотрим, зачем нужен файл robots.txt для WordPress, где он находится на хостинге и как настроить правильный robots.txt для WordPress.
Для чего нужен файл robots.txt?
Для того чтобы сайт начал отображаться в Яндекс, Google, Yahoo и других поисковых системах (ПС), они должны внести его страницы в свои каталоги. Этот процесс называется индексацией.
Чтобы проиндексировать тот или иной веб-ресурс, поисковые системы посылают на сайты поисковых роботов (иногда их называют ботами). Они методично сканируют и обрабатывают содержимое каждой страницы сайта. После окончания индексации начинается «социальная жизнь» ресурса: его контент попадается пользователям в результатах поиска по запросам.
Многие сайты создаются на готовых движках и CMS (системах управления контентом) WordPress, Joomla, Drupal и других. Как правило, такие системы содержат страницы, которые не должны попадать в поисковую выдачу:
- временные файлы (tmp);
- личные данные посетителей (private);
- служебные страницы (admin);
- результаты поиска по сайту и т. д.
Чтобы внутренняя информация не попала в результаты поиска, ее нужно закрыть от индексации. В этом помогает файл robots.txt. Он служит для того, чтобы сообщить поисковым роботам, какие страницы сайта нужно индексировать, а какие — нет. Иными словами, robots.txt — это файл, состоящий из текстовых команд (правил), которыми поисковые роботы руководствуются при индексации сайта.
Наличие robots.txt значительно ускоряет процесс индексации. Благодаря нему в поисковую выдачу не попадают лишние страницы, а нужные индексируются быстрее.
Где находится robots.txt WordPress?
Файл robots.txt находится в корневой папке сайта. Если сайт создавался на WordPress, скорее всего, robots.txt присутствует в нем по умолчанию. Чтобы найти robots.txt на WordPress, введите в адресной строке браузера:
https://www.домен-вашего-сайта/robots.txt 
- Если файл присутствует, откроется страница с перечнем правил индексации. Однако чтобы редактировать их, вам потребуется найти и открыть robots.txt на хостинге. Как правило, он находится в корневой папке сайта:
- Если же файл robots.txt по какой-то причине отсутствует, вы можете создать его вручную на своем компьютере и загрузить на хостинг или воспользоваться готовыми решениями (плагинами WordPress).
Как создать файл robots.txt для WordPress?
Есть два способа создания robots.txt:
- Вручную на компьютере.
- С помощью плагинов в WordPress.
Первый способ прост лишь на первый взгляд. После создания пустого документа и загрузки его на сайт, вы должны будете наполнить его содержанием (директивами). Ниже мы расскажем об основных правилах, однако стоит учитывать, что тонкая настройка требует специальных знаний SEO-оптимизации.
Создание robots.txt вручную
Откройте программу «Блокнот».
Нажмите Файл → Сохранить как… (или комбинацию клавиш Ctrl + Shift + S):
Введите название robots.txt и нажмите Сохранить.
Откройте корневую папку сайта и загрузите в нее созданный файл по инструкции. Готово, вы разместили пустой файл и после этого сможете редактировать его прямо в панели управления хостингом.
Создание robots.txt с помощью плагина
Откройте административную панель WordPress по инструкции.
Перейдите в раздел «Плагины» и нажмите Добавить новый:
Введите в строке поиска справа название Yoast SEO и нажмите Enter.
Нажмите Установить → Активировать:
Перейдите к настройкам плагина, выбрав в меню SEO → Инструменты. Затем нажмите Редактор файлов:
Нажмите Создать файл robots.txt:
Нажмите Сохранить изменения в robots.txt: Готово, файл с минимальным количеством директив будет создан автоматически.
Настройка robots.txt WordPress
После создания файла вам предстоит настроить robots.txt для своего сайта. Рассмотрим основы синтаксиса (структуры) этого файла:
- Файл может состоять из одной и более групп директив (правил).
- В каждой группе должно указываться, для какого поискового робота предназначены правила, к каким разделам/файлам у него нет доступа, а к какому — есть.
- Правила читаются поисковыми роботами по порядку, сверху вниз.
- Файл чувствителен к регистру, поэтому если название раздела или файла задано капслоком (например, FILE.PDF), именно так стоит писать и в robots.txt.
- Все правила одной группы должны следовать без пропуска строк.
- Чтобы оставить комментарий, нужно прописать шарп (#) в начале строки.
Все правила в файле задаются через двоеточие. Например:
User-agent: GooglebotГде User-agent — команда (директива), а Googlebot — значение.
Основные директивы и их значения
User-agent — эта директива указывает, на каких поисковых роботов распространяются остальные правила в документе. Она может принимать следующие значения:
- User-agent: * — общее правило для всех поисковых систем;
- User-agent: Googlebot — робот Google;
- User-agent: Yandex — робот Яндекс;
- User-agent: Mai.ru — робот Mail.ru;
- User-agent: Yahoo Slurp — робот Yahoo и др.
У крупнейших поисковых систем Яндекс и Google есть десятки роботов, предназначенных для индексации конкретных разделов и элементов сайтов. Например:
- YandexBot — для органической выдачи;
- YandexDirect — для контекстной рекламы;
- YandexNews — для новостных сайтов и т. п.
Для решения некоторых специфических задач веб-разработчики могут обращаться к конкретным поисковым роботам и настраивать правила исключительно для них.
Disallow — это директива, которая указывает, какие разделы или страницы нельзя посещать поисковым роботам. Все значения задаются в виде относительных ссылок (то есть без указания домена). Основные правила запрета:
- Disallow: /wp-admin — закрывает админку сайта;
- Disallow: /cgi-bin — запрет индексации директории, в которой хранятся CGI-скрипты;
- Disallow: /*? или Disallow: /search — закрывает от индексации поиск на сайте;
- Disallow: *utm* — закрывает все страницы с UTM-метками;
- Disallow: */xmlrpc.php — закрывает файл с API WordPress и т. д.
Вариантов того, какие файлы нужно закрывать от индексации, очень много. Вносите значения аккуратно, чтобы по ошибке не указать контентные страницы, что повредит поисковой позиции сайта.
Allow — это директива, которая указывает, какие разделы и страницы должны проиндексировать поисковые роботы. Как и с директивой Disallow, в значении нужно указывать относительные ссылки:
- Allow: /*.css или Allow: *.css — индексировать все css-файлы;
- Allow: /*.js — обходить js-файлы;
- Allow: /wp-admin/admin-ajax.php — разрешает индексацию асинхронных JS-скриптов, которые используются в некоторых темах.
В директиве Allow не нужно указывать все разделы и файлы сайта. Проиндексируется всё, что не было запрещено директивой Disallow. Поэтому задавайте только исключения из правила Disallow.
Sitemap — это необязательная директива, которая указывает, где находится карта сайта Sitemap. Единственная директива, которая поддерживает абсолютные ссылки (то есть местоположение файла должно указываться целиком): Sitemap: https://site.ru/sitemap.xml , где site.ru — имя домена.
Также есть некоторые директивы, которые считаются уже устаревшими. Их можно удалить из кода, чтобы не «засорять» файл:
- Crawl-delay. Задает паузу в индексации для поисковых роботов. Например, если задать для Crawl-Delay параметр 2 секунды, то каждый новый раздел/файл будет индексироваться через 2 секунды после предыдущего. Это правило раньше указывали, чтобы не создавать дополнительную нагрузку на хостинг. Но сейчас мощности современных процессоров достаточно для любой нагрузки.
- Host. Указывает основное зеркало сайта. Например, если все страницы сайта доступны с www и без этого префикса, один из вариантов будет считаться зеркалом. Главное — чтобы на них совпадал контент. Раньше зеркало нужно было задавать в robots.txt, но сейчас поисковые системы определяют этот параметр автоматически.
- Clean-param. Директива, которая использовалась, чтобы ограничить индексацию совпадающего динамического контента. Считается неэффективной.
Пример robots.txt
Рассмотрим стандартный файл robots.txt, который можно скопировать и использовать для блога, заменив название домена в директиве Sitemap и убрав комментарии (текст справа, включая #):
User-agent: * # общие правила для всех поисковых роботов Disallow: /wp-admin/ # запретить индексацию папки wp-admin (все служебные папки) Disallow: /readme.html # закрыть доступ к стандартному файлу о программном обеспечении Disallow: /*? # запретить индексацию результатов поиска по сайту Disallow: /?s= # запретить все URL поиска по сайту Allow: /wp-admin/admin-ajax.php # индексировать асинхронные JS-файлы темы Allow: /*.css # индексировать CSS-файлы Allow: /*.js # индексировать JS-скрипты Sitemap: https://site.ru/sitemap.xml # указать местоположение карты сайтаКак редактировать robots.txt на WordPress?
Чтобы внести изменения в файл robots.txt, откройте его в панели управления хостингом. Используйте плагин Yoast SEO (или аналогичное решение в WordPress) для редактирования файлов:
Проверка работы файла robots.txt
Чтобы убедиться в корректности составленного файла, используйте стандартный инструмент Яндекс.Вебмастер:
Перейдите в раздел Инструменты → Анализ robots.txt.
Содержимое robots.txt обновится автоматически. Нажмите Проверить:
Если в синтаксисе файла будут ошибки, Яндекс укажет, в каких строчках проблема и даст рекомендации по исправлению.
Помогла ли вам статья?
Спасибо за оценку. Рады помочь ��
How to Easily Edit a Robots.txt File in WordPress (Step by Step)
Would you like to know how to edit robots.txt files in WordPress?
A robots.txt file is a powerful SEO tool since it works as a website guide for search engine crawl bots or robots. Telling bots not to crawl unnecessary pages can improve your site’s load speed and rankings in search engines.
In this post, we’ll show you how to edit your robots.txt file in WordPress step by step. We’ll also cover what a robots.txt file is and why it’s important.
Feel free to click on these quick links to jump straight to different sections:
In This Article
- What Is a Robots.txt File?
- Default Robots.txt File in WordPress
- When to Use the Meta Noindex Tag Instead of Robots.txt
- To Edit Your Robots.txt File, First Enable Custom Robots.txt
- Method 1: Add Rules Using the Rule Builder
- Method 2: Import Rules from Another Site
- Editing the Robots.txt Rules Using the Rule Builder
- What is a robots.txt file?
- Where is the robots.txt file located?
- What’s the best way of editing robots.txt files?
AIOSEO is the best WordPress SEO plugin. Get it for free!
Now that you know what a robots.txt file is and how it works, let’s look at why the robots.txt file matters in the first place.
Why Is the Robots.txt File Important?
The robots.txt file is important if you want to:
- Optimize Your Site Load Speed — by telling bots not to waste time on pages you don’t want them to crawl and index, you can free up resources and increase your site load speed.
- Optimizing Your Server Usage — blocking bots that are wasting resources will clean up your server and reduce 404 errors.
When to Use the Meta Noindex Tag Instead of Robots.txt
If your primary goal is to stop certain pages from being included in search engine results, using a meta noindex tag is the proper approach.
This is because the robots.txt is not directly telling search engines not to index content – it’s just telling them not to crawl it.
In other words, you can use robots.txt to add specific rules for how search engines and other bots interact with your site, but it won’t explicitly control whether your content is indexed or not.
With that said, let’s show you how to easily edit your robots.txt file in WordPress step by step using AIOSEO.
Editing Your Robots.txt in WordPress Using AIOSEO
The easiest way to edit the robots.txt file is to use the best WordPress SEO plugin, All in One SEO (AIOSEO).
AIOSEO is a powerful yet easy-to-use SEO plugin that boasts over 3 million users. That means millions of smart bloggers use AIOSEO to help them boost their search engine rankings and drive qualified traffic to their blogs. That’s because the plugin has many powerful features and modules designed to help you properly configure your SEO settings. Examples include:
- Search Statistics: This powerful Google Search Console integration lets you track your keyword rankings and see important SEO metrics with 1-click, and more.
- Next-gen Schema generator: This no-code schema generator enables users to generate and output any schema markup on your site.
- Redirection Manager: Helps you manage redirects and eliminate 404 errors, making it easier for search engines to crawl and index your site.
- Link Assistant: Powerful internal linking tool that automates building links between pages on your site. It also gives you an audit of outbound links.
- SEO Preview: This gives you an overview of your search and social snippets and general SEO so you can improve your optimization.
- IndexNow: For fast indexing on search engines that support the IndexNow protocol (like Bing and Yandex).
- Sitemap generator: Automatically generate different types of sitemaps to notify all search engines of any updates on your site.
- And more.
One reason users love the plugin is that it gives you greater control over how search engines crawl your site. This is thanks to the advanced robots.txt editor that allows you to easily configure your robots.txt file, enabling you to override the default WordPress file.
So, let’s get to editing your robots.txt file.
To Edit Your Robots.txt File, First Enable Custom Robots.txt
To edit your robots.txt file, click Tools in the All in One SEO menu, then click on the Robots.txt Editor tab.
AIOSEO will then generate a dynamic robots.txt file. Its content is stored in your WordPress database and can be viewed in your web browser, as we’ll show you in a bit.
Once you’ve entered the Robots.txt Editor, you need to Enable Custom Robots.txt.
Click on the button so it turns blue.
You’ll then see the Robots.txt Preview section at the bottom of the screen, which shows the WordPress default rules that you can overwrite with your own. The default rules tell robots not to crawl your core WordPress files (admin pages).
Now, let’s move on to adding your own rules. You can do it in one of 2 ways: using the rule builder or importing a robots.txt file from another site.
Method 1: Add Rules Using the Rule Builder
The rule builder is used to add your own custom rules for what pages the robots should crawl or not.
For instance, you can use the rule builder if you’d like to add a rule that blocks all robots from a temporary directory.
To add a custom rule, enter the User Agent (for example, Googlebot crawler) in the User Agent field. Or you can use the * symbol to apply your rule to all user agents (robots).
Next, select one of the preset robots.txt directives: Allow, Disallow, Clean-param, or Crawl-delay.
You can also add more directives by clicking on the Add Rule button.
After you’ve decided on the directive to apply, you need to enter the directory path or filename in the Value field.
Once this is done, you can go ahead and click the Save Changes button in the bottom right corner of the page.
When you’ve saved your new rules, they’ll appear in the Robots.txt Preview section.
To view your robots.txt file, click the Open Robots.txt button.
This will take you to the URL where your robot.txt is hosted.
Method 2: Import Rules from Another Site
Another easy way of adding directives in your robots.txt is to import them from another site. This function is handy if you’ve created a site or know of one with a robots.txt file you’d like to replicate.
To import a robots.txt file from another site, go to the AIOSEO menu, then Tools » Robots.txt » Enable Custom Robots.txt.
Next, click the Import option.
This will open a window where you can paste the URL of the site you want to pull the robots.txt file from.
Click Import, and you’ll be prompted to reload your site. Reload, and the plugin will pull the robots.txt file and implement it on your site.
Alternatively, you can copy the robots.txt file from your target site and paste it into the provided space. Again, click Import, and the robots.txt file will be added to your site.
This is probably the easiest way to add a custom robots.txt file to your WordPress site.
Editing the Robots.txt Rules Using the Rule Builder
To edit your robots.txt rules, you can change the details in the rule builder.
You can also delete a rule in the robots.txt file by clicking the trash can icon to the right of the rule.
And that’s not all! AIOSEO’s robots.txt editor allows you to move rules up or down to place them in order of priority. To do that, click on and hold the 6 dots next to the trash can to drag and reposition a rule.
Once you’re done editing your robots.txt, click the Save Changes button to save your new rules.
As simple as that!
You’ve edited your robots.txt file.
Editing Robots.txt Files: Your FAQs Answered
What is a robots.txt file?
A robots.txt file is a text file that website owners use to communicate with web crawlers or robots about which parts of their site should be crawled and indexed by search engines.
Where is the robots.txt file located?
The robots.txt file is typically located in the root directory of a website. Its URL is usually https://www.example.com/robots.txt.
What’s the best way of editing robots.txt files?
The best way to edit your robots.txt file is to use a plugin like All In One SEO (AIOSEO). It’s the best WordPress SEO plugin and has an advanced robots.txt editor that makes optimizing robots.txt files super easy.
We hope this tutorial showed you how to easily edit a robots.txt file in WordPress. You may also want to check out other articles on our blog, like our tips on getting indexed on Google or our guide on using Search Statistics to boost your rankings.
If you found this article helpful, then please subscribe to our YouTube Channel. You’ll find many more helpful tutorials there. You can also follow us on Twitter, LinkedIn, or Facebook to stay in the loop.
Want to Try AIOSEO for Free?
Enter the URL of your WordPress website to install AIOSEO Lite.
Add a Comment Cancel Reply
1 comment on “ How to Easily Edit a Robots.txt File in WordPress (Step by Step) ”
Julie Sepulveda says:
Hey there, thanks for the article. I recently read up on your article about content decay. One of our issues is page speed and I’ve been working on reducing speed load time. However, I’m no pro at coding or anything remotely related to techy stuff. I usually deal with marketing and design. So with that background, my question is this: when uploading images, and writing their captions and alt tags, I do want them to appear in serps for image searches, but I don’t want to cause index bloat. Are there any tactics you recommend I use to avoid this? I’ve already disable the images sitemap (just today), after reading that it’s not necessary and won’t remove my current images from the site.
This also leads me to ask a second question-how will I know (as someone that doesn’t know how to read html, js or anything of that nature) if disabling the image sitemap has been effective in improving load speed? Thanks for the help!
Let’s Connect:
- How to Check Your Google Index Status in WordPress
- HTML Tags for SEO: What WordPress Users Need to Know
- [New] Index Status: Enhance Your SEO Visibility By Ensuring All Your URLs Are Indexed
- How to Add Internal Links In WordPress: The Easy Way
- 7 Best Content Optimization Tools for SEO
Get the #1 Most Powerful WordPress SEO Plugin Today
Join over 3 million smart website owners who use AIOSEO to improve their website search rankings.
Company
Features
- Keyword Rank Tracking
- Search Statistics
- Social Media Integration
- Robots.txt Editor
- WooCommerce SEO
- Local SEO
- TruSEO Score Analysis
- Rich Snippets Schema
- IndexNow
- Broken Link Checker
- Redirection Manager
- Link Assistant
- SEO Audit Site Analysis
- Smart XML Sitemaps
- RSS Footer Content
- SEO Manager Role
- Google News Sitemap
- Video SEO Sitemap
- Google Search Console
Our Brands
Helpful Links
- Support
- Documentation
- Plans & Pricing
- WordPress Hosting
- Start a Blog
- Make a Website
- WordPress Tutorials
- SEO Analyzer
- Headline Analyzer
Connect with us
Copyright © 2007-2023 Semper Plugins, LLC.
AIOSEO® and All in One SEO Pack® are registered trademarks of Semper Plugins, LLC.
Share this Article Like this article? Email it to a friend!