Файл robots.txt является очень мощным инструментом, когда вы работаете над SEO раскруткой сайта, но с ним нужно обращаться осторожно. Это позволяет запретить поисковым системам доступ к различным файлам и папкам, но зачастую это  не то, что вы хотите делать в наши дни. За прошедшие годы Google особенно сильно изменил способ сканирования интернета, поэтому часто то, что раньше было лучшей практикой несколько лет назад, больше не работает. В этом посте описывается текущая лучшая практика для вашего файла WordPress robots.txt и объясняется, почему вы должны его принять.

Недавно один из наших читателей спросил нас о том, как оптимизировать файл robots.txt для улучшения SEO. Файл Robots.txt рассказывает поисковым системам, как сканировать ваш сайт, что делает его невероятно мощным инструментом SEO. В этой статье мы покажем вам, как создать идеальный файл robots.txt для SEO.

Что такое файл robots.txt?

Robots.txt — это текстовый файл, который владельцы веб-сайтов могут создать, чтобы сообщить поисковым роботам, как сканировать и индексировать страницы на своем сайте.

Обычно он хранится в корневом каталоге, также известном как основная папка вашего сайта. Базовый формат файла robots.txt выглядит следующим образом:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]

Вы можете иметь несколько строк инструкций, чтобы разрешить или запретить определенные URL-адреса и добавить несколько файлов Sitemap. Если вы не запретите URL-адрес, то поисковые роботы предполагают, что им разрешено сканировать его.

Вот как может выглядеть файл примера robots.txt:

User-Agent: *

Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

В приведенном выше примере robots.txt мы разрешили поисковым системам сканировать и индексировать файлы в нашей папке загрузок WordPress.

После этого мы запретили поисковым роботам сканировать и индексировать плагины и папки администратора WordPress.

Еще по теме  Как провести технический аудит сайта? Основные этапы анализа

Наконец, мы предоставили URL нашего сайта XML.

Вам нужен файл Robots.txt для вашего сайта WordPress?

Если у вас нет файла robots.txt, поисковые системы все равно будут сканировать и индексировать ваш сайт. Однако вы не сможете указать поисковым системам, какие страницы или папки им не следует сканировать.

Это не окажет большого влияния, когда вы впервые начинаете вести блоги, так как у вас мало контента.

Однако, поскольку ваш сайт растет и у вас стает больше контента, вы, вероятно, захотите лучше контролировать то, как ваш сайт сканируется и индексируется.

Вот почему.

Поисковые боты имеют квоту сканирования для каждого веб-сайта.

Это означает, что они сканируют определенное количество страниц во время сеанса сканирования. Если они не завершат сканирование всех страниц вашего сайта, они вернутся и возобновят сканирование в следующем сеансе.

Это может замедлить скорость индексации вашего сайта.

Это можно исправить, запретив поисковым роботам сканировать ненужные страницы, такие как страницы администратора WordPress, файлы плагинов и папки тем.

Запрещая ненужные страницы, вы сохраняете квоту на сканирование. Это помогает поисковым системам сканировать еще больше страниц на вашем сайте и индексировать их как можно быстрее.

Еще одна веская причина использовать файл robots.txt, когда вы хотите, чтобы поисковые системы не индексировали пост или страницу на вашем сайте.

Это не самый безопасный способ скрыть контент от широкой публики, но он поможет вам предотвратить его появление в результатах поиска.

Как должен выглядеть идеальный файл Robots.txt?

Многие популярные блоги используют очень простой файл robots.txt. Их содержание может варьироваться в зависимости от потребностей конкретного сайта:
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Этот файл robots.txt позволяет всем ботам индексировать весь контент и предоставляет им ссылку на XML-карты сайта .

Для сайтов WordPress мы рекомендуем следующие правила в файле robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Это говорит поисковым роботам индексировать все изображения и файлы WordPress. Он запрещает поисковым роботам индексировать файлы плагинов WordPress, область администрирования WordPress, файл readme для WordPress и партнерские ссылки.

Еще по теме  Что такое биткоин и как на нем заработать?

Добавляя файлы sitemaps в файл robots.txt, роботы Google упрощают поиск всех страниц на вашем сайте.

Теперь, когда вы знаете, как выглядит идеальный файл robots.txt, давайте посмотрим, как вы можете создать файл robots.txt в WordPress.

Как создать файл Robots.txt в WordPress?

Есть два способа создать файл robots.txt в WordPress. Вы можете выбрать метод, который лучше всего подходит для вас.

Метод 1: Редактирование файла Robots.txt с помощью Yoast SEO

Если вы используете плагин Yoast SEO для раскрутки сайта, он поставляется с генератором файлов robots.txt.

Вы можете использовать его для создания и редактирования файла robots.txt прямо из вашей админ-панели WordPress.

Просто зайдите на страницу SEO »Инструменты в вашей админке WordPress и нажмите на ссылку« Редактор файлов ».

На следующей странице, Yoast SEO-страница покажет ваш существующий файл robots.txt.

Если у вас нет файла robots.txt, Yoast SEO создаст для вас файл robots.txt.

По умолчанию генератор файлов robots.txt Yoast SEO  добавляет следующие правила в ваш файл robots.txt:
User-agent: *
Disallow: /

Это важно , что вы удалите этот текст , потому что все это блокирует поисковые системы от сканирования Вашего веб — сайта.

После удаления строк по умолчанию вы можете добавить свои собственные правила robots.txt. Мы рекомендуем использовать идеальный формат robots.txt, которым мы поделились выше.

Когда вы закончите, не забудьте нажать кнопку «Сохранить файл robots.txt», чтобы сохранить изменения.

Способ 2. Редактирование файла Robots.txt вручную с использованием FTP

Для этого метода вам понадобится FTP-клиент для редактирования файла robots.txt. Просто подключитесь к своей учетной записи хостинга WordPress с помощью FTP-клиента.

Оказавшись внутри, вы сможете увидеть файл robots.txt в корневой папке вашего сайта.

seo

Если вы его не видите, скорее всего, у вас нет файла robots.txt. В этом случае вы можете просто создать его.

Еще по теме  Что такое SEO контент? Руководство по созданию контента для SEO

robots для seo

Robots.txt — это простой текстовый файл, который означает, что вы можете загрузить его на свой компьютер и отредактировать его с помощью любого текстового редактора, такого как Блокнот или TextEdit.

После сохранения изменений вы можете загрузить их обратно в корневую папку вашего сайта.

Как проверить ваш файл Robots.txt?

После того, как вы создали свой файл robots.txt, всегда полезно проверить его с помощью инструмента тестирования robots.txt.

Существует множество инструментов для тестирования robots.txt, но мы рекомендуем использовать один из них в консоли поиска Google .

Просто войдите в свою учетную запись консоли поиска Google, а затем переключитесь на старый веб-сайт консоли поиска Google.

Это приведет вас к старому интерфейсу консоли поиска Google. Отсюда вам нужно запустить средство тестирования robots.txt, расположенное в меню «Сканирование».

тестирование роботс

Инструмент автоматически загрузит файл robots.txt вашего веб-сайта и выделит ошибки и предупреждения, если они были найдены.

В заключение

Целью оптимизации файла robots.txt является предотвращение сканирования поисковыми системами страниц, которые не являются общедоступными. Например, страницы в папке wp-plugins или страницы в папке администратора WordPress.

Распространенный миф среди SEO-экспертов заключается в том, что блокировка категорий, тегов и страниц WordPress повышает скорость сканирования и приводит к ускорению индексации и повышению рейтинга.

Это неправда. Это также противоречит правилам Google для веб-мастеров.

Мы рекомендуем вам следовать приведенному выше формату robots.txt, чтобы создать файл robots.txt для вашего сайта.

Мы надеемся, что эта статья помогла вам узнать, как оптимизировать файл WordPress robots.txt для SEO раскрутки сайта.