Один из самых простых файлов на сайте – Robots.txt. Однако, с ним проще всего натворить глупостей. Продвижение сайтов должно быть не только глазами пользователя, но и «глазами» роботов поисковых систем.

Незначительный символ может свести на нет всю вашу работу в сфере SEO, запретив поисковым системам сканировать важный контент сайта. На самом деле, неправильная конфигурация файла robots.txt очень распространенная проблема даже среди опытных SEO специалистов.

Что такое файл robots.txt?

robots.txt сообщает поисковым машинам о том, куда им можно и не стоит заходить на сайте. Здесь перечислен весь контент, который вы хотите скрыть от поисковых систем вроде Google или Яндекс. Вы можете указать поисковикам, как они должны сканировать доступный для них контент. Яндекс и Google в большинстве своем являются послушными поисковиками. Они обычно не вламываются на сайт. Кроме того, некоторые не боятся и обходят условные замочки.

Как создать файл robots.txt

Если у вас еще нет файла robots.txt, то его легко создать. Открыть пустой.txt документ и начать вписать туда директивы. Допустим, вам нужно ограничить доступ к каталогу поисковым системам, чтобы они не могли сканировать его. Файл будет выглядеть примерно так:

User-agent: *
Disallow: /admin/

Продолжайте составлять директивы, пока не будете довольны тем, что имеете. Не забудьте сохранить ваш файл как «robots.txt».

Куда поместить файл robots.txt

Расположите файл robots.txt на корневой каталог поддомена, который используется. Например, для контроля сканирования на site.ru файл robots.txt должен быть доступен по адресу: site.ru/robots.txt. Для контроля сканирования на поддомене типа city.site.ru файл robots.txt должен быть доступен по адресу city.site.ru/robots.txt.

Как найти файл robots.txt?

При наличии файла robots.txt, его можно будет найти по адресу http://site.ru/robots.txt. Для перехода в браузере перейдите по URL. В случае если вы видите что-то подобное, файл robots.txt у вас имеется:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search
Disallow: */trackback/
Disallow: */feed
Disallow: *?*
Disallow: */comment
Disallow: */attachment/*
Disallow: /author/
Disallow: */print/
Disallow: */page/
Sitemap: https://site.ru/sitemap.xml

Как выглядит файл robots.txt?

Базовый формат файла robots.txt:

Sitemap: [URL, где расположена карта сайта]

User-agent: [идентификатор бота]
[директива 1]
[директива 2]
[директива ...]

User-agent: [ещё один идентификатор бота]
[директива 1]
[директива 2]
[директива ...]

В случае если вы их еще ни разу не видели, то это может вас испугать. Вы можете использовать простые правила для бота и указывать директивы его user-agent.

А теперь давайте рассмотрим оба компонента.

User-agent

Каждый поисковик имеет свой персональный user-agent. При помощи файла robots.txt можно указать инструкции для каждого из них.

Здесь есть несколько полезных для SEO:

Роботы Яндекс:

  • YandexBot. Этот робот является основным индексирующим роботом Яндекса. Он работает с органической выдачей поиска.
  • YandexDirect. Робот, отвечающий за контекстную рекламу. Посещает сайты и оценивает их на основе того, в каком месте располагается контекстная реклама.
  • YandexDirectDyn. Этот бот выполняет те же функции, что и предыдущий. Но с тем лишь отличием, что оценивает динамические объявления.
  • YandexMedia. Принимает участие в индексации мультимедийных файлов. Разбирается с видеофайлами и аудио, а также сканирует их.
  • YandexImages. Обеспечивает контроль над изображениями в поиске, а также контролирует раздел «Картинки».
  • YandexNews. Новостной бот, отвечающий в Яндексе за раздел «Новости». Поддерживает в актуальном состоянии индексирование всех изданий, связанных с новостными сайтами.
  • YandexBlogs. Занимается постами, комментариями, ответами и прочим контентом в блогах.
  • YandexMetrika. Это робот Яндекс Метрики, анализирующий трафик сайтов и их поведенческие факторы.
  • YandexPagechecker. Обеспечивает распознавание микроразметки на сайте и её индексацию.
  • YandexCalendar. Бот, который индексирует все, что связано с Календарем Яндекса.
  • YandexMarket. Робот сервиса Яндекс.Маркет, добавляющий в индекс товары, описания к ним, цены и прочую информацию, полезную для Маркета.

Роботы Google:

  • Googlebot. Это главный робот поисковой системы, который анализирует основной текст страницы и обеспечивает формирование органической выдачи.
  • GoogleBot (Google Smartphone). Основной индексирующий бот Гугл для смартфонов и планшетов.
  • Googlebot-News. Робот, который индексирует новостные публикации сайта.
  • Googlebot-Video. Он включает в поисковую выдачу видео-файл.
  • Googlebot-Image. Робот, который занимается графическим контентом веб-ресурса.
  • AdsBot-Google. Проверяется качество целевых страниц – скорость загрузки, релевантный контент и удобство навигации.
  • AdsBot-Google-Mobile-Apps. На основе того же алгоритма, что и предыдущий бот, оценивает качество мобильных приложений.
  • Mediapartners-Google. Робот для контекстной рекламы, который включает сайт в индекс и оценивает его для дальнейшего размещения рекламных блоков.
  • Mediapartners-Google (Google Mobile AdSense). Похожий на предыдущий бот, но только отвечает за размещение релевантной рекламы для мобильных устройств.

В файле robots.txt для всех user-agent учитывается регистр.

Использовать маску со звездочкой (*) необходимо для того чтобы обозначить инструкции для всех user agent.

Если вы хотите запретить сканировать сайт всем роботам кроме Googlebot. Так вот как это сделать:

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

В вашем файле robots.txt может быть много директив для всех user-agent, которые захотите. После этого новый user-agent должен принять все ваши инструкции и выполнить их. Другими словами, если вы добавляете директивы для нескольких user-agent, то директивы для первого не будут работать для второго и последующих user-agent.

Исключением из правила является случай, когда вы объявляете один и тот же user-agent более одного раза. В таком случае робот будет следовать всем предписанным ему инструкциям.

Краулеры следуют только тем правилам, которые прописаны под точным названием user-agent

 

Директивы Robots.txt

robots.txt содержит инструкции для роботов поисковых систем, которые помогают им понять, какие страницы/разделы индексируются, а какие нет.

Поддерживаемые директивы

Disallow

Наиболее распространенная директива, которая запрещает индексировать отдельные страницы или целые разделы веб-сайта. Обычно здесь указывают:

  • страницы пагинации
  • страницы с личными данными пользователей
  • страницы с результатами поиска внутри ресурса
  • дублирующиеся страницы
  • логи
  • служебные/технические страницы

В ней можно использовать специальные символы * и $.

Чтобы закрыть доступ к блогу и всем его страницам для всех поисковых систем, ваш файл robots.txt будет выглядеть примерно так:

User-agent: *
Disallow: /blog

Поисковые системы будут игнорировать директиву disallow, если вы не пропишите путь после неё. 

 

Allow

Эта директива используется поисковыми системами для того, чтобы позволить поисковым системам сканировать подпапку или страницу. Даже если в другом месте вы закрыли к ней доступ. Если вы хотите запретить поисковым системам сканировать каждый пост в блоге, файл robots.txt будет выглядеть так:

User-agent: *
Disallow: /blog
Allow: /blog/доступная-запись

В этом примере поисковые системы могут зайти на /blog/доступная-запись. Однако они не могут получить доступ:

/blog/другая-запись
/blog/ещё-одна-запись
/blog/download-me.pdf

Как и в случае с директивой disallow, если вы забудете указать путь после неё, поисковые системы будут её игнорировать. 

 

Sitemap

Директива, которая дает ботам расположение XML карты ресурса. URL должен быть полным! Для поисковых систем Google и Яндекс она важна для поиска. Они обращаются к Sitemap, где показана структура ресурса со структурой сайта с внутренними ссылками, приоритетами индексации страниц и датах их создания или изменения.

Пример файла robots.txt с директивой Sitemap.

Sitemap: https://www.site.ru/sitemap.xml

User-agent: *
Disallow: /blog/
Allow: /blog/post-title/

Нужно ли указывать карту сайта в файле robots.txt? Если вы её уже указали в поисковой консоли, то для Google этого достаточно. Однако некоторые поисковики, например Bing, имеют возможность посмотреть расположение карты сайта в файле. Именно поэтому не стоит пренебрегать этой директивой.

Вам не нужно выполнять директиву Sitemap при создании различных user-agent. Она работает для всех. Поэтому карту сайта лучше указывать в начале, или в конце файла robots.txt. Приведем пример:

Sitemap: https://www.site.ru/sitemap.xml

User-agent: Googlebot
Disallow: /blog/
Allow: /blog/post-title/
User-agent: Bingbot
Disallow: /services/

В файле robots.txt можно указывать столько карт сайта, сколько вам нужно. 

 

Clean-param

С помощью директивы можно описать в файле robots.txt динамические характеристики страниц, которые дают одинаковое содержимое при разных УРЛ-адресах. Она применяется только для роботов Яндекса.

Динамические параметры могут быть:

  • Идентификаторы пользователей.
  • Идентификаторы сессий.
  • Индивидуальные префиксы, меняющие URL, но сохраняющие прежнее содержимое.
  • UTM-метки и многое другое.

Главная страница не будет хорошо отображаться в поисковой выдаче из-за дублей. Благодаря robots.txt вы можете исключить все GET и UTM метки, используя указание Clean-param. Обход сайта станет более эффективным, а поиск перестанет индексировать дублированный контент по множеству раз. Снижение нагрузки на серверы приведет к увеличению краулингового бюджета.

Неподдерживаемые директивы

Crawl-delay

Как известно, это старая директива от Google. Поэтому она нужна была веб-мастерам, чтобы указать время между запросами для снижения нагрузки на сервер и сокращения нагрузки на сервер. Это делается краулером (роботом поисковой системы).

Хорошая и разумная идея. В конце концов стало понятно, что серверы сегодня довольно мощные, поэтому смысла устанавливать определенный период между запросами просто нет.

Системный робот поиска теперь сам может регулировать скорость обхода страниц, исходя из реакции серверов. Когда скорость упадет или появится ошибка, обход будет остановлен.

Например, для того чтобы Googlebot ждал 5 секунд после каждого сканирования, вы бы установили задержку в 5 секунд.:

User-agent: Googlebot
Crawl-delay: 5

Яндекс и Google отказались от этой рекомендации, но Bing ее поддерживает.

Будьте осторожны, указывая директиву. Особенно на большом сайте. Если же вы установите задержку на пять минут и более, то роботы будут ограничены к 17280 URL каждый день. А если у вас на сайте миллионы страниц, то это не совсем хорошо. При небольшом сайте можно сэкономить на трафике.

Noindex

Однако, в Google эту директиву никогда официально не принимали. Хотя ранее считалось, что Google имеет некоторый код, который обрабатывает «неподдерживаемые и запрещенные правила (такие как noindex)». Чтобы запретить Google индексировать все посты в вашем блоге, используйте следующую директиву:

User-agent: Googlebot
Noindex: /blog/

И только 1 сентября 2019 года компания Google официально заявила, что эта директива не действует. Чтобы удалить страницу или файл из поисковых систем, используйте вместо них тег meta robots и HTTP-заголовок x-robots.

Nofollow

Эта директива Google никогда официально не поддерживалась, и она использовалась для того, чтобы запретить поисковым системам переходить по ссылками на страницах и файлах в определенном направлении. Как правило, для того чтобы запретить Google переходить по всем ссылкам в вашем блоге вы можете использовать следующие директивы:

User-agent: Googlebot
Nofollow: /blog/

Google заявил о том, что с 1 сентября 2019 года данная директива официально не будет поддерживаться. При необходимости запретить переход по всем ссылкам на странице, используйте метатег robots или заголовок x-robots. Чтобы не позволить Google перейти по определенной ссылке на странице, используйте атрибут ссылки rel = “nofollow”.

Host

В прошлом это была межсекционная инструкция Яндекса, и никто из других поисковиков ее не понимал. Это было сделано для указания главному роботу Яндекса главного зеркала сайта, если у него есть доступ к сайту по нескольким доменам. По словам Яндекса, в марте 2018 года Яндекс больше не будет использовать директиву Host. Функции ее взял на себя раздел «Переезд сайта в Вебмастре» и 301 редирект.

Основные правила, характеристики файла и синтаксис

Создание файла robots.txt требует соблюдения синтаксических правил и соответствия характеристик файлов, от которых зависит корректность его работы.

  • Название файла должно быть «robots.txt». И никаких заглавных букв или кириллицы.
  • Для одного сайта необходимо создать только один файл. Для сайта не допускается использовать более одного файла robots.
  • robots.txt необходимо поместить в корневой папке ресурса. Чтобы отслеживать сканирование всех страниц веб-сайта http://site.ru/, разместите файл на адресе: http://site.ru/robots.txt. В любом случае не размещайте его в подкаталоге, например по адресу http://www.site.ru/pages/robots.txt. Если вы не можете получить доступ к корневому файлу, свяжитесь с хостинг- провайдером. Если доступ к корневому каталогов отсутствует, воспользуйтесь альтернативным способом — мета-тегами.
  • robots.txt допускается размещать по УРЛам с субдоменами или нестандартными портами. Например, http://website.site.ru/robots.txt либо http://site.ru:8181/robots.txt соответственно.
  • Текст, который идет после символа #, трактуруется как комментарий. Полезные инструкции могут быть комментированы, чтобы оптимизаторы могли оставлять заметки о том почему они закрыли от индексации или открыли доступ к определенным страницам/разделам.
  • Файл robots.txt нужно создавать в формате текстового документа в кодировке UTF-8, включающей коды символов ASCII. Использование других символов запрещено.
  • robots.txt содержит группы. В любой группе допускается написание нескольких директив. При написании каждой директивы, необходимо отдельно написать ее в отдельной строке.
  • В группе содержится информация: для какого User-agent прописываются директивы группы; к каким файлам или каталогам у агента есть доступ, а к каким – нет.
  • Все инструкции в группах считываются сверху вниз. Как правило, поисковый бот следует директивам лишь одной группы пользователей и агента пользователя, который ему больше всего подходит.
  • По умолчанию robots разрешает индексировать все страницы либо каталоги: если они не запрещены директивой Disallow, если директива пустая, размер файла превышает 32 КБ, файл недоступен – выдает 404 ошибку или любой другой ответ на запрос робота, отличающийся от HTTP-кода со статусом 200 OK robots.txt отсутствует.
  • Инструкции сильно зависят от регистра. Например, директива Disallow: /file.asp влияет на URL-адрес http://www.site.ru/file.asp, но не применима к http://www.site.ru/File.asp.
  • Пробел никак не влияет на инструкции в файле. Неважно, сколько пробелов будет в robots.txt, но лучше всего использовать их только в соответствующих местах файла для облегчения чтения и понимания файловой информации.
  • В директивах нет закрывающих символов. В конце каждого правила не нужно ставить точку и другие закрывающие символы.
  • Названия правил указываются с заглавной буквы на латинице. Правильное написание – “Allow”,а не “ALLOW”.
  • Пустой перенос строки применяется только для User-Agent. Этот пустой перенос строки считается окончанием инструкции по определенному User-Agent. Новый User-agent без переноса строчки не будет учитываться.
  • Символ «/» применяется для статических страниц. К примеру, Disallow: /wp-includes запрещает индексировать одну из папок ядра WordPress.
  • Правила следования директив. Для роботов поисковых систем не имеет значение последовательность директив. Если директивы Allow и Disallow конфликтуют и противоречат друг другу, приоритетной будет Allow.
  • При этом, не нужно указывать в robots.txt инструкции к каждой отдельной странице. Конечно же, это можно делать, но только в особых случаях. Вы должны указывать общие директивы, которые применяются для всех типовых URL-адресов вашего веб-ресурса. Эффективный robots.txt – это краткое в объеме и одновременно обширное по смыслу описание.

Примеры работы с robots.txt

Каждую директиву прописывайте с новой строки

Каждая директива должна быть прописана на новой строке. Иначе поисковые системы её не поймут.

Плохо:

User-agent: * Disallow: /directory/ Disallow: /another-directory/

Хорошо:

User-agent: *
Disallow: /directory/
Disallow: /another-directory/

Полный доступ для всех роботов

User-agent: *

Примечание. Если не указать URL, директива становится лишней. Другими словами, поисковые системы её игнорируют. Поэтому данная директива запрета ни на что не влияет. Поисковые системы всё равно будут сканировать все страницы и файлы. 

Disallow:

Нет доступа всем роботам

User-agent: *
Disallow: /

Заблокировать доступ к одной подпапке для всех роботов

User-agent: *
Disallow: /folder/

Заблокировать доступ к одной подпапке для всех роботов (оставить доступным один файл)

User-agent: *
Disallow: /folder/
Allow: /folder/page.html

Заблокировать один файл для всех ботов

User-agent: *
Disallow: /this-is-a-file.pdf

Заблокировать один тип файлов (PDF) для всех ботов

User-agent: *
Disallow: /*.pdf$

Запретить сканирование URL адресов с параметрами только для Googlebot

User-agent: Googlebot
Disallow: /*?

Используйте маски для упрощения

Маски (*) можно использовать не только для определения всех user-agent, но и для шаблонов URL адресов при объявлении директив. Чтобы ограничить поисковые системы доступ к URL-адресам категорий товаров с параметрами на вашем сайте, вы можете перечислить их следующим образом:

User-agent: *
Disallow: /products/t-shirts?
Disallow: /products/hoodies?
Disallow: /products/jackets?

Но это не так уж и эффективно. В этом случае маска была бы уместна:

User-agent: *
Disallow: /products/*?

При использовании этого примера поисковым системам запрещено сканировать все URL-адреса в подпапке /product/ со знаком вопроса. В данном случае, любой URL с параметрами категории товара.

Используйте знак “$” для определения окончания URL адреса

Используйте знак “$” для указания окончания URL адреса. Для того чтобы запретить поисковым системам доступ к файлам .pdf на вашем сайте, ваш файл robots.txt может выглядеть следующим образом:

User-agent: *
Disallow: /*.pdf$

При таком варианте поисковики не имеют доступа к URL-адресам, которые заканчиваются на .pdf. Это означает, что они не могут получить доступ к /file.pdf, но они могут получить доступ к /file.pdf?id=63657586, потому что он не заканчивается на ".pdf".

Используйте каждый user-agent не больше одного раза

Если вы указали один и тот же User-agent несколько раз, то Google поймет. Ему придется объединить все правила из разных мест в одно, а также соблюдать их все. К примеру, если вы в файле robots.txt написали следующие users-agent и директивы:

User-agent: Googlebot
Disallow: /a/

User-agent: Googlebot
Disallow: /b/

Googlebot не будет сканировать ни одну из подпапок.

Поэтому не стоит прописывать user-agent больше одного раза, потому что это поможет вам меньше путаться. А если все будет в порядке, то вы не совершите никаких грубых ошибок.

Будьте конкретными, чтобы избежать случайных ошибок

Однако, в случае если вы не имеете четких указаний, то вполне возможно допустить ошибку. А это может привести к катастрофическим последствиям для вашего SEO. Представьте себе, что у вас есть мультиязычный сайт и вы работаете над немецкой версией для использования в подпапке /de/.

Однако она еще не полностью готова, поэтому вы хотите закрыть поисковым системам путь к ней.

Как вы видите ниже, файл robots.txt не разрешает поисковым системам заходить в эту папку и сканировать что-либо в ней:

User-agent: *
Disallow: /de


Но вы также запретите сканировать всю информацию, которая начинается на /de.

Например:
/designer-dresses/
/delivery-information.html
/depeche-mode/t-shirts/
/definitely-not-for-public-viewing.pdf

Решение простое: сделать косую черту.

User-agent: *
Disallow: /de/

Для каждого поддомена используйте отдельный файл robots.txt

robots.txt контролирует сканирование только на поддомене, где он размещен. Вы можете контролировать сканирование на другом поддомене, используя отдельный файл robots.txt.

Если ваш основной сайт находится на site.ru, а ваш блог — на blog.site.ru, вам понадобятся два файла robots.txt. Один должен идти в корневой каталог основного домена, а другой — в корневой каталог блога.

Используйте комментарии, чтобы люди могли понимать ваш robots.txt

Комментарии помогают разработчикам понимать ваш файл robots.txt и, возможно, даже вам самим в будущем. Чтобы добавить комментарий, начните строку со знака хеша (#).

# This instructs Bing not to crawl our site.

User-agent: Bingbot
Disallow: /

Роботы будут игнорировать все строки, которые начинаются с этого символа.

Кириллица в файле robots.txt

Писать кириллические символы в директориях robots.txt, а также HTTP-заголовках сервера запрещено.

Чтобы указывать названия кириллических доменов, воспользуйтесь Punycode. URL-адреса указывайте в кодировке, которая соответствует структуре ресурса.

Неправильно:

User-agent: Yandex
Disallow: /корзина
Sitemap: сайт.рф/sitemap.xml

Правильно:

User-agent: Yandex
Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0
Sitemap: http://xn--80aswg.xn--p1ai/sitemap.xml

Что нужно исключать из индекса

В первую очередь роботам следует запретить включать в индекс любые дубли страниц. Доступ к странице должен осуществляться только по одному URL. Обращаясь к сайту, поисковый бот по каждому УРЛу должен получать в ответ страницу с уникальным содержанием. Дубли часто появляются у CMS в процессе создания страниц. Так, один и тот же документ можно найти по техническому УРЛ http://site.ru/?p=391&preview=true и ЧПУ http://site.ru/chto-takoe-seo. Нередко дубли появляются и из-за динамических ссылок. Нужно их всех скрывать от индекса с помощью масок:

Disallow: /*?*
Disallow: /*%
Disallow: /index.php
Disallow: /*?page=
Disallow: /*&page=

Все страницы с неуникальным контентом. Такие документы рекомендуется скрыть от поисковых машин до того, как они попадут в индекс.

Все страницы, применяемые при работе сценариев. К таким страницам относят такие, где есть подобные сообщения: “Спасибо за ваш отзыв!”.

Страницы, включающие индикаторы сессий. Для подобных страниц тоже рекомендуется использовать директиву Disallow:

Disallow: *PHPSESSID=
Disallow: *session_id=

Все файлы движка управления сайтом. К ним относятся файлы шаблонов, администраторской панели, тем, баз и прочие:

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback

Бесполезные для пользователей страницы и разделы. Без какого-либо содержания, с неуникальным контентом, результаты поиска, несуществующие и так далее.

Держите файл robots.txt в чистоте, и тогда ваш сайт будет индексироваться быстрее и лучше, а ранжироваться выше.

Нужен ли вам файл robots.txt?

Многим сайтам, особенно маленьким, не обязательно иметь файл robots.txt.

Тем не менее, нет причины полностью от него отказываться. Он дает вам больше контроля над тем, куда поисковые системы могут и не могут заходить, и это может помочь с такими вещами, как:

  • Избежать сканирования дублированного контента;
  • Скрыть от индексации части сайта (например, когда сайт в разработке);
  • Избежать сканирования страниц с результатами внутреннего поиска;
  • Предотвратить перегрузку сервера;
  • Избежать растрачивания “краулингового бюджета.”
  • Скрыть от индексации картинки, видео и другие файлы.

Обратите внимание, что хотя Google обычно не индексирует веб-страницы, скрытые в файле robots.txt, это не гарантия того, что эти страницы не появятся в результатах поиска.

Как говорят в Google, если на контент ссылаются с других страниц в интернете, он может появиться в результатах поиска Google.

robots.txt в Яндекс и Google

Многие оптимизаторы, делая первые шаги в работе с robots.txt, задаются логичным вопросом о том, почему нельзя указать общий User-agent: * и не указывать для робота каждой поисковой системы одни и те же инструкции. Дело в том, что поисковик Google более позитивно воспринимает директиву User-agent: Googlebot в файле robots, как и Яндекс отдельную директиву User-agent: Yandex.

Прописывая правила отдельно для Google и Яндекс, вы сможете управлять индексацией страниц и разделов веб-ресурса посредством Robots. Более того, применяя персональные User-agent можно запретить индексацию некоторых файлов Google, при этом оставить их доступными для роботов Яндекса, и наоборот.

Для любого сайта максимально допустимый размер текстового документа robots в 32 КБ дает возможность указывать все важные для индексации инструкции, которые используются разными поисковиками. Поэтому нет необходимости проводить рискованные эксперименты, так как это может привести к непредсказуемым последствиям.

robots.txt — это простой, но важный файл. Используйте его с умом и увидите позитивное влияние на SEO. Если будете использоватье его как попало - сами пожалеете об этом.

Другие статьи

Как добавить сайт в Google

Как добавить свой сайт в Google в 2023 году? Так ли уж необходимо это делать?

#Google #Инструкция 

Что такое HTTPS? Всё что вам нужно об этом знать

HyperText Transfer Protocol Secure (HTTPS) — это зашифрованная версия протокола HTTP, который используется для передачи данных во Всемирной сети.

#HTTPS #Инструкция #ранжирование #траффик 

Как создавать оптимизированные для поиска URL-адреса (пошаговая инструкция)

Оптимизация URL-адресов — это не квантовая физика. Если Вы опишете свою страницу несколькими словами и замените пробелы дефисами, это уже «достаточно хорошо» для SEO.

#SEO #Инструкция #обучение #оптимизация #ранжирование 

Давайте поработаем вместе

Заполните бриф и мы свяжемся с вами в ближайшее время