Один из самых простых файлов на сайте – Robots.txt. Однако, с ним проще всего натворить глупостей. Продвижение сайтов должно быть не только глазами пользователя, но и «глазами» роботов поисковых систем.
Незначительный символ может свести на нет всю вашу работу в сфере SEO, запретив поисковым системам сканировать важный контент сайта. На самом деле, неправильная конфигурация файла robots.txt очень распространенная проблема даже среди опытных SEO специалистов.
robots.txt сообщает поисковым машинам о том, куда им можно и не стоит заходить на сайте. Здесь перечислен весь контент, который вы хотите скрыть от поисковых систем вроде Google или Яндекс. Вы можете указать поисковикам, как они должны сканировать доступный для них контент. Яндекс и Google в большинстве своем являются послушными поисковиками. Они обычно не вламываются на сайт. Кроме того, некоторые не боятся и обходят условные замочки.
Если у вас еще нет файла robots.txt, то его легко создать. Открыть пустой.txt документ и начать вписать туда директивы. Допустим, вам нужно ограничить доступ к каталогу поисковым системам, чтобы они не могли сканировать его. Файл будет выглядеть примерно так:
User-agent: *
Disallow: /admin/
Продолжайте составлять директивы, пока не будете довольны тем, что имеете. Не забудьте сохранить ваш файл как «robots.txt».
Расположите файл robots.txt на корневой каталог поддомена, который используется. Например, для контроля сканирования на site.ru файл robots.txt должен быть доступен по адресу: site.ru/robots.txt. Для контроля сканирования на поддомене типа city.site.ru файл robots.txt должен быть доступен по адресу city.site.ru/robots.txt.
При наличии файла robots.txt, его можно будет найти по адресу http://site.ru/robots.txt. Для перехода в браузере перейдите по URL. В случае если вы видите что-то подобное, файл robots.txt у вас имеется:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search
Disallow: */trackback/
Disallow: */feed
Disallow: *?*
Disallow: */comment
Disallow: */attachment/*
Disallow: /author/
Disallow: */print/
Disallow: */page/
Sitemap: https://site.ru/sitemap.xml
Базовый формат файла robots.txt:
Sitemap: [URL, где расположена карта сайта]
User-agent: [идентификатор бота]
[директива 1]
[директива 2]
[директива ...]
User-agent: [ещё один идентификатор бота]
[директива 1]
[директива 2]
[директива ...]
В случае если вы их еще ни разу не видели, то это может вас испугать. Вы можете использовать простые правила для бота и указывать директивы его user-agent.
А теперь давайте рассмотрим оба компонента.
Каждый поисковик имеет свой персональный user-agent. При помощи файла robots.txt можно указать инструкции для каждого из них.
Здесь есть несколько полезных для SEO:
В файле robots.txt для всех user-agent учитывается регистр.
Использовать маску со звездочкой (*) необходимо для того чтобы обозначить инструкции для всех user agent.
Если вы хотите запретить сканировать сайт всем роботам кроме Googlebot. Так вот как это сделать:
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
В вашем файле robots.txt может быть много директив для всех user-agent, которые захотите. После этого новый user-agent должен принять все ваши инструкции и выполнить их. Другими словами, если вы добавляете директивы для нескольких user-agent, то директивы для первого не будут работать для второго и последующих user-agent.
Исключением из правила является случай, когда вы объявляете один и тот же user-agent более одного раза. В таком случае робот будет следовать всем предписанным ему инструкциям.
Краулеры следуют только тем правилам, которые прописаны под точным названием user-agent.
robots.txt содержит инструкции для роботов поисковых систем, которые помогают им понять, какие страницы/разделы индексируются, а какие нет.
Наиболее распространенная директива, которая запрещает индексировать отдельные страницы или целые разделы веб-сайта. Обычно здесь указывают:
В ней можно использовать специальные символы * и $.
Чтобы закрыть доступ к блогу и всем его страницам для всех поисковых систем, ваш файл robots.txt будет выглядеть примерно так:
User-agent: *
Disallow: /blog
Поисковые системы будут игнорировать директиву disallow, если вы не пропишите путь после неё.
Эта директива используется поисковыми системами для того, чтобы позволить поисковым системам сканировать подпапку или страницу. Даже если в другом месте вы закрыли к ней доступ. Если вы хотите запретить поисковым системам сканировать каждый пост в блоге, файл robots.txt будет выглядеть так:
User-agent: *
Disallow: /blog
Allow: /blog/доступная-запись
В этом примере поисковые системы могут зайти на /blog/доступная-запись. Однако они не могут получить доступ:
/blog/другая-запись/blog/ещё-одна-запись/blog/download-me.pdf
Как и в случае с директивой disallow, если вы забудете указать путь после неё, поисковые системы будут её игнорировать.
Директива, которая дает ботам расположение XML карты ресурса. URL должен быть полным! Для поисковых систем Google и Яндекс она важна для поиска. Они обращаются к Sitemap, где показана структура ресурса со структурой сайта с внутренними ссылками, приоритетами индексации страниц и датах их создания или изменения.
Пример файла robots.txt с директивой Sitemap.
Sitemap: https://www.site.ru/sitemap.xml
User-agent: *
Disallow: /blog/
Allow: /blog/post-title/
Нужно ли указывать карту сайта в файле robots.txt? Если вы её уже указали в поисковой консоли, то для Google этого достаточно. Однако некоторые поисковики, например Bing, имеют возможность посмотреть расположение карты сайта в файле. Именно поэтому не стоит пренебрегать этой директивой.
Вам не нужно выполнять директиву Sitemap при создании различных user-agent. Она работает для всех. Поэтому карту сайта лучше указывать в начале, или в конце файла robots.txt. Приведем пример:
Sitemap: https://www.site.ru/sitemap.xml
User-agent: Googlebot
Disallow: /blog/
Allow: /blog/post-title/
User-agent: Bingbot
Disallow: /services/
В файле robots.txt можно указывать столько карт сайта, сколько вам нужно.
С помощью директивы можно описать в файле robots.txt динамические характеристики страниц, которые дают одинаковое содержимое при разных УРЛ-адресах. Она применяется только для роботов Яндекса.
Динамические параметры могут быть:
Главная страница не будет хорошо отображаться в поисковой выдаче из-за дублей. Благодаря robots.txt вы можете исключить все GET и UTM метки, используя указание Clean-param. Обход сайта станет более эффективным, а поиск перестанет индексировать дублированный контент по множеству раз. Снижение нагрузки на серверы приведет к увеличению краулингового бюджета.
Как известно, это старая директива от Google. Поэтому она нужна была веб-мастерам, чтобы указать время между запросами для снижения нагрузки на сервер и сокращения нагрузки на сервер. Это делается краулером (роботом поисковой системы).
Хорошая и разумная идея. В конце концов стало понятно, что серверы сегодня довольно мощные, поэтому смысла устанавливать определенный период между запросами просто нет.
Системный робот поиска теперь сам может регулировать скорость обхода страниц, исходя из реакции серверов. Когда скорость упадет или появится ошибка, обход будет остановлен.
Например, для того чтобы Googlebot ждал 5 секунд после каждого сканирования, вы бы установили задержку в 5 секунд.:
User-agent: Googlebot
Crawl-delay: 5
Яндекс и Google отказались от этой рекомендации, но Bing ее поддерживает.
Будьте осторожны, указывая директиву. Особенно на большом сайте. Если же вы установите задержку на пять минут и более, то роботы будут ограничены к 17280 URL каждый день. А если у вас на сайте миллионы страниц, то это не совсем хорошо. При небольшом сайте можно сэкономить на трафике.
Однако, в Google эту директиву никогда официально не принимали. Хотя ранее считалось, что Google имеет некоторый код, который обрабатывает «неподдерживаемые и запрещенные правила (такие как noindex)». Чтобы запретить Google индексировать все посты в вашем блоге, используйте следующую директиву:
User-agent: Googlebot
Noindex: /blog/
И только 1 сентября 2019 года компания Google официально заявила, что эта директива не действует. Чтобы удалить страницу или файл из поисковых систем, используйте вместо них тег meta robots и HTTP-заголовок x-robots.
Эта директива Google никогда официально не поддерживалась, и она использовалась для того, чтобы запретить поисковым системам переходить по ссылками на страницах и файлах в определенном направлении. Как правило, для того чтобы запретить Google переходить по всем ссылкам в вашем блоге вы можете использовать следующие директивы:
User-agent: Googlebot
Nofollow: /blog/
Google заявил о том, что с 1 сентября 2019 года данная директива официально не будет поддерживаться. При необходимости запретить переход по всем ссылкам на странице, используйте метатег robots или заголовок x-robots. Чтобы не позволить Google перейти по определенной ссылке на странице, используйте атрибут ссылки rel = “nofollow”.
В прошлом это была межсекционная инструкция Яндекса, и никто из других поисковиков ее не понимал. Это было сделано для указания главному роботу Яндекса главного зеркала сайта, если у него есть доступ к сайту по нескольким доменам. По словам Яндекса, в марте 2018 года Яндекс больше не будет использовать директиву Host. Функции ее взял на себя раздел «Переезд сайта в Вебмастре» и 301 редирект.
Создание файла robots.txt требует соблюдения синтаксических правил и соответствия характеристик файлов, от которых зависит корректность его работы.
Каждая директива должна быть прописана на новой строке. Иначе поисковые системы её не поймут.
Плохо:
User-agent: * Disallow: /directory/ Disallow: /another-directory/
Хорошо:
User-agent: *
Disallow: /directory/
Disallow: /another-directory/
User-agent: *
Примечание. Если не указать URL, директива становится лишней. Другими словами, поисковые системы её игнорируют. Поэтому данная директива запрета ни на что не влияет. Поисковые системы всё равно будут сканировать все страницы и файлы.
Disallow:
User-agent: *
Disallow: /
User-agent: *
Disallow: /folder/
User-agent: *
Disallow: /folder/
Allow: /folder/page.html
User-agent: *
Disallow: /this-is-a-file.pdf
User-agent: *
Disallow: /*.pdf$
User-agent: Googlebot
Disallow: /*?
Маски (*) можно использовать не только для определения всех user-agent, но и для шаблонов URL адресов при объявлении директив. Чтобы ограничить поисковые системы доступ к URL-адресам категорий товаров с параметрами на вашем сайте, вы можете перечислить их следующим образом:
User-agent: *
Disallow: /products/t-shirts?
Disallow: /products/hoodies?
Disallow: /products/jackets?
…
Но это не так уж и эффективно. В этом случае маска была бы уместна:
User-agent: *
Disallow: /products/*?
При использовании этого примера поисковым системам запрещено сканировать все URL-адреса в подпапке /product/ со знаком вопроса. В данном случае, любой URL с параметрами категории товара.
Используйте знак “$” для указания окончания URL адреса. Для того чтобы запретить поисковым системам доступ к файлам .pdf на вашем сайте, ваш файл robots.txt может выглядеть следующим образом:
User-agent: *
Disallow: /*.pdf$
При таком варианте поисковики не имеют доступа к URL-адресам, которые заканчиваются на .pdf. Это означает, что они не могут получить доступ к /file.pdf, но они могут получить доступ к /file.pdf?id=63657586, потому что он не заканчивается на ".pdf".
Если вы указали один и тот же User-agent несколько раз, то Google поймет. Ему придется объединить все правила из разных мест в одно, а также соблюдать их все. К примеру, если вы в файле robots.txt написали следующие users-agent и директивы:
User-agent: Googlebot
Disallow: /a/
User-agent: Googlebot
Disallow: /b/
Googlebot не будет сканировать ни одну из подпапок.
Поэтому не стоит прописывать user-agent больше одного раза, потому что это поможет вам меньше путаться. А если все будет в порядке, то вы не совершите никаких грубых ошибок.
Однако, в случае если вы не имеете четких указаний, то вполне возможно допустить ошибку. А это может привести к катастрофическим последствиям для вашего SEO. Представьте себе, что у вас есть мультиязычный сайт и вы работаете над немецкой версией для использования в подпапке /de/.
Однако она еще не полностью готова, поэтому вы хотите закрыть поисковым системам путь к ней.
Как вы видите ниже, файл robots.txt не разрешает поисковым системам заходить в эту папку и сканировать что-либо в ней:
User-agent: *
Disallow: /de
Но вы также запретите сканировать всю информацию, которая начинается на /de.
Например: /designer-dresses/
/delivery-information.html
/depeche-mode/t-shirts/
/definitely-not-for-public-viewing.pdf
Решение простое: сделать косую черту.
User-agent: *
Disallow: /de/
robots.txt контролирует сканирование только на поддомене, где он размещен. Вы можете контролировать сканирование на другом поддомене, используя отдельный файл robots.txt.
Если ваш основной сайт находится на site.ru, а ваш блог — на blog.site.ru, вам понадобятся два файла robots.txt. Один должен идти в корневой каталог основного домена, а другой — в корневой каталог блога.
Комментарии помогают разработчикам понимать ваш файл robots.txt и, возможно, даже вам самим в будущем. Чтобы добавить комментарий, начните строку со знака хеша (#).
# This instructs Bing not to crawl our site.
User-agent: Bingbot
Disallow: /
Роботы будут игнорировать все строки, которые начинаются с этого символа.
Писать кириллические символы в директориях robots.txt, а также HTTP-заголовках сервера запрещено.
Чтобы указывать названия кириллических доменов, воспользуйтесь Punycode. URL-адреса указывайте в кодировке, которая соответствует структуре ресурса.
Неправильно:
User-agent: Yandex
Disallow: /корзина
Sitemap: сайт.рф/sitemap.xml
Правильно:
User-agent: Yandex
Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0
Sitemap: http://xn--80aswg.xn--p1ai/sitemap.xml
В первую очередь роботам следует запретить включать в индекс любые дубли страниц. Доступ к странице должен осуществляться только по одному URL. Обращаясь к сайту, поисковый бот по каждому УРЛу должен получать в ответ страницу с уникальным содержанием. Дубли часто появляются у CMS в процессе создания страниц. Так, один и тот же документ можно найти по техническому УРЛ http://site.ru/?p=391&preview=true и ЧПУ http://site.ru/chto-takoe-seo. Нередко дубли появляются и из-за динамических ссылок. Нужно их всех скрывать от индекса с помощью масок:
Disallow: /*?*
Disallow: /*%
Disallow: /index.php
Disallow: /*?page=
Disallow: /*&page=
Все страницы с неуникальным контентом. Такие документы рекомендуется скрыть от поисковых машин до того, как они попадут в индекс.
Все страницы, применяемые при работе сценариев. К таким страницам относят такие, где есть подобные сообщения: “Спасибо за ваш отзыв!”.
Страницы, включающие индикаторы сессий. Для подобных страниц тоже рекомендуется использовать директиву Disallow:
Disallow: *PHPSESSID=
Disallow: *session_id=
Все файлы движка управления сайтом. К ним относятся файлы шаблонов, администраторской панели, тем, баз и прочие:
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Бесполезные для пользователей страницы и разделы. Без какого-либо содержания, с неуникальным контентом, результаты поиска, несуществующие и так далее.
Держите файл robots.txt в чистоте, и тогда ваш сайт будет индексироваться быстрее и лучше, а ранжироваться выше.
Многим сайтам, особенно маленьким, не обязательно иметь файл robots.txt.
Тем не менее, нет причины полностью от него отказываться. Он дает вам больше контроля над тем, куда поисковые системы могут и не могут заходить, и это может помочь с такими вещами, как:
Обратите внимание, что хотя Google обычно не индексирует веб-страницы, скрытые в файле robots.txt, это не гарантия того, что эти страницы не появятся в результатах поиска.
Как говорят в Google, если на контент ссылаются с других страниц в интернете, он может появиться в результатах поиска Google.
Многие оптимизаторы, делая первые шаги в работе с robots.txt, задаются логичным вопросом о том, почему нельзя указать общий User-agent: * и не указывать для робота каждой поисковой системы одни и те же инструкции. Дело в том, что поисковик Google более позитивно воспринимает директиву User-agent: Googlebot в файле robots, как и Яндекс отдельную директиву User-agent: Yandex.
Прописывая правила отдельно для Google и Яндекс, вы сможете управлять индексацией страниц и разделов веб-ресурса посредством Robots. Более того, применяя персональные User-agent можно запретить индексацию некоторых файлов Google, при этом оставить их доступными для роботов Яндекса, и наоборот.
Для любого сайта максимально допустимый размер текстового документа robots в 32 КБ дает возможность указывать все важные для индексации инструкции, которые используются разными поисковиками. Поэтому нет необходимости проводить рискованные эксперименты, так как это может привести к непредсказуемым последствиям.
robots.txt — это простой, но важный файл. Используйте его с умом и увидите позитивное влияние на SEO. Если будете использоватье его как попало - сами пожалеете об этом.
Как добавить свой сайт в Google в 2023 году? Так ли уж необходимо это делать?
#Google #Инструкция
HyperText Transfer Protocol Secure (HTTPS) — это зашифрованная версия протокола HTTP, который используется для передачи данных во Всемирной сети.
#HTTPS #Инструкция #ранжирование #траффик
Оптимизация URL-адресов — это не квантовая физика. Если Вы опишете свою страницу несколькими словами и замените пробелы дефисами, это уже «достаточно хорошо» для SEO.
#SEO #Инструкция #обучение #оптимизация #ранжирование