Полный гид по использованию файла Robots.txt
Как сделать так, чтобы поисковые системы, такие как Яндекс, знали, какие страницы сайта важны, а какие лучше оставить в стороне? Этому помогает файл Robots.txt!
Что такое Robots.txt
Robots.txt — это простой текстовый файл, который живёт в корневом каталоге вашего сайта. Его задача — давать инструкции поисковым роботам, таким как Googlebot или YandexBot, о том, какие части сайта они могут сканировать и индексировать, а куда им вход строго воспрещён.
Зачем он нужен
Файл Robots.txt полезен по многим причинам:
- Контролируем индексацию. Хотите, чтобы определённые страницы были видны в поиске, а другие остались невидимыми? Robots.txt поможет в этом.
- Сбережём ресурсы сервера. Меньше сканируемых страниц — меньше нагрузка на сервер.
- Скроем конфиденциальную информацию. Личные данные, административные панели и прочие секретные уголки сайта лучше держать подальше от любопытных глаз.
- Борьба с дубликатами. Иногда на сайте появляются одинаковые или очень похожие страницы. Чтобы избежать путаницы, можно закрыть их от индексации.
Про то, какой выбрать веб-дизайн сайта вы можете прочитать вот в этой статье.
Как создать и разместить Robots.txt
Создание файла Robots.txt довольно простое дело:
- Открываем текстовый редактор (например, Notepad++, Sublime Text или обычный Блокнот).
- Пишем необходимые команды и сохраняем файл с названием robots.txt.
- Кладём этот файл в корень сайта, то есть туда, где находятся главные страницы вашего проекта.
Основные команды Robots.txt
Теперь давайте разберемся, какие команды можно использовать в файле Robots.txt:
User-agent
Эта команда определяет, кому предназначены следующие за ней инструкции. Можно задать правило для всех роботов (*) или для какого-то конкретного бота (например, Googlebot):
User-agent: *
или
User-agent: Googlebot
Disallow
Команда Disallow запрещает доступ к определенным страницам или каталогам. Например, если вы хотите скрыть всю папку /private/, напишите следующее:
Disallow: /private/
Allow
Команда Allow делает исключение из общего запрета. Если вы закрыли доступ к какому-то каталогу, но хотите разрешить доступ к конкретной странице, вот как это делается:
Allow: /private/page.html
Sitemap
Команда Sitemap указывает поисковым ботам, где находится карта сайта (sitemap.xml), чтобы они могли легко найти все страницы:
Sitemap: https://example.com/sitemap.xml
Crawl-delay
Команда Crawl-delay регулирует частоту, с которой поисковые роботы посещают ваш сайт. Это полезно, если вы боитесь перегрузить сервер:
Crawl-delay: 10
Примеры использования Robots.txt
Давайте посмотрим, как можно применять разные комбинации команд в зависимости от ваших нужд.
Простейший пример
Запретим доступ ко всей закрытой зоне сайта и покажем карту сайта:
User-agent: *
Disallow: /private/
Sitemap: https://example.com/sitemap.xml
Только для Googlebot
Допустим, вы хотите, чтобы только Googlebot мог индексировать ваш сайт:
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Заблокированные страницы и карта сайта
Закроем пару страниц и весь административный раздел, оставив доступ к карте сайта:
User-agent: *
Disallow: /page1.html
Disallow: /page2.html
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Контроль скорости сканирования
Установим паузу между запросами для всех роботов, кроме Googlebot:
User-agent: *
Crawl-delay: 20
User-agent: Googlebot
Crawl-delay: 0
Проверка и тестирование Robots.txt
Когда файл готов, обязательно проверьте его на ошибки. Для этого существуют специальные инструменты:
- Проверка в Яндекс.Вебмастере. Отличный способ убедиться, что всё сделано правильно для робота Яндекса.
- Тестировщик от Google Search Console. Здесь можно проверить файл перед его публикацией.
О том, как получить бесплатное доменное имя для сайта, хорошо написано здесь.
Ответы на частые вопросы
Можно ли закрыть весь сайт от индексации?
Да, просто добавьте такую строку:
User-agent: *
Disallow: /
Но помните, что это не панацея! Некоторые поисковые системы могут проигнорировать этот запрет.
Надо ли перечислять каждую страницу отдельно?
Необязательно. Достаточно указать общий шаблон, например, /private/*, чтобы закрыть доступ ко всему содержимому папки /private/.
Как часто обновлять Robots.txt?
Каждый раз, когда меняется структура сайта или правила индексации. Например, если вы создали новую закрытую зону или поменяли адреса страниц.
Защищает ли Robots.txt от взломщиков?
К сожалению, нет. Robots.txt предназначен исключительно для поисковых роботов, а не для защиты от злоумышленников.
Итог
Файл Robots.txt — отличный помощник в управлении индексацией вашего сайта. Правильно составленный, он поможет поисковым системам лучше понимать вашу структуру, снизит нагрузку на сервер и обеспечит безопасность важных данных. Не забывайте регулярно проверять и обновлять его, чтобы поддерживать порядок на своём ресурсе!