Генератор файла robots.txt

Файл robots.txt позволяет указывать роботов (или "пауков") поисковых систем, которым вы хотите запретить доступ к файлам и каталогам своего сайта. Инструмент Создайте файл robots.txt, позволяет легко создать файл robots.txt, в котором можно указать любых роботов, которым вы хотите запретить сканирование своего сайта, а также разрешить или заблокировать доступ роботов к отдельным файлам или каталогам вашего сервера. Например, вы можете выполнить следующие действия:

• Заблокировать доступ роботов к файлу или каталогу вашего сайта.
• Заблокировать доступ роботов ко всему сайту.
• Заблокировать доступ определенного робота к вашему сайту.

Необходимо отметить, что инструкции, приведенные в файле robots.txt, являются указаниями, а не безусловно выполняемыми распоряжениями. Роботы всех популярных поисковых систем будут следовать инструкциям в файле robots.txt. В то же время роботы других систем, например роботы спамеров, систем кражи содержания и других вредоносных систем, могут не учитывать содержимое файла. Поэтому мы советуем хранить конфиденциальную информацию в каталоге вашего сервера, доступ к которому защищен паролем. Кроме того, разные роботы могут интерпретировать содержимое файла robots.txt по-разному, не все роботы поддерживают все инструкции, приведенные в файле. Хотя мы прилагаем все возможные усилия, чтобы создавать файлы robots.txt, которые будут одинаково обрабатываться всеми роботами, мы не можем определить, как именно будет обрабатываться содержание файла в каждом конкретном случае.

После создания файла robots.txt для вашего сайта с помощью инструмента создания файлов robots.txt, можно загрузить этот файл и сохранить в каталоге верхнего уровня вашего сайта.