Про файл robots.txt
В процессе переезда на новый хостинг, я вдруг подумал, а что если не все знают что это за файл такой robots.txt…
Итак, файл robots.txt зачем он нужен, и как его создать?
Файл robots.txt нужен в первую очередь для поисковых систем. В нём мы можем закрыть любые страницы нашего сайта. Зачем? К примеру есть у нас сраница ssilki.php, в которой храняться все обратные ссылки с каталогов. Мы не хотим чтоб наш сайт приняли за помойку, верно? И мы берем и закрываем его от индексации. Теперь, как его создать.
Берем текстовый редактор, например Блокнот. Создаем текстовый файл. Называем его robots.txt. Открываем. Вписываем следующее:
User-agent: *
Disallow: /ssilki.php
Host: top-zarabotok.com.ua
* - показывает нам, что для всех ботов посковых систем мы запрещаем индексацию. Можно указать отдельные, но чаще всего пишется так.
Disallow - не отображаем файл ssilki.php.
Host - ваш домен.
Disallow может быть сколько угодно. Главное не забыть добавлять символ / перед страницой.
И заливаем в папку public html на хостинг. Может у вас нет папки public html, тогда заливайте, куда заливали свой сайт.