В корневом каталоге любого сайте есть вот такой файлик "robots.txt" ,где указываются каталоги и страницы которые не должны индексироваться поисковым роботом. В основном это делается по соображениям безопасности. А те кто, пренебрегает этим файлом, очень рискуют быть взломанными.