Во всех адекватных руководствах говориться о файле robots.txt, рассматриваются модели его использования и правильное составление, но зачем он нужен? Если вы еще не знаете зачем…