Файл robots.txt: как управлять обходом сайта поисковыми роботами
Определение: файл robots.txt — файл с указаниями для поисковых роботов о допустимом обходе разделов сайта. Не защищает закрытые данные и сам по себе не гарантирует исключение адреса из поиска.