При индексации страницы робот закачивает ее, индексирует, анализирует ссылки и закачивает указанные в них страницы. И так многократно. При обнаружении ссылок на страницы другого сайта, робот начинает закачивать страницы и оттуда, а там новые ссылки на следующие сайты. При этом существует вероятность полного переключения робота на другие сайты, а Ваши страницы останутся недоиндексированными (не навсегда, но, возможно, надолго). Вот тут-то определенная директива, запрещающая индексацию страниц со ссылками на другие сайты, была бы кстати. Такие директивы закладываются в файл robots.txt.
Файл robots.txt должен находиться в корневом каталоге и определять, какие файлы и каталоги не индексируются. Например, если сайт называется design.narod.ru, то файл robots.txt должен иметь адрес http://design.narod.ru/robots.txt. Файлы robots.txt во внутренних каталогах сайта поисковыми машинами игнорируются. Наименование файла robots.txt должно состоять из букв нижнего регистра.
Поисковые машины поддерживают всего три директивы файла robots.txt:
• # - означает начало комментария. Cтрока, следующая за этим знаком, игнорируется.
• User-agent:Кодовое название робота - указывает робота, которому адресован приведенный в следующих за строкой User-agent блок инструкций. Например, робот поисковой системы Рамблер называется StackRambler. В одной директиве User-agent можно указать только одного робота. Для указания нескольких роботов применяется несколько директив User-agent. Допускается указание имени всех роботов: знак * в виде User-agent:*.
• disallow:имя файла - указывает имя или часть имени не индексируемых файлов. Директива допускает не более одного параметра, для указания нескольких файлов, требуется употребление нескольких строк disallow. Директивы disallow должны идти в следующей строке после строки User-agent с именем робота. Пустая строка является окончанием блока параметров для одного робота и началом блока параметров для следующего, со своей строкой User-agen в начале блока. Дойдя до пустой строки в блоке со своим именем User-agent, робот прекращает чтение параметров и начинают индексацию файлов. Поэтому пустые строки внутри блока параметров также недопустимы. Если требуется задание различных параметров индексации различным роботам, перед началом блока параметров для каждого робота обязательно наличие пустой строки (завершение предыдущего блока). Имена некоторых роботов: Yandex, StackRambler, Aport, Googlebot, Lycos
Блок параметров для Рамблера, к примеру, должен выглядеть так:
>> user-agent: StackRambler
>> disallow: /alt
>> disallow: /mac
>> disallow: /koi
Этот блок запретит индексацию файлов, путь к которым начинается с alt, mac и koi. Параметр директивы disallow должен указывать относительный путь от корня сайта. Директива disallow не признает шаблонов типа *.htm, поэтому, чтобы не повторять строки многократно, рекомендуется собирать неиндексируемые файлы в один или несколько каталогов и запрещать индексацию этих каталогов.
Корневой каталог сайта обозначается обратным слешем (/). Если не требуется индексация всего сайта, достаточно указывать на корень: "disallow: /" .Директива disallow без слеша ничего не запрещает. Если не требуется индексация файлов, имя которых начинается с некоторой последовательности символов, в директиве disallow указывается обратный слеш и требуемая последовательность. Например:
