запрет индексации в robots txt

Ответ от Koala[активный]
Символ # используется для обозначения начала комментария (текст, игнорируемый роботом) . Например:
User-agent: * #Запрет индексации папки cgi
Disallow: /cgi/
Пример 1. Разрешаем индексировать все страницы сайта всем поисковикам (примечание: эквивалентом данной инструкции будет пустой файл robots.txt):
User-agent: *
Disallow:
Пример 2. Запрещаем индексировать все страницы сайта всем поисковикам:
User-agent: *
Disallow: /
Пример 3. Разрешаем индексировать всем кроме Яндекса:
User-agent: Yandex
Disallow: /
Пример 4. Запрещаем индексировать всем поисковикам кроме Яндекса (примечание: обратите внимание на обязательную пустую строку между двумя инструкциями, без нее файл не будет воспринят правильно)
User-agent: Yandex
Disallow:
User-agent: *
Disallow: /
Пример 5. Яндексу запрещаем индексировать папки cgi и images, а Апорту файлы myfile1.htm и myfile2.htm в директории dir
User-agent: Yandex
Disallow: /cgi/
Disallow: /images/
User-agent: Aport
Disallow: myfile1.htm
Disallow: myfile2.htm
Пример 6. Весьма актуальная проблема. Запрещаем индексировать динамические ссылки, пример (?ul=…) всем поисковикам:
User-agent: *
Disallow: /*?sl* #Запрет индексации динамических ссылок
Пример 7. Указание значения для Disallow без открывающего слеша приведет к тому, что робот пропустит не только папки с таким именем, но и файлы. В следующем примере, роботы не будут индексировать папку с именем myfile, а также все файлы, имеющие данное имя например myfile.php.
User-agent: *
Disallow: myfile
Пример 8. Итоговый пример файла robots.txt
User-agent: * #Запрет индексации папок cgi и images для всех поисковиков
Disallow: /cgi/
Disallow: /images/
User-agent: Google #Запрет индексации файлов myfile1.htm и myfile2.htm для Google
Disallow: myfile1.htm
Disallow: myfile2.htm
User-agent: * #Запрет индексации файлов spisok.php и vsakaya-fignya.php для всех поисковиков
Disallow: spisok.php
Disallow: vsakaya-fignya.php
User-agent: *
Disallow: /*?sl* #Запрет индексации динамических ссылок с переменной sl
При правильном использовании robots.txt у вас не должно возникнуть проблем с поисковиками, но могут возникнуть сложности со слишком любопытными посетителями. Дело в том, что они спокойно могут просмотреть содержимое файла, введя в адресную строку сайта/robots.txt. Увидев, какие файлы и папки вы скрываете, они решат обратить свой взор именно на эти части сайта, заинтересовавшись, что же вы там хотели спрятать.