google disallow links

Ответ от Марат[гуру]
Примеры оптимальных robots.txt
Ниже я приведу, которые на мой взгляд являются оптимальными для сайтов Joomla и блога Wordpress. С рекомендуемыми robots.txt вы всегда можете ознакомиться на сайтах разработчиков.
Для Joomla:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: ваш сайт
Sitemap: ваш сайт/ситемап. иксмл
Где Host, Ваш предпочтительный вариант, а хттп/ваш сайт/ситемап. иксмл - путь к карте сайта.
В отличии от рекомендуемого разработчиками, я рекомендую открыть для индексации директорию "images", особенно если Вы используете уникальные картинки. Как видите, закрыты для роботов системные папки, кеш, временные файлы.
Для Wordpress моим оптимальным вариантом является следующий:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Аналогично, как и в первом примере можно добавить директивы отдельно для Яндекса.
Как видите, с robots.txt не все так прозрачно и однозначно. Мне даже доводилось слышать, что robots.txt имеет рекомендательный характер и часто запрещенные страницы все-равно залазят в индекс. С моей точки зрения и исходя из имеющегося опыта, директивы robots.txt, либо работают, либо нет и третьего не дано! Можно сразу проверить правильность работы robots.txt в любой панеле веб-мастеров узнав разрешена ли индексация конкретно взятой страницы или нет.
Источник: zvirec.com