Зачем нужен robots txt
Автор Дмитрий Волков задал вопрос в разделе Интернет
зачем нужен robots.txt ? и получил лучший ответ
Ответ от Ленин Ильич[гуру]
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т. д.
Источник: google
Ответ от Eрохин[активный]
текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т. д.
текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т. д.
Ответ от 3 ответа[гуру]
Привет! Вот подборка тем с ответами на Ваш вопрос: зачем нужен robots.txt ?
спросили в Интернет Ботинки
что такое бот??? и зачем он нужен
Робот, или бот, а также интернет-бот, www-бот и т. п. (англ. bot, сокр. от чеш. robot) —
подробнее...
что такое бот??? и зачем он нужен
Робот, или бот, а также интернет-бот, www-бот и т. п. (англ. bot, сокр. от чеш. robot) —
подробнее...
скажите пожалуйста. как сделать свой сайт популярным.?
Надо раскручивать свой сайт также, как обычно раскручивают свои сайты профессиональные
подробнее...
Как можно дешево раскрутить сайт?
Совсем бесплатно не получится, а вот рублей за 100 это уже вполне реально.
Надо
подробнее...