Автор Yuriy kaskoff задал вопрос в разделе Интернет
Что значит такая запись в robots.txt? и получил лучший ответ
Ответ от Андрей Мокеев[гуру]
вырубает индексацию всего сайта
Ответ от Fallen down[гуру]
Директива «User-agent» должна содержать название поискового робота. При помощи этой директивы можно указать каждому конкретному поисковому роботу, какие страницы сайта индексировать, а какие нет. Пример написания директивы «User-agent», адресованной всем поисковым ботам зашедшим на ваш сайт, выглядит так:
User-agent: *
Директива «User-agent» должна содержать название поискового робота. При помощи этой директивы можно указать каждому конкретному поисковому роботу, какие страницы сайта индексировать, а какие нет. Пример написания директивы «User-agent», адресованной всем поисковым ботам зашедшим на ваш сайт, выглядит так:
User-agent: *
Ответ от 3 ответа[гуру]
Привет! Вот подборка тем с похожими вопросами и ответами на Ваш вопрос: Что значит такая запись в robots.txt?