Автор SowerauS SowerauS задал вопрос в разделе Интернет
Как сделать Анализ robots.txt и получил лучший ответ
Ответ от Severinka[гуру]
Пишешь файл робот. На Яндексе есть пример
Затем пишешь файл sitemap.txt где перечисляешь все свои страницы
кидаешь их в корень своего сайта
потом на Яндексе загружаешь эти два файла
и это не тебе нужно сделать анализ файла. а яндекс его сделает, когда загрузишь
Поточнее - сначала зайди на Яндекс. Вебмастер и зарегистрируй свой сайт. А потом тебе станут доступны разделы, где нужно будет загрузить робот и сайтмап
Ответ от Алексей[новичек]
Привет тоже столкнулся с этим вопросом если сделаешь будь добр отпиши мне как это делать!
Привет тоже столкнулся с этим вопросом если сделаешь будь добр отпиши мне как это делать!
Ответ от Андрей Евгеньевич[гуру]
Укажите имя вашего сайта и нажмите кнопку «Загрузить robots.txt с сайта» .
Нажав кнопку «Проверить» , вы можете узнать, будет ли робот обходить страницы, заданные в окне «Список URL».
Редактируя правила, составьте файл robots.txt, подходящий для вашего сайта. Помните, что файл на сайте при этом не меняется. Для того, чтобы изменения вступили в силу, вам потребуется самостоятельно загрузить обновленную версию robots.txt на сайт.
Укажите имя вашего сайта и нажмите кнопку «Загрузить robots.txt с сайта» .
Нажав кнопку «Проверить» , вы можете узнать, будет ли робот обходить страницы, заданные в окне «Список URL».
Редактируя правила, составьте файл robots.txt, подходящий для вашего сайта. Помните, что файл на сайте при этом не меняется. Для того, чтобы изменения вступили в силу, вам потребуется самостоятельно загрузить обновленную версию robots.txt на сайт.
Ответ от 3 ответа[гуру]
Привет! Вот подборка тем с похожими вопросами и ответами на Ваш вопрос: Как сделать Анализ robots.txt