robots txt sitemap



Sitemap в robots

Автор DV задал вопрос в разделе Интернет

Google не индексирует сайт, не загружает sitemap, не видит robots.txt и получил лучший ответ

Ответ от Cheery[гуру]
Ну. . на новые сайты гугл не всегда сразу приходит. .
"Общая ошибка HTTP: Имя домена не найдено "
говорит о том, что не смог резолвить имя вашего сайта. . проверьте, что не сделали ошибки, когда указывали путь к sitemap.xml
robots.txt тоже в порядке.
тут регистрировались?
хотя скорее всего да, иначе как бы sitemap отправили. .
структуру xml файла глянул - тоже все в порядке. у меня такая же, разве что в генераторе, что я сам написал, не использовал перенос после первого urlset. ну и я использую больше аттрибутов у loc.. например указывая частоту обновлений.
robots.txt можете проверить там же в разделе "Crawler access"
ну и добавьте еще в robots.txt ссылку на sitemap
Sitemap:
Cheery
Высший разум
(198948)
Если yandex видит, то и остальные должны.. если, конечно, не заблокировали его специально )
возможно вы недавно поменяли IP адрес в записях домена и у гугла не обновились DNS записи, поэтому не смог резолвить адрес домена. об этом ошибка, которую я процитировал, и говорит.
не подключиться не может, а именно резолвить.

Ответ от Алена Новикова (Ефимцева)[новичек]
Трудно сказать. Может Гоше не нравиться большое количество внешних ссылок и просто банит. Внимательно гляньте их правила. Удачи.

Ответ от 3 ответа[гуру]
Привет! Вот подборка тем с ответами на Ваш вопрос: Google не индексирует сайт, не загружает sitemap, не видит robots.txt
спросили в User ccu User cek
Что надо сделать для того, чтобы сайт стал индексироваться в Яндексе?
Что Вас смущает? В robots.txt прописано указание роботам всех поисковиков индексировать сайт?
подробнее...
спросили в Интернет
Что должно быть в robots.txt чтобы быстро яндекс индексировал сайт?
Помоему етот файл robots.txt наоборот для запрета поисковикам индексировать конкретные страницы
подробнее...
спросили в Интернет
Есть ли у Гугла (Google) контакты службы поддержки Вебмастер (Инструменты для веб-мастеров)?
Панель вебмастера Google:

На главной странице выводится три панели с информацией и
подробнее...

Какая конкретная польза от карты сайта?
Нельзя сказать, что карта сайта – необходимая для каждого проекта вещь, однако она поможет вашим
подробнее...
спросили в Интернет XML
Что такое robots.txt и sitemap.xml???
robots.txt- файл для разрешения или запрета индексации страниц поисковиками
sitemap.xml -
подробнее...
Ответ от 3 ответа[гуру]
Привет! Вот еще темы с похожими вопросами:
спросили в Интернет
Как сделать Анализ robots.txt
Пишешь файл робот. На Яндексе есть пример
Затем пишешь файл sitemap.txt где перечисляешь все
подробнее...
спросили в Интернет
как убрать файл robots.txt с сайта ucoz? а то яндекс и гугл тупят что то
Робота ты сможешь убрать только через 30-40 дней. Только тогда сможешь добавить сайт в поисковик.
подробнее...
спросили в User ccu
Не индексируется сайт
Примеры оптимальных robots.txt

Ниже я приведу, которые на мой взгляд являются
подробнее...
Стандарт исключений для роботов на Википедии
Посмотрите статью на википедии про Стандарт исключений для роботов
 

Ответить на вопрос:

Имя*

E-mail:*

Текст ответа:*
Проверочный код(введите 22):*