Автор Immersion задал вопрос в разделе Интернет
Что значат "пауки" в поисковых системах? что они делают? и получил лучший ответ
Ответ от Владимир Сергеев[гуру]
Поиско́вый ро́бот («веб-пау́к» , краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика. По принципу действия паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.
Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются поисковыми алгоритмами.
В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.
Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для индексирования. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается единственной возможностью указать на его существование.
Ограничить индексацию сайта можно с помощью файла robots.txt, однако некоторые недобросовестные боты могут игнорировать наличие этого файла. Полная защита от индексации может быть обеспечена другими механизмами, например установкой пароля на странице либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому.
Что такое спамы
Что это-прочитайте здесь-
Как бороться со спамом:
Каждый, кто пользуется Интернетом более
подробнее...
Что такое индексация сайта и с чем ее едят?
Индексация - это занесение в базу (в индекс) поисковой системы содержания сайта...
а едят ее с
подробнее...
Вопрос по играм Косынка, Паук, Солитер, Сапёр
Пуск - Панель управления - Установка и удаление программ - слева Установка компонентов виндоус -
подробнее...
Где можно скачать бесплатно мультфильм человек-паук (1994) 1 - 4 сезоны?
1.
Человек паук (spider man) смотреть онлайн | Скачать мультфильмы и смотреть.. .
Скачать
подробнее...
Подскажите сайты скачать пасьянсы и карточную игру Червы, чтобы бесплатно и не на час. Паук и Косынка уже есть.
А диск с виндой есть? Если есть вставьте и установите с него.
пуск-панельуправления-установка и
подробнее...
где скачать пасьянс паук ???установили windows 7 без пасьянсов: ( в пуске и в играх искали
Пуск-Панель управления-Программы и компоненты-Включение и отключение компонентов
подробнее...
Стандартные игры для Window 7. Где можно скачать стандартные игры для W7?Паук, косынка и т. д.
панель управления-> программы и компоненты-> включение и отключение компонентов
подробнее...
Какие программы нужно установить на новый ноутбук?
оо да там много чё надо, драйвера, плееры, кодеки, программы смотря для
подробнее...
Где скачать скачать стандартный пасьянс паук от Windows xp
Зачем скачивать? Установи.
ПУСК-Панель управления-Установка и удаление программ-Установка
подробнее...
Какие программы должны быть на каждом компьютере?
Я опишу пакет программ, на мой взгляд, необходимых для комфортной работы с компьютером и интерном,
подробнее...
Как удалить майкрософтовские игры? Пасьянс паук, косынка и другие.
Зайди в Программы и КомпонентыВключение и отключение компонентов. В разделе игры поснимай
подробнее...