- Поиско́вый ро́бот («веб-пау́к», краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика. По принципу действия паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Владельцы поисковых машин нередко ограничивают глубину...
Вы здесь
- Базы данных, поисковые роботы, индексаторы и так далее — это травоядные, мирно пасущиеся на бескрайних лугах данных.
- По умолчанию в Internet Explorer установлен поисковый робот MSN.
- Сайты часто воруют тексты друг у друга, а поисковые роботы отслеживают процент заимствований.
- В те годы было очень важно заполнить сайт текстом, чтобы поисковый робот нашёл, чего скушать.
- Текст между указанными тэгами и будет использован поисковыми роботами для создания индексов.
- Современные поисковые роботы определяют спам и не индексируют страницу, но машина — это всего лишь машина.
- В целом ситуация, когда материалы сайта в первую очередь ориентированы на поискового робота, а не на конечного пользователя, не может не вызывать опасений.
- Поисковые роботы могут либо совсем не индексировать его, либо постоянно отслеживать изменения в документе.