Поисковый робот: что это такое и как он работает? Как проверить, что робот принадлежит яндексу Ее считывают и поисковые роботы.

Для сканирования веб-сайтов поисковые системы используют роботов (пауков, краулеров) - программы для индексации страниц и занесения полученной информации в базу данных. Принцип действия паука похож на работу браузера: он оценивает содержимое страницы, сохраняет ее на сервере поисковика и переходит по гиперссылкам в другие разделы.

Разработчики поисковых систем могут ограничивать максимальный объем сканируемого текста и глубину проникновения робота внутрь ресурса. Поэтому для эффективной раскрутки сайта эти параметры корректируют в соответствии с особенностями индексации страниц различными пауками.

Частота визитов, порядок обхода сайтов и критерии определения релевантности информации запросам пользователей задаются поисковыми алгоритмами. Если на продвигаемый ресурс ведет хотя бы одна ссылка с другого веб-сайта, роботы со временем его проиндексируют (чем больше вес линка, тем быстрее). В обратном случае для ускорения раскрутки сайта его URL добавляют в базу данных поисковых систем вручную.

Виды пауков

В зависимости от назначения различают следующие виды поисковых роботов.

• национальные, или главные. Собирают информацию с одного национального домена, например, .ru или.su, и принятых к индексации сайтов;
• глобальные. Осуществляют сбор данных со всех национальных сайтов;
• индексаторы картинок, аудио и видео файлов;
• зеркальщики. Определяют зеркала ресурсов;
• ссылочные. Подсчитывают число ссылок на сайте;
• подсветчики. Оформляют результаты поисковых систем, например, выделяют в тексте запрашиваемые словосочетания;
• проверяющие. Контролируют наличие ресурса в базе данных поисковика и число проиндексированных документов;
• стукачи (или дятлы). Периодически определяют доступность сайта, страницы или документа, на который ведет ссылка;
• шпионы. Выполняют поиск ссылок на ресурсы, еще не проиндексированные поисковыми системами;
• смотрители. Запускаются в ручном режиме и перепроверяют полученные результаты;
• исследователи. Используются для отладки поисковых алгоритмов и изучения отдельных сайтов;
• быстрые роботы. В автоматическом режиме проверяют дату последнего обновления и оперативно индексируют новую информацию.

Обозначения

При поисковой оптимизации сайта часть контента закрывают от индексации роботами (личную переписку посетителей, корзины заказов, страницы с профилями зарегистрированных пользователей и т.д.). Для этого в файле robots.txt в поле User-agent прописывают имена роботов: для поисковой системы Яндекс — Yandex, для Google - Googlebot, для Rambler - StackRambler, для Yahoo - Yahoo! Slurp или Slurp, для MSN - MSNBot, для Alexa - ia_archiver и т.д.

Yandex/1.01.001 (compatible; Win16; I) - основной индексирующий робот
Yandex/1.01.001 (compatible; Win16; P) - индексатор картинок
Yandex/1.01.001 (compatible; Win16; H) - робот, определяющий зеркала сайтов
Yandex/1.02.000 (compatible; Win16; F) - робот, индексирующий пиктограммы (favicons) сайтов
Yandex/1.03.003 (compatible; Win16; D) - робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
Yandex/1.03.000 (compatible; Win16; M) - робот, обращающийся при открытии страницы по ссылке «Найденные слова »
YaDirectBot/1.0 (compatible; Win16; I) - робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) - робот поиска по блогам , индексирующий коментарии постов.

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.

Кроме роботов, у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

Yandex/2.01.000 (compatible; Win16; Dyatel; C) - «простукивалка» Яндекс.Каталога . Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
Yandex/2.01.000 (compatible; Win16; Dyatel; Z) - «простукивалка» Яндекс.Закладок . Ссылки на недоступные сайты помечаются серым цветом.
Yandex/2.01.000 (compatible; Win16; Dyatel; D) - «простукивалка» Яндекс.Директа . Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
Yandex/2.01.000 (compatible; Win16; Dyatel; N) - «простукивалка» Яндекс.Новостей . Она формирует статистические отчеты для контент-менеджера и информирует его о возможных проблемах у партнеров-поставщиков новостей
Источник: help.yandex.ru

Роботы Google

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) - поисковый робот Google.

Googlebot-Image (Google) Googlebot-Image/1.0 - робот-индексатор картинок.
Директивы, адресованные этому роботу, прописываются для удаления изображений из Картинок Google , например, для запрета индексации картинок в новостях (в данном случае иллюстрации к новостям размещаются в папке /news/img/ ):

User-agent: *
Disallow: /news

User-agent: Googlebot-Image
Disallow: /news/img/

Mediapartners-Google - робот-анализатор AdSense.
Директивы, адресованные этому роботу, прописываются для запрета индексации страниц с сохранением показа объявлений AdSense, например:

User-agent: *
Disallow: /news

User-agent: MediaPartners-Google
Allow: /news

Googlebot-Mobile (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) - робот индексирующий сайты для мобильных устройств.
Google Search Appliance (Google) gsa-crawler - поисковой робот нового аппаратно-программного комплекса Search Appliance (GSA 6.0).
AdsBot-Google (+http://www.google.com/adsbot.html) - оценка качества целевых страниц AdWords.

Робот Рамблера

Роботы Апорта

Aport - поисковый робот Апорта
AportCatalogRobot/2.0 - робот Апорт каталога.

Роботы Yahoo!

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) - поисковый робот Yahoo!
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) - новый робот Yahoo! 3-го поколения.
Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com) - робот-индексатор картинок.
Yahoo-Blogs/v3.9 (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.com/help/us/ysearch/crawling/crawling-02.html) - робот поиска по блогам.

Роботы MSN

msnbot-media/1.0 (+http://search.msn.com/msnbot.htm) - робот-индексатор мультимедийных файлов для images.live.com.

msnbot-media/1.1 (+http://search.msn.com/msnbot.htm) - робот-индексатор мультимедийных файлов.

msnbot-news (+http://search.msn.com/msnbot.htm) - робот индексирующий новости.

msnbot-NewsBlogs/1.0 (+http://search.msn.com/msnbot.htm) - обеспечивает актуальность новостей и блогов для search.live.com/news
Если робот поисковой системы пытается получить доступ к вашему веб-узлу чаще одного раза в несколько секунд, можно увеличить задержку между обращениями и настроить их минимальную частоту (в секундах) с помощью параметра Crawl-delay в файле robots.txt, например:

User-agent: msnbot
Crawl-delay: 120

msnbot-Products/1.0 (+http://search.msn.com/msnbot.htm) - индексация для поиска товаров и шоппинга products.live.com

msnbot-Academic/1.0 (+http://search.msn.com/msnbot.htm) - производит академический поиск в academic.live.com

Робот Alexa

ia_archiver (+http://www.alexa.com/site/help/webmasters; [email protected]) - робот Alexa.
ia_archiver-web.archive.org - робот Alexa. Роботы Alexa полезны тем, что индексируют сайты для web.archive.org

SAPE.BOT is watching you! - сканирует сайты для биржи SAPE.ru

Как посмотреть информацию о посещениях сайта роботами можно узнать на странице

Узнайте, с помощью каких роботов Google сканирует ресурсы в Интернете

Под этим термином понимаются любые программы, которые автоматически обнаруживают и сканируют сайты, переходя по ссылкам от страницы к странице. Наш основной поисковый робот называется Googlebot . В таблице ниже приведены сведения о ключевых поисковых роботах Google, которые попадают в журналы источников ссылок. Также вы узнаете, как указывать данные этих роботов в файле robots.txt , в метатегах robots и в командах X-Robots-Tag HTTP.

Поисковые роботы, перечисленные ниже, применяются продуктами и сервисами Google:

• Токен агента пользователя указывается в строке User-agent: файла robots.txt и используется при создании правил сканирования для определенных поисковых роботов. Как видно из таблицы, некоторым роботам соответствует более одного токена. Для применения правила достаточно написать один вариант. Приведенный ниже перечень не является исчерпывающим, но содержит информацию о наиболее распространенным роботах.
• – это полное описание поискового робота. Оно указывается в запросе и в журналах.

Инструменты злоумышленников могут указывать аналогичные токены и строки. Чтобы убедиться, что на вашем сайте был именно робот Googlebot, используйте обратный DNS-запрос .

Агенты пользователя в файлах robots.txt

Если в файле robots.txt указаны инструкции для нескольких агентов пользователя, робот Google выполнит наиболее строгие из них. Если вы хотите, чтобы наши роботы могли сканировать ваш сайт полностью, этот файл вообще не нужен. Чтобы запретить или разрешить всем поисковым роботам Google доступ к тому или иному контенту, укажите в качестве агента пользователя Googlebot. Так, если вам нужно, чтобы все страницы сайта отображались в результатах поиска Google, а также чтобы на страницах отображались объявления AdSense, не используйте файл robots.txt. Если нужно закрыть некоторые разделы для всех роботов Google, сделайте это для агента пользователя Googlebot. Это приведет к блокировке всех остальных роботов.

Вы также можете указывать специальные правила для определенных агентов пользователя. Предположим, вам нужно, чтобы все страницы вашего сайта отображались в Google Поиске, но при этом хотите запретить сканирование изображений, находящихся в личном каталоге. В таком случае в файле robots.txt запретите агенту пользователя Googlebot-Image сканировать файлы в каталоге /personal. При этом робот Googlebot по-прежнему будет иметь доступ к файлам во всех каталогах. Запись должна выглядеть следующим образом:

User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personal Рассмотрим другой пример. Вы хотите разместить рекламу на всех страницах, но они при этом не должны отображаться в Google. Для этого заблокируйте доступ к содержанию агенту пользователя Googlebot, но оставьте его доступным агенту пользователя Mediapartners-Google следующим образом: User-agent: Googlebot Disallow: / User-agent: Mediapartners-Google Disallow:

Агенты пользователя в метатегах robots

Некоторые страницы содержат несколько тегов meta , в которых указаны инструкции для различных поисковых роботов. Примеры:

В этом случае Google будет использовать все запрещающие инструкции, а Googlebot выполнит обе директивы: noindex и nofollow .

Эта информация оказалась полезной?

Как можно улучшить эту статью?

Иногда роботы могут маскироваться под роботов Яндекса путем указания соответствующего User-agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS-запросах (reverse DNS lookup).

Для этого необходимо выполнить следующее:

По IP-адресу определите доменное имя хоста с помощью обратного DNS-запрос.

Проверьте, принадлежит ли хост Яндексу. Имена всех роботов Яндекса заканчиваются на сайт , yandex.net или yandex.com . Если имя хоста имеет другое окончание, это означает, что робот не принадлежит Яндексу.

1. Удостоверьтесь в корректности полученного имени. Для этого нужно использовать прямой DNS-запрос (forward DNS lookup), чтобы получить IP-адрес, соответствующий имени хоста. Он должен совпадать с IP-адресом, использованным при обратном DNS запросе. Если IP-адреса не совпадают, это означает, что полученное имя хоста поддельное.

   1. Вопросы и ответы

Роботы Яндекса в логах сервера

Некоторые роботы Яндекса скачивают документы не для их последующей индексации, а для других специфичных целей. Для избежания непреднамеренной блокировки владельцами сайтов они могут не учитывать ограничивающие директивы файла robots.txt , предназначенным для произвольных роботов (User-agent: * ).

Также частичное игнорирование ограничений robots.txt определенных сайтов возможно при наличии соответствующей договоренности между компанией «Яндекс» и владельцами этих сайтов.

Примечание. Если такой робот скачает документ, не доступный основному роботу Яндекса, этот документ никогда не будет проиндексирован и не попадет в поисковую выдачу.

Чтобы ограничить доступ таких роботов к сайту, используйте директивы специально для них, например:

User-agent: YandexCalendar\nDisallow: /\n\nUser-agent: YandexMobileBot\nDisallow: /private/*.txt$

Роботы используют множество IP-адресов, которые часто меняются. Поэтому их список не разглашается.

Его работа заключается в тщательном анализе содержимого страниц представленных в Интернете сайтов и отправке результатов анализа в поисковой системы.

Новые страницы поисковый робот некоторое время обходит, но в дальнейшем они индексируются и при отсутствии каких-либо санкций со стороны поисковых систем могут отображаться в результатах поиска.

Принцип действия

Действие поисковых роботов основано на том же принципе, что и работа обыкновенного браузера. Посещая тот или иной сайт, они обходят часть его страниц или все страницы без исключения. Полученную информацию о сайте они отправляют в поисковый индекс. Эта информация появляется в поисковой выдаче, соответствующей тому или иному запросу.

Из-за того, что поисковые роботы могут посещать только часть страниц, с индексацией больших сайтов могут возникать проблемы. Такие же точно проблемы могут возникать из-за низкого качества .

Перебои в его работе делают часть страниц недоступными для анализа. Важную роль в оценке сайта поисковыми роботами играет правильно составленная и грамотно настроенный файл robots.txt.

Глубина сканирования ресурса и периодичность обхода сайтов поисковыми роботами зависит от:

• Алгоритмов работы поисковых систем.
• Частоты обновления сайтов.
• Структуры сайтов.

Поисковый индекс

База данных с информацией, которую собирают поисковые роботы, называется поисковым индексом. Эта база используется поисковыми системами для формирования результатов выдачи по конкретным .

В индекс заносится не только информация о сайтах: поисковые роботы способны распознавать изображения, мультимедиа файлы и документы в различных электронных форматах (.docx, .pdf и др).

Один из самых активных поисковых роботов системы Яндекс – быстробот. Он постоянно сканирует новостные ресурсы и другие часто обновляемые сайты. , который не замечен быстроботом, не имеет смысла.

Привлечь его можно с помощью специальных инструментов, причем действенны они для сайтов самого разного назначения. Для проверки сайтов на доступность, для анализа отдельных их характеристик, для индексации картинок и документов в поисковых системах есть отдельные роботы.