Як здійснюється пошук у пошукових системах. Як працюють пошукові системи — сніпети, алгоритм зворотного пошуку, індексація сторінок та особливості роботи Яндекса

Здрастуйте, шановні читачі!

Пошукових систем у світовому інтернет-просторі теперішній моментдостатньо багато. Кожна з них має власні алгоритми індексування та ранжування сайтів, але в цілому принцип роботи пошукових систем досить схожий.

Знання про те, як працює Пошукова системав умовах конкуренції, що стрімко зростає, є вагомою перевагою при просуванні не тільки комерційних, а й інформаційних сайтів і блогів. Ці знання допомагають вибудовувати ефективну стратегію оптимізації сайту і з меншими зусиллями потрапляти в ТОП видачі за групами запитів, що просуваються.

Принципи роботи пошукових систем

Сенс роботи оптимізатора полягає в тому, щоб «підлаштувати» сторінки, що просуваються під пошукові алгоритми і, тим самим, допомогти цим сторінкам досягти високих позицій за певними запитами. Але до початку робіт з оптимізації сайту або блогу необхідно хоча б поверхово розбиратися в особливостях роботи пошукових систем, щоб розуміти, як вони можуть реагувати на дії, що вживаються оптимізатором.

Зрозуміло, детальні подробиці формування пошукової видачі – інформація, яку пошукові системи не розголошують. Проте, для правильних зусиль з достатньо розуміння основних принципів, якими працюють пошукові системи.

Методи пошуку інформації

Два основних методи, які сьогодні використовуються пошуковими машинами, відрізняються підходом до пошуку інформації.

1. Алгоритм прямого пошуку, що передбачає зіставлення кожному з документів, збережених у основі пошукової системи, ключової фрази (запиту користувача), є досить надійним способом, що дозволяє визначити всю необхідну інформацію. Недолік цього методу полягає в тому, що при пошуку у великих масивах даних час, необхідний знаходження відповіді, досить великий.
2. Алгоритм зворотних індексів, коли ключовою фразоюзіставляється список документів, у яких вона є, зручний при взаємодії з базами даних, що містять десятки та сотні мільйонів сторінок. При такому підході пошук здійснюється не за всіма документами, а лише за спеціальним файлам, що включає списки слів, які містяться на сторінках сайтів. Кожне слово в такому списку супроводжується вказівкою координат позицій, де воно зустрічається, та інших параметрів. Саме цей метод застосовується сьогодні у роботі таких відомих пошукових систем, як Яндекс та Гугл.

Тут слід зазначити, що при зверненні користувача до пошукового рядка браузера пошук здійснюється не безпосередньо в інтернеті, а в попередньо зібраних, збережених та актуальних на Наразібази даних, що містять оброблені пошуковими системами блоки інформації (сторінки сайтів). Швидке формування результатів пошуку можливе саме завдяки роботі зі зворотними індексами.

Текстовий вміст сторінок (прямі індекси) пошуковими машинами теж зберігається і використовується при автоматичному формуванні сніпетів з найбільш відповідних запиту текстових фрагментів.

Математична модель ранжування

З метою прискорення пошуку та спрощення процесу формування видачі, що максимально відповідає запиту користувача, застосовується певна математична модель. Завдання цієї математичної моделі- Знаходження потрібних сторінокв актуальній основі зворотних індексів, оцінка їхнього ступеня відповідності запиту і розподіл у порядку зменшення релевантності.

Простого знаходження потрібної фрази на сторінці недостатньо. При визначенні пошуковими системами застосовується розрахунок ваги документа щодо запиту користувача. По кожному запиту цей параметр розраховується на основі наступних даних: частоти використання на аналізованій сторінці і коефіцієнтом, що відображає, наскільки рідко зустрічається це ж слово в інших документах бази даних пошукача. Твір цих двох величин відповідає вагою документа.

Вочевидь, представлений алгоритм є дуже спрощеним, що у розпорядженні пошукових машин є низку інших додаткових коефіцієнтів, використовуваних під час розрахунків, але сенс від цього змінюється. Чим частіше окреме словоіз запиту користувача зустрічається в будь-якому документі, тим вища вага останнього. При цьому текстовий вміст сторінки визнається спамним, якщо буде перевищено певні межі, що є для кожного запиту різними.

Основні функції пошукової системи

Усе існуючі системипошуку покликані виконувати кілька важливих функцій: пошук інформації, її індексування, якісну оцінку, правильне ранжування та формування пошукової видачі. Першочергове завдання будь-якої пошукової системи – надання користувачеві тієї інформації, яку він шукає, максимально точної відповіді на конкретний запит.

Оскільки більшість користувачів поняття не мають про те, як працюють пошукові системи в інтернеті та можливості навчити користувачів «правильного» пошуку дуже обмежені (наприклад, пошуковими підказками), розробники змушені покращувати сам пошук. Останнє передбачає створення алгоритмів та принципів роботи пошукових систем, що дозволяють знаходити потрібну інформацію незалежно від того, наскільки «правильно» сформульовано. пошуковий запит.

Сканування

Це відстеження змін у вже проіндексованих документах та пошук нових сторінок, які можуть бути представлені у результатах видачі на запит користувачів. Сканування ресурсів у мережі інтернет пошуковики здійснюють за допомогою спеціалізованих програм, які називаються павуками або пошуковими роботами.

Сканування інтернет-ресурсів та збирання даних проводиться пошуковими ботами автоматично. Після першого відвідування сайту і включення його в базу даних пошуку, роботи починають періодично відвідувати цей сайт, щоб відстежувати і фіксувати зміни, що відбулися в контенті.

Оскільки кількість ресурсів, що розвиваються в інтернеті велика, а нові сайти з'являються щодня, описаний процес не зупиняється ні на хвилину. Такий принцип роботи пошукових систем в інтернеті дозволяє їм завжди мати актуальну інформацію про доступні в мережі сайти та їх контент.

Основне завдання пошукового робота – пошук нових даних та передача їх пошуковику для подальшої обробки.

Індексування

Пошукова система здатна знаходити дані тільки на сайтах, представлених у її базі, інакше кажучи, проіндексованих. На цьому кроці пошуковик повинен визначити, чи слід знайдену інформацію заносити в базу даних і, якщо заносити, то який із розділів. Цей процес також виконується автоматично.

Вважається, що Google індексує майже всю доступну в мережі інформацію, Яндекс до індексації контенту підходить більш вибірково і не так швидко. Обидва пошукові гіганти рунету працюють на благо користувача, але загальні принципироботи пошукової системи Google і Яндекс дещо відрізняються, оскільки засновані на унікальних, що становлять кожну систему програмних рішень.

Загальним для пошукових систем моментом є те, що процес індексування всіх нових ресурсів займає більш тривалий час, ніж індексування нового контенту на відомих системі сайтах. Інформація, що з'являється на сайтах, довіра пошукових систем до яких високо, потрапляє в індекс практично миттєво.

Ранжування

Ранжування – це оцінка алгоритмами пошуковика значущості проіндексованих даних та вибудовування їх відповідно до факторів, властивих даному пошуковику. Отримана інформація обробляється з метою формування результатів пошуку по всьому спектру запитів користувача. Те, яка саме інформація буде представлена ​​в результатах пошуку вище, а яка нижче, повністю визначається тим, як працює обрана пошукова система та її алгоритми.

Сайти, що знаходяться в базі пошукової системи, розподіляються за тематиками та групами запитів. Для кожної групи запитів формується попередня видача, що піддається коригуванні. Позиції більшості сайтів змінюються після кожного апдейту видачі – оновлення ранжирування, яке в Google відбувається щодня, у пошуку Яндекса – раз на кілька днів.

Людина як помічник у боротьбі за якість видачі

Реальність така, що навіть найпросунутіші системи пошуку, такі як Яндекс і Google, на даний момент все ще потребують допомоги людини для формування видачі, що відповідає прийнятим стандартам якості. Там де пошуковий алгоритмспрацьовує недостатньо добре, результати його коригуються вручну - шляхом оцінки вмісту сторінки за багатьма критеріями.

Численної армії спеціально навчених людей з різних країн– модераторів (асессорів) пошукових систем – доводиться щодня виконувати величезний обсяг роботи з перевірки відповідності сторінок сайтів користувальницьким запитам, фільтрації видачі від спаму та забороненого контенту (текстів, зображень, відео). Робота асесорів дозволяє робити видачу чистіше і сприяє подальшому розвитку пошукових алгоритмів, що самонавчаються.

Висновок

З розвитком мережі інтернет та поступовою зміною стандартів та форм подання контенту змінюється і підхід до пошуку, удосконалюються процеси індексування та ранжування інформації, використовувані алгоритми, з'являються нові фактори ранжування. Все це дозволяє пошуковим системам формувати найбільш якісну та адекватну запитам користувача видачу, але при цьому ускладнює життя вебмайстрам та спеціалістам, які займаються просуванням сайтів.

У коментарях під статтею пропоную висловитися про те, яка з основних пошукових систем рунету - Яндекс або Гугл, на вашу думку, працює краще, надаючи користувачеві якісніший пошук, і чому.

Інтернет необхідний багатьом користувачам для того, щоб отримувати відповіді на запити, які вони вводять.

Якби не було пошукових систем, користувачам довелося самостійно шукати потрібні сайти, запам'ятовувати їх, записувати. У багатьох випадках знайти «вручну» щось потрібне було б дуже складно, а часто й просто неможливо.

За нас всю цю рутинну роботу з пошуку, зберігання та сортування інформації на сайтах.

Почнемо з відомих пошукових систем Рунета.

Пошукові системи в Інтернеті російською

1) Почнемо з вітчизняної пошукової системи. Яндекс працює не тільки в Росії, але також працює в Білорусії та Казахстані, в Україні, Туреччині. Також є Яндекс на англійською.

2) Пошуковик Google прийшов до нас з Америки, має російськомовну локалізацію:

3) Вітчизняний пошуковик Майл ру, який одночасно представляє соціальну мережу ВКонтакте, Однокласники, також Мій світ, відомі Відповіді Mail.ru та інші проекти.

4) Інтелектуальна пошукова система

Nigma (Нігма) http://www.nigma.ru/

З 19 вересня 2017 року інтелектуалка nigma не працює. Вона перестала для її творців представляти фінансовий інтерес, вони перейшли на інший пошуковик під назвою CocCoc.

5) Відома компанія Ростелеком створила пошукову систему Супутник.

Є пошукач Супутник, розроблений спеціально для дітей, про який я писала.

6) Рамблер був одним із перших вітчизняних пошуковців:

У світі є інші відомі пошукові системи:

• Bing,
• Yahoo!,
• Baidu,
• Ecosia,

Спробуємо розібратися, як працює пошукова система, а саме, як відбувається індексація сайтів, аналіз результатів індексації і формування пошукової видачі. Принципи роботи пошукових систем приблизно однакові: пошук інформації в Інтернеті, її зберігання та сортування для видачі у відповідь на запити користувачів. А ось алгоритми, за якими працюють пошукові системи, можуть сильно відрізнятися. Ці алгоритми тримаються в таємниці та заборонено її розголошення.

Ввівши той самий запит у пошукові рядки різних пошукачів, Ви можете отримати різні відповіді. Причина в тому, що всі пошукові системи використовують власні алгоритми.

Мета пошукових систем

Насамперед потрібно знати про те, що пошукові системи – це комерційні організації. Їхня мета – отримання прибутку. Прибуток можна отримувати з контекстної реклами, інших видів реклами, з просування потрібних сайтів на верхні рядки видачі Загалом способів багато.

Залежить від того, який розмір аудиторії у нього, тобто, скільки людей користується цією пошуковою системою. Чим більша аудиторія, тим більшій кількості людей показуватиметься реклама. Відповідно, коштуватиме ця реклама більше. Збільшити аудиторію пошукові системи можуть за рахунок власної реклами, а також залучаючи користувачів за рахунок покращення якості своїх сервісів, алгоритму та зручності пошуку.

Найголовніше і складне тут – це розробка повноцінного функціонуючого алгоритму пошуку, який би надавав релевантні результати на більшість запитів користувача.

Робота пошуковика та дії вебмайстрів

Кожна пошукова система має свій власний алгоритм, який повинен враховувати величезну кількість різних факторів при аналізі інформації та складанні видачі у відповідь на запит користувача:

• вік того чи іншого сайту,
• характеристики домену сайту,
• якість контенту на сайті та його види,
• особливості навігації та структури сайту,
• юзабіліті (зручність для користувачів),
• поведінкові фактори (пошук може визначити, чи знайшов користувач те, що він шукав на сайті або користувач повернувся знову в пошуковик і там знову шукає відповідь на той же запит)
• і т.д.

Все це потрібно саме для того, щоб видача на запит користувача була максимально релевантною, що задовольняє запити користувача. При цьому алгоритми пошукових систем постійно змінюються, допрацьовуються. Як то кажуть, немає межі досконалості.

З іншого боку, вебмайстри та оптимізатори постійно винаходять нові способи просування своїх сайтів, які далеко не завжди є чесними. Завдання розробників алгоритму пошукових машин – вносити до нього зміни, які б не дозволяли «поганим» сайтам нечесних оптимізаторів опинятися у ТОПі.

Як працює пошукова система?

Тепер у тому, як відбувається безпосередня робота пошукової системи. Вона складається як мінімум із трьох етапів:

• сканування,
• індексування,
• ранжування.

Число сайтів в інтернеті досягає просто астрономічної величини. І кожен сайт – це інформація, інформаційний контент, який створюється читачам (живих людей).

Сканування

Це блукання пошукача через Інтернет для збору нової інформації, для аналізу посилань і пошуку нового контенту, який можна використовувати для видачі користувачеві у відповідь на його запити. Для сканування у пошукових систем є спеціальні роботи, яких називають пошуковими роботами або павуками.

Пошукові роботи – це програми, які в автоматичному режимі відвідують сайти та збирають із них інформацію. Сканування може бути первинним (робот заходить новий сайт вперше). Після первинного збору інформації з сайту та занесення його до бази даних пошуковика, робот починає з певною регулярністю заходити на його сторінки. Якщо відбулися якісь зміни (додався новий контент, старий), то всі ці зміни будуть пошуковиком зафіксовані.

Головне завдання пошукового павука – знайти нову інформацію та віддати її пошуковику на наступний етап обробки, тобто на індексування.

Індексування

Пошуковик може шукати інформацію лише серед тих сайтів, які вже занесені до його бази даних (проіндексовані ним). Якщо сканування – це процес пошуку та збору інформації, яка є на тому чи іншому сайті, то індексація – процес занесення цієї інформації до бази даних пошукача. На цьому етапі пошуковик автоматично приймає рішення, чи варто заносити ту чи іншу інформацію до своєї бази даних і куди її заносити, до якого розділу бази даних. Наприклад, Google індексує практично всю інформацію, знайдену його роботами в Інтернеті, а Яндекс більш вибагливий і індексує далеко не всі.

Для нових сайтів етап індексування може бути довгим, тому відвідувачів із пошукових систем нові сайти можуть чекати довго. А Нова інформація, Що з'являється на старих, розкручених сайтах, може індексуватися майже миттєво і практично відразу потрапляти в «індекс», тобто, в базу даних пошукових систем.

Ранжування

Ранжування – це вибудовування інформації, яка була раніше проіндексована та занесена в базу того чи іншого пошуковика, за рангом, тобто, яку інформацію пошуковик буде показувати своїм користувачам насамперед, а яку інформацію поміщати «рангом» нижче. Ранжування можна віднести до етапу обслуговування пошуковою системою свого клієнта – користувача.

На серверах пошукової системи відбувається обробка отриманої інформації та формування видачі за величезним спектром різноманітних запитів. Тут уже вступають у роботу алгоритми пошукача. Усі занесені до бази сайти класифікуються за тематиками, тематики поділяються на групи запитів. По кожній із груп запитів може складатися попередня видача, яка згодом коригуватиметься.

Навіщо маркетологу знати базові принципи пошукової оптимізації? Все просто: органічний трафік- Це прекрасне джерело вхідного потоку цільової аудиторіїдля вашого корпоративного сайту та навіть лендингів.

Зустрічайте серію освітніх постів на тему SEO.

Що таке пошукова система?

Пошукова система є велику базудокументів (контенту). Пошукові роботи обходять ресурси та індексують різний тип контенту, саме ці збережені документи і ранжують у пошуку.

По факту, Яндекс – це «зліпок» Рунету (ще Туреччина і трохи англомовних сайтів), а Google – світового інтернету.

Пошуковий індекс — структура даних, що містить інформацію про документи та розташування в них ключових слів.

За принципом роботи пошукові системи схожі між собою, відмінності полягають у формулах ранжирування (упорядкування сайтів у пошуковій видачі), що будуються на основі машинного навчання.

Щодня мільйони користувачів запитують пошукові системи.

«Реферат написати»:

«Купити»:

Але найбільше цікавляться.

Як улаштована пошукова система?

Щоб надавати користувачам швидкі відповіді, архітектуру пошуку розділили на 2 частини:

• базовий пошук,
• метапошук.

Базовий пошук

Базовий пошук — програма, яка здійснює пошук по своїй частині індексу та надає всі відповідні запиту документи.

Метапошук — програма, яка обробляє пошуковий запит, визначає регіональність користувача, і якщо запит популярний, то видає готовий варіант видачі, а якщо запит новий, то вибирає базовий пошук і віддає команду на підбір документів, далі методом машинного навчання ранжує знайдені документи і надає користувачеві.

Класифікація пошукових запитів

Щоб дати релевантну відповідь користувачеві, пошуковик спочатку намагається зрозуміти, що конкретно потрібно. Відбувається аналіз пошукового запиту та паралельний аналіз користувача.

Пошукові запити аналізуються за параметрами:

• Довжина;
• чіткість;
• популярність;
• конкурентність;
• синтаксис;
• географія.

Тип запиту:

• навігаційний;
• інформаційний;
• транзакційний;
• мультимедійний;
• загальний;
• службовий.

Після розбору та класифікації запиту відбувається вибір функції ранжування.

Позначення типів запитів є конфіденційною інформацією і запропоновані варіанти - це здогад спеціалістів з пошукового просування.

Якщо користувач задає загальний запит, пошукова система видає різні типидокументів. І варто розуміти, що просуваючи комерційну сторінку сайту в ТОП-10 за загальним запитом, ви претендуєте потрапити не на одне з 10 місць, а до місць
для комерційних сторінок, що виділяється формулою ранжирування. Отже, ймовірність виведення в топ за такими запитами нижче.

Машинне навчання МатріксНет — алгоритм, введений у 2009 році Яндексом, що підбирає функцію ранжування документів за певними запитами.

МатриксНет використовується не тільки в пошуку Яндекса, але і в наукових цілях. Наприклад, у Європейському Центрі ядерних досліджень його використовують для рідкісних подій у великих обсягах даних (шукають бозон Хіггса).

Первинні дані з оцінки ефективності формули ранжирування збирає відділ асесорів. Це спеціально навчені люди, які оцінюють вибірку сайтів за експериментальною формулою за такими критеріями.

Оцінка якості сайту

Вітальний - офіційний сайт (Сбербанк, LPgenerator). Пошуковому запиту відповідає офіційний сайт, групи у соціальних мережах, інформація на авторитетних ресурсах.

Корисний (оцінка 5) – сайт, який надає розширену інформацію на запит.

Приклад – запит: банерна тканина.

Сайт, що відповідає оцінці «корисний», має містити інформацію:

• що таке банерна тканина;
• технічні характеристики;
• фотографії;
• види;
• Прайс лист;
• щось ще.

Приклади запиту в топі:

Релевантний+ (оцінка 4) – це оцінка означає, що сторінка відповідає пошуковому запиту.

Релевантний (оцінка 3) — сторінка не точно відповідає пошуковому запиту.

Припустимо, на запит «вартові галактики сеанси» виводиться сторінка про фільм без сеансів, сторінка минулого сеансу, сторінка трейлера на youtube.

Нерелевантний (оцінка 2) – сторінка не відповідає запиту.
Приклад: за назвою готелю відображається назва іншого готелю.

Щоб просунути ресурс на загальний або інформаційний запит, потрібно створювати сторінку відповідну оцінці «корисний».

Для чітких запитів достатньо відповідати оцінці релевантний+.

Релевантність досягається за рахунок текстової та посилальної відповідності сторінки пошуковим запитам.

Висновки

1. Не за всіма запитами можна посунути комерційну цільову сторінку;
2. Не за всіма інформаційними запитами можна просунути комерційний веб-сайт;
3. Просуваючи загальний запит, створюйте корисну сторінку.

Частою причиною, чому сайт не виходить у топ, є невідповідність контенту сторінки, що просувається, пошуковому запиту.

Про це поговоримо у наступній статті «Чек-лист з базової оптимізації сайту».

За визначенням, інтернет-пошуковик це система пошуку інформації, яка допомагає нам знайти інформацію. всесвітньому павутинню. Це полегшує глобальний обмін інформацією. Але інтернет є неструктурованою базою даних. Він зростає в геометричній прогресії і став величезним сховищем інформації. Пошук інформації в інтернеті є важким завданням. Існує необхідність мати інструмент для управління, фільтру та вилучення цієї океанічної інформації. Пошукова система служить цієї мети.

Як працює пошукова система?

Пошукові системи інтернету є двигунами, пошуку та вилучення інформації в інтернеті. Більшість із них використовують гусеничну архітектуру індексатора. Вони залежать від своїх гусеничних модулів. Сканери також називають павуками – це невеликі програми, які переглядають веб-сторінки.

Сканери відвідують початковий набір URL-адрес. Вони видобувають URL-адреси, які з'являються на просканованих сторінках і надсилають цю інформацію в модуль гусеничного керування. Гусеничний модуль вирішує, які сторінки відвідати наступного разу і надає ці URL-адреси сканерам.

Теми, що охоплюються різними пошуковими системами, варіюються залежно від алгоритмів, які вони використовують. Деякі пошукові системи запрограмовані на пошукові сайти з конкретної теми, в той час як інші сканери можуть відвідувати стільки місць, скільки можливо.

Модуль індексації витягує інформацію з кожної сторінки, яку він відвідує та вносить URL-адресу в базу. Це призводить до утворення величезної таблиці пошуку зі списку URL-адрес вказують на сторінки з інформацією. У таблиці наведені ті сторінки, що були покриті у процесі обходу.

Модуль аналізу є ще однією важливою частиною архітектури пошукової системи. Він створює індекс корисності. Індекс утиліта може надати доступ до сторінок заданої довжини або сторінок, що містять певну кількість картинок на них.

У процесі сканування та індексування пошуковик зберігає сторінки, які він витягує. Вони тимчасово зберігаються у сховищі сторінки. Пошукові системи підтримують кеш сторінок, які вони відвідують, щоб прискорити вилучення вже відвіданих сторінок.

Модуль запиту пошукової системи отримує пошуковий запит від користувачів як ключових слів. Модуль ранжирування сортує результати.

Архітектура гусеничного індексатора має багато варіантів. Вони змінюються в розподіленої архітектурипошукової системи Ці архітектури складаються із збирачів та брокерів. Збирачі збирають інформацію індексації з веб-серверів, у той час як брокери дають механізм індексування та інтерфейс запитів. Брокери індексують оновлення на основі інформації, отриманої від збирачів та інших брокерів. Вони можуть фільтрувати інформацію. Багато пошукових систем сьогодні використовують цей тип архітектури.

Пошукові системи та ранжування сторінок

Коли ми створюємо запит у пошуковій системі, результати відображаються у визначеному порядку. Більшість із нас, як правило, відвідують сторінки верхнього порядку та ігнорують останні. Це тому, що ми вважаємо, що кілька сторінок несуть велику актуальність для нашого запиту. Тож усі зацікавлені у рейтингу своїх сторінок у перших десяти результатів у пошуковій системі.

Слова, зазначені в інтерфейсі запиту пошукової системи, є ключовими словами, які запитувалися в пошукових системах. Вони є список сторінок, що стосуються запитуваних ключових слів. Під час цього процесу пошукові системи вилучають ті сторінки, які мають часті входження цих ключових слів. Вони шукають зв'язку між ключовими словами. Розташування ключових слів також вважається, як і рейтинг сторінки, що їх містять. Ключові слова, які зустрічаються в заголовках сторінок або URL, приведені у більшу вагу. Сторінки, що мають посилання, що вказують на них, роблять їх популярнішими. Якщо багато інших сайтів посилаються на будь-яку сторінку, вона розглядається як цінна і більш актуальна.

Існує алгоритм ранжування, який використовує кожна пошукова система. Алгоритм є комп'ютеризованою формулою розробленою, щоб надавати відповідні сторінки за запитом користувача. Кожна пошукова система може мати різний алгоритм ранжирування, який аналізує сторінки бази даних двигуна, щоб визначити відповідні відповіді на пошукові запити. Різні відомості пошукові системи індексують по-різному. Це призводить до того, що конкретний запит, поставлений двом різним пошуковим машинам, може принести сторінки різних порядкахабо витягти різні сторінки. Популярність веб-сайту є факторами, що визначають актуальність. Клік-через популярність сайту є ще одним фактором, що визначає його ранг. Це міра того, як часто відвідують сайт.

Веб-майстри намагаються обдурити алгоритми пошукової системи, щоб підняти позицію свого сайту в пошуковій видачі. Заповнюють сторінки сайту ключовими словами або використовують мета-теги, щоб обдурити стратегії рейтингу пошукової системи. Але пошукові системи досить розумні! Вони вдосконалюють свої алгоритми так, щоб махінації веб-майстрів не впливали на пошукову видачу.

Потрібно розуміти, що навіть сторінки після перших кількох у списку можуть містити ту інформацію, яку ви шукали. Але будьте впевнені, що хороші пошукові системи завжди принесуть вам релевантні сторінки у верхньому порядку!

Що це

DuckDuckGo – це досить відома пошукова система з відкритим вихідним кодом. Сервери знаходяться у США. Крім власного робота, пошуковик використовує результати інших джерел: Yahoo, Bing, Вікіпедії.

Чим краще

DuckDuckGo позиціонує себе як пошук, що забезпечує максимальну приватність та конфіденційність. Система не збирає жодних даних про користувача, не зберігає логи (немає історії пошуку), використання файлів cookieмаксимально обмежено.

DuckDuckGo не збирає особисту інформацію користувачів та не ділиться нею. Це наша політика конфіденційності.

Гебрієл Вайнберг (Gabriel Weinberg), засновник DuckDuckGo

Навіщо це вам

Усі великі пошукові системи намагаються персоналізувати пошукову видачу з урахуванням даних про людину перед монітором. Цей феномен отримав назву «міхур фільтрів»: користувач бачить тільки ті результати, які узгоджуються з його перевагами або які система визнає такими.

Формує об'єктивну картину, яка не залежить від вашої минулої поведінки в Мережі, та позбавляє тематичної реклами Google та «Яндекса», заснованої на ваших запитах. За допомогою DuckDuckGo легко шукати інформацію на іноземних мов, тоді як Google та «Яндекс» за замовчуванням віддають перевагу російськомовним сайтам, навіть якщо запит введений іншою мовою.

Що це

not Evil - система, яка здійснює пошук анонімної мережі Tor. Для використання потрібно зайти в цю мережу, наприклад, запустивши спеціалізований .

not Evil не єдиний пошуковик у своєму роді. Є LOOK (пошук за замовчуванням у Tor-браузері, доступний зі звичайного інтернету) або TORCH (одна з найстаріших пошукових систем в Tor-мережі) та інші. Ми зупинилися на not Evil внаслідок недвозначного натяку на Google (досить подивитися на стартову сторінку).

Чим краще

Шукає там, куди Google, «Яндексу» та іншим пошуковим системам вхід закритий у принципі.

Навіщо це вам

У мережі Tor багато ресурсів, які неможливо зустріти у законослухняному інтернеті. І їх кількість зростатиме в міру того, як посилюється контроль влади над змістом Мережі. Tor – це своєрідна мережа всередині Мережі зі своїми соціалками, торрент-трекерами, ЗМІ, торговими майданчиками, блогами, бібліотеками тощо.

3. YaCy

Що це

YaCy – децентралізована пошукова система, що працює за принципом мереж P2P. Кожен комп'ютер, де встановлено основний програмний модуль, сканує інтернет самостійно, тобто є аналогом пошукового робота. Отримані результати збираються до загальної бази, яку використовують усі учасники YaCy.

Чим краще

Тут складно говорити, краще це чи гірше, тому що YaCy – це зовсім інший підхід до організації пошуку. Відсутність єдиного сервера та компанії-власника робить результати повністю незалежними від чиїхось переваг. Автономність кожного вузла виключає цензуру. YaCy здатний вести пошук у глибокому вебі та неіндексованих мережах загального користування.

Навіщо це вам

Якщо ви прихильник відкритого ПЗ та вільного інтернету, не схильного до впливу державних органів та великих корпорацій, то YaCy - це ваш вибір. Також за його допомогою можна організувати пошук усередині корпоративної чи іншої автономної мережі. І нехай поки що в побуті YaCy не надто корисний, він є гідною альтернативою Google з погляду процесу пошуку.

4. Pipl

Що це

Pipl – система, призначена для пошуку інформації про конкретну людину.

Чим краще

Автори Pipl стверджують, що їхні спеціалізовані алгоритми шукають ефективніше, ніж «звичайні» пошукові системи. Зокрема, пріоритетними є профілі. соціальних мереж, коментарі, списки учасників та різні бази даних, де публікуються відомості про людей, наприклад, бази судових рішень. Лідерство Pipl у цій галузі підтверджено оцінками Lifehacker.com, TechCrunch та інших видань.

Навіщо це вам

Якщо вам потрібно знайти інформацію про людину, яка проживає в США, то Pipl буде набагато ефективнішою за Google. Бази даних російських судів, певне, недоступні для пошукача. Тому з громадянами Росії він справляється негаразд.

Що це

FindSounds - ще одна спеціалізована пошукова система. Шукає у відкритих джерелах різні звуки: будинок, природа, машини, люди тощо. Сервіс не підтримує запити російською мовою, але є перелік російськомовних тегів, за якими можна виконувати пошук.

Чим краще

У видачі лише звуки та нічого зайвого. У налаштуваннях можна виставити бажаний формат та якість звучання. Всі знайдені звуки доступні для завантаження. Є пошук за зразком.

Навіщо це вам

Якщо вам потрібно швидко знайти звук мушкетного пострілу, удари дятла-сосуна або крик Гомера Сімпсона, цей сервіс для вас. І це ми вибрали лише з доступних російськомовних запитів. Англійською мовою спектр ще ширший.

Якщо серйозно, спеціальний сервіс передбачає спеціалізовану аудиторію. Але раптом і вам знадобиться?

Що це

Wolfram | Alpha - обчислювально-пошукова система. Замість посилань на статті, що містять ключові слова, вона видає готову відповідь на запит користувача. Наприклад, якщо ввести у форму пошуку «порівняти населення Нью-Йорка та Сан-Франциско» англійською, то Wolfram|Alpha відразу виведе на екран таблиці та графіки з порівнянням.

Чим краще

Цей сервіс краще за інших підходить для пошуку фактів і обчислення даних. Wolfram|Alpha накопичує та систематизує доступні в Мережі знання з різних областей, включаючи науку, культуру та розваги. Якщо в цій базі знаходиться готова відповідь на пошуковий запит, система показує його, якщо ні – обчислює та виводить результат. При цьому користувач бачить тільки нічого зайвого.

Навіщо це вам

Якщо ви, наприклад, студент, аналітик, журналіст або науковий співробітник, можете використовувати Wolfram|Alpha для пошуку та обчислення даних, пов'язаних з вашою діяльністю. Сервіс розуміє не всі запити, але постійно розвивається і стає розумнішим.

Що це

Метапошуковик Dogpile виводить комбінований список результатів з пошукових видач Google, Yahoo та інших популярних систем.

Чим краще

По-перше, Dogpile відображає менше реклами. По-друге, сервіс використовує особливий алгоритм, щоб знаходити та показувати найкращі результатиз різних пошукових систем. Як стверджують розробники Dogpile, їх системи формує найповнішу видачу у всьому інтернеті.

Навіщо це вам

Якщо ви не можете знайти інформацію в Google або іншому стандартному пошуковику, пошукайте її відразу в декількох пошукових системах за допомогою Dogpile.

Що це

BoardReader - система для текстового пошуку за форумами, сервісами запитань та відповідей та іншими спільнотами.

Чим краще

Сервіс дозволяє звузити поле пошуку до соціальних майданчиків. Завдяки спеціальним фільтрам ви можете швидко знаходити пости та коментарі, які відповідають вашим критеріям: мові, даті публікації та назві сайту.

Навіщо це вам

BoardReader може стати у нагоді піарникам та іншим фахівцям у галузі медіа, яких цікавить думка масової з тих чи інших питань.

На закінчення

Життя альтернативних пошукових систем часто буває швидкоплинним. Про довгострокові перспективи подібних проектів Лайфхакер запитав колишнього генерального директора української філії компанії «Яндекс» Сергія Петренка.

Сергій Петренко

Колишній генеральний директор "Яндекс.України".

Щодо долі альтернативних пошукових систем, то вона проста: бути дуже нішевими проектами з невеликою аудиторією, отже без ясних комерційних перспектив чи, навпаки, з повною ясністю їхньої відсутності.

Якщо подивитися на приклади у статті, то видно, що такі пошукові системи або спеціалізуються у вузькій, але затребуваній ніші, яка, можливо тільки поки, не виросла настільки, щоб виявитися помітною на радарах Google або «Яндекса», або тестують оригінальну гіпотезу в ранжируванні. яка поки що не застосовна у звичайному пошуку.

Наприклад, якщо пошук по Tor раптом виявиться затребуваним, тобто результати звідти знадобляться хоча б відсотку аудиторії Google, то звичайно звичайні пошукові системи почнуть вирішувати проблему, як їх знайти і показати користувачеві. Якщо поведінка аудиторії покаже, що помітній частині користувачів у помітній кількості запитів більш релевантними здаються результати, дані без урахування факторів, що залежать від користувача, то Яндекс або Google почнуть давати такі результати.

«Бути краще» у контексті цієї статті не означає «бути краще у всьому». Так, у багатьох аспектах нашим героям далеко до «Яндекса» (навіть до Bing далеко). Але кожен з цих сервісів дає користувачеві щось таке, чого не можуть запропонувати гіганти пошукової індустрії. Напевно, ви теж знаєте подібні проекти. Поділіться з нами – обговоримо.