Сайт о телевидении

Сайт о телевидении

» » Закрытая поисковая система. Шпаргалка по системам анонимного поиска

Закрытая поисковая система. Шпаргалка по системам анонимного поиска

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подписаться

Если уж разбираться в чем-то, то основательно. И если вы подписаны на наш блог, значит наверняка хотите стать крутым специалистом или желаете знать больше о поиске в сети. Чтобы достичь желаемого - фишечек и лайфхаков недостаточно. Нужно расширять кругозор.

Поисковая система - это большая и сложная программа предназначенная для поиска информации в интернете.

Вы вообще задумывались как появилось то, чем мы пользуемся каждый день, какие в интернете существуют и почему все студии работают только с и ? Не стоит откладывать такие вопросы в долгий ящик. Всего 10 минут и вот еще одна тема для разговора, которые вы с легкостью сможете поддержать.

Как появились поисковики

Давным-давно, когда интернет был молод и зелен...

Пользователям, которых, надо сказать, было очень немного, хватало собственных закладок. Но это продолжалось недолго: вскоре человеку стало сложно ориентироваться в том многообразии, которое появилось в сети за короткий срок.

И чтобы как-то упорядочить хаос были придуманы каталоги Yahoo, DMOZ и прочие (некоторые существуют и по сей день), в которые авторы добавляли и сортировали по категориям появляющиеся сайты. На какое-то время жить стало проще.

Но интернет продолжал расширяться и вскоре размеры каталогов превратились в нечто умопомрачительно гигантское. Тогда разработчики впервые задумались о поиске внутри каталогов, а уже потом и о создании автоматизированной системы индексации всего, что находится в интернете, чтобы упростить работу всем пользователям.

Так и появились первые поисковые роботы.

Какая поисковая система была первой

Первой поисковой системой считается Wandex (ну путать с Yandex!). Этот и другие первые сервисы, конечно же, были далеки от совершенства. На поисковой запрос они выдавали совсем не то, что мы привыкли видеть сейчас, т.е. не наиболее релевантные страницы, а все подряд, игнорируя ранжирование. Первого января 2012 года Wandex был возобновлен.

Так свою работу начала первая ПС. Какие есть поисковые системы в современном интернете? Прилагаю список.

Какие бывают поисковые системы: короли танцпола

Удивительно, но есть те, кто спорят, как поисковая система лучше . Я бы этого делать не стала, просто по той причине, что они разные и вообще все зависит от цели и от того, какой вы пользователь.

Яндекс

Это самый популярный поисковик в нашей стране. LiveInternet утверждает, что Яндексом пользуются 50,9 %, в то время, как на Google приходится 40,6 % (данные от июня 2015).

Есть такой миф, мол, коммерческих запросов в Яндексе в разы больше, чем у ближайшего конкурента. Натыкалась пару раз на мысли о том, что благодаря отточенной годами региональности, тип аудитории или ее количество может различаться - в этом и заключается причина первенства Яндекса по коммерческим запросам. Так вот не верьте в это. Врут.

Google

Поисковая система Google - самая популярная везде, кроме России:) Имеет кучу возможностей разной направленности. В общем, бесспорный мировой лидер среди поисковых роботов.

Сам Google появился примерно вместе с Яндексом, а к нам в Россию пришел лишь в 2004, когда компания Yandex укрепила свои позиции.

Процесс поиска в Google стал для многих землян уже нарицательным. Но когда я говорю своей маме “Загугли”, она все равно идет искать нужную ей информацию в Яндексе:) Она вообще не в курсе какие поисковые системы существуют в интернете.

Какие есть поисковые системы: список малоизвестных ПС

Большинство интернет-пользователей даже не в курсе, какие есть поисковые системы кроме Яндекса и Гугла. Так вот они есть;) Знакомьтесь!

Поисковую долю этого поисковика сложно назвать крупной, но показатели потихонечку растут. Хотя не стоит упускать тот факт, что цифры эти напрямую зависят от “Одноклассников”, почты Майл.ру и других штук от Mail корпорации.

Это настоящий олдскул. Только представьте: когда появилась эта поисковая система, некоторые сеошники еще только учились ходить. Вообще, у Рамблера был шанс править балом в , но этого не произошло по целому ряду причин. В настоящее время это уже не совсем поисковик, а своего рода набор сервисов, на которых в качестве поиска используется движок Yandex - например, есть свой . Посещаемость, кстати, довольно приличная: за день главную страницу Rambler посещают чуть больше миллиона пользователей.

Также у Рамблера есть версия Rambler Lite (все то же самое, только без погоды, новостей, рекламы и прочего) и XRambler , на котором объединены сразу 15 поисковых систем.

Сколько имен сменил это поисковик! За 8 лет он успел поносить имя MSN Search, затем Windows Live Search, потом сократил предыдущее название до Live Search и вот сейчас пришел к названию Bing. Многие утверждают, что качество поиска близко к заложенному стандарту Google.

Теперь сложно назвать Яху поисковой системой, так как по договору на всех площадках, принадлежащих Яху, используется поисковый движок Бинга. Последнюю новость про договор можно узнать на Searchengines .

Webalta

Наверняка этот, так называемый, поисковик вам знаком. Приходилось выковыривать его, словно клеща, из вашего браузера? Уже давно всем известно о темных делишках этого поисковика. Увы, никого эта ПС не интересует. Пользователи ищут лишь статьи о том, как удалить эту дрянь со своего компьютера.

Нигма

Это поисковая система значительно отличается от остальных. И если и индексной базой других поисковиков никого не удивишь, то вот способность решать задачи по химии и математике отличает Нигму от прочих ПС. Также Nigma предлагает поиск по музыке, книгам, играм и торрентам.

Поисковик, созданный по заказу правительства России, считается первым в мире государственным поисковиком. Предлагает отдельный медицинский поиск (поиск аптек, лекарств и статей о заболеваниях). Весьма удобная тема с “Удобной страной”, где в одном месте собраны все рекомендации, помогающие гражданину. Вот, например, раздел “Документы”.

Эта ПС значительно отличается от того, какие бывают поисковые системы в интернете . DuckDuckGo - поисковая система с открытым исходным кодом и интересной политикой, которая заключается в отказе от использования “пузыря фильтров”. Для тех, кто не знает: “пузырь фильтров” - это когда поисковик показывает в выдаче только те результаты поиска, которые она же (эта ПС) посчитает необходимыми конкретному пользователю. При этом мнение самого пользователя никого не интересует. DuckDuckGo уверяет, что использование их поисковика гарантирует то, что вы получите всю информацию, которая есть у поисковой системы.

“УткаУткаИди” набирает обороты. Уже этим летом (2015 г.) создатель ПС сообщил о трех млрд запросов в годовом выражении.

Во время написания статьи у меня возникло несколько вопросов. В таких случаях на выдачу я не полагаюсь, да, и зачем, если рядом со мной сидит человек, который знает все об интернете? Мини-интервью с Игорем Ивановым.

Игорь Иванов

Руководитель студии SEMANTICA

Если мой сайт в Google и Yandex, то будет ли мой сайт на вершине выдачи в других, менее крупных поисковиках?

Есть очень большая вероятность, что так и будет. Яндекс и Google развивают свои алгоритмы в правильном направлении и другие поисковые системы берут с них пример. Был случай, когда специалисты Google заметили, что поисковая система Bing не только копирует их алгоритмы, но результаты поиска.

Почему вероятность, а не полная уверенность? Потому, что другие поисковые системы не успеют подогнать свои алгоритмы ранжирования под эталон, которые задали их более успешные конкуренты.

Стоит ли вообще продвигаться в Спутнике, Майл и других “наших” поисковиках? Какая поисковая система лучше?

Сегодня мы поговорим о лучших анонимных поисковиках для обычного интернета, так называемого Клирнета, которым пользуется каждый человек.

Я расскажу вам о всех существующих поисковых системах, которые предлагают пользователю больше анонимности и приватности, чем популярные и всеми известные поисковики.

В начале речь пойдет о ключевых моментах выбора анонимной поисковой системы. Вы узнаете на что следует обратить внимание пользователю не желающему оставлять следы в сети. После чего будет обзор каждого отдельного поисковика.

Также мы разберем ситуации, в которых лучше пользоваться анонимной поисковой системой, и когда предпочтительнее использовать привычный Yandex, Google и Bing.

Анонимная поисковая система

  • Предисловие
  • Безопасность поисковых систем
  • Анонимность поисковых систем
  • Анонимные поисковики
    • DuckDuckGo
    • Ixquick
    • Startpage
    • eTools.ch
    • Privatelee
  • Заключение

Безопасность поисковых систем

Безопасный поиск в интернете начинается с зашифрованной передачи запроса, между пользователем и сервером. Для проверки шифрования я использовал отличный инструмент SSL Server Test. Прогнал через него все поисковики и выявил явных аутсайдеров нашего обзора.

Почему аутсайдеров?

Потому что поисковик который позиционирует себя анонимным и безопасным должен в первую очередь принудительным образом автоматически устанавливать защищенное SSL-соединение.

Для этого в адресной строке поисковой машины eTools нужно в ручную вводить «https». В поиске YaCy - активировать в настройках использование защищенного протокола HTTPS. А у других кроме DuckDuckGo, Startpage Ixquick с этим делом еще хуже.

У того же Гугла и Яндекса таких проблем нет. Вообще в плане безопасности и шифровании запросов нет равных Яндексу и Гуглу.

Еще одним важным критерием является длина ключа шифрования. Чем длиннее тем лучше. DuckDuckGo показал себя наилучшим образом с шифрованием RSA 4096 бит. Его конкуренты используют ключи в два раза короче. Но даже они еще долго будут считаться безопасными.

Также следует обратить внимание на PFS. Этот параметр даже важнее длины ключа шифрования. Для тех кто не в курсе, PFS (Perfect forward secrecy) переводится как совершенная прямая секретность. Простыми словами PFS - это защита от записи зашифрованной сессии спецслужбами и хакерами.

Анонимность поисковых систем

Это все по поводу безопасности. А теперь по поводу анонимности. В отличие от Google, Yandex и других, где все ваши запросы сохраняются, обрабатываются и анализируются, анонимные поисковые системы не хранят вашу интернет-активность.

Кстати, посмотреть все свои запросы в Гугл вы можете с помощью сервиса « ». Там же можете найти и другие ваши следы оставленные в сети. Таким же образом сохраняется .

Ну, и напоследок про печеньки т.е. Кукисы. Постоянные cookie-файлы в анонимных поисковиках сохраняются лишь в том случае, если изменяются стандартные настройки — к примеру, если устанавливается язык интерфейса DuckDuckGo или тема интерфейса Ixquick. Ни одна из альтернативных анонимных поисковых систем не использует в файлах Cookies идентификатор пользователя.

А Google делает это при каждом запросе. Он для обработки IP-адреса динамически прибегает к помощи многочисленных постоянных Cookies с ID для точной идентификации пользователя. А вы что думали?

Анонимная поисковая система Yacy

Анонимная поисковая система Ixquick

Поисковик был основан Дэвидом Бодникином в 1998 году. С 2000 года принадлежит голландской компании Surfboard Holding BV.

Ixquick.com является первой поисковой системой, удалившей конфиденциальные данных своих пользователей. IP-адреса и другая персональная информация пользователей удаляются через 48 часов после поиска.


Также у поисковика есть интересная фишка «Прокси режим». Работает данная функция так. Рядом с каждым сайтом в поисковой выдаче есть кнопка «Proxy», нажав на которую вы получите информацию с сайта анонимно - робот Startpage зайдет на искомую страницу, после чего скачает ее и отобразит вам.

Основные возможности Ixquick:

  • Стандарт шифрования SSL/PFS.
  • Не сохраняет историю поиска/IP-адрес/конфиденциальные данные.

Достойный конкурент DuckDuckGo. В чем-то даже лучше. Из минусов могу отметить только один — нет возможности поменять язык интерфейса сайта. Т.е. такая возможность есть, но вот русского среди возможных языков пока нет.

Поисковик — это еще один проект компании Ixquick. Различие между поисковиком Ixquick и Startpage одно. Последний в поисковой выдаче использует только результаты Google, но также как и Ixquick не сохраняет IP-адреса, удаляет идентифицирующую информацию из пользовательских поисковых запросов и отправляет обезличенную, анонимную информацию в Google.


Анонимный поисковик Startpage

Startpage тоже имеет бесплатный анонимный веб-прокси, с помощью которого пользователь может открывать веб-сайты, используя их прокси-сервис, и анонимно искать картинки и видео.

Поисковая система в работе между клиентом и сервером по умолчанию использует протокол HTTPS с алгоритмом шифрования AES и ключом длиной 128 бит.

Основные возможности Startpage:

  • Стандарт шифрования SSL/PFS.
  • Сервера находятся в Нидерландах.
  • Есть приложения для Android и iOS.
  • Не передает конфиденциальные данные третьим лицам.
  • Не сохраняет идентификатора пользователя в Cookies.
  • Не отслеживает Cookies сторонних лиц.

Достойный конкурент DuckDuckGo, но Ixquick лучше. Из минусов как и у Ixquick — нет возможности поменять язык интерфейса сайта. Есть все что угодно, но только не русский.

Анонимная поисковая система eTools.ch

Поисковик — это еще один онлайн сервис позиционирующий себя как анонимный. Давайте узнаем насколько он является анонимным. Итак, eTools.ch не имеет своего собственного индекса и алгоритмов ранжирования, результаты поиска берутся из других сервисов: Ask, Bing, DuckDuckGo, Yandex, Yahoo, Wikipedia, Google и т.д.


eTools.ch в работе между клиентом и сервером по умолчанию использует протокол HTTPS.

Основные возможности eTools.ch:

  • Стандарт шифрования PFS
  • Не сохраняет историю поиска такую как: IP-адрес и конфиденциальные данные.
  • Не передает конфиденциальные данные третьим лицам.
  • Не сохраняет идентификатора пользователя в Cookies.

По сравнению с DuckDuckGo и Ixquick все намного хуже. eTools.ch сохраняет постоянные и отслеживающие Cookies сторонних лиц.

Анонимная поисковая система Privatelee

Privatelee — это не самый популярный сервис. Поисковую выдачу формирует на осваивании своего индекса. Качество поисковой выдачи далеко от идеала. С помощью фильтров Power Search можно добавить результаты поисковой выдачи Google, Ask и Bing.


Настроек почти нет никаких. Рядом с каждым сайтом отображается иконка рейтинга WOT. Да друзья, вы не ослышались, разработчики поисковика видимо не в курсе, что за пользователями. Может им кинуть ссылку на наш сайт и предложить подписаться?))

Больше нечего сказать и сравнивать с другими смысла не вижу.

Другие анонимные поисковые системы

В этот обзор не вошли другие анонимные поисковые системы, так как не имеют такой богатый функционал. Обзор делать на каждый из них не имеет смысла, а вот знать что такие есть — не плохо.

  • Анонимная поисковая система Hulbee
  • Анонимный поисковик Lukol
  • Анонимная поисковая система Yippy
  • Анонимный поисковик Disconnect Search

В завершении отвечу на один из главных вопросов.

В каких случая оправдано использование анонимной поисковой системы?

Если вы ищите то, о чем не хотели бы чтобы знала всемирная сеть!

Во всех остальных лучше использовать обычные поисковые машины, такие как Yandex и Google. На сегодняшний день качество поисковой выдачи этих поисковых гигантов намного лучше любого анонимного поисковика.

Низкая анонимность — это плата за использование ведущих технологий поискового ранжирования, которые стараются всеми силами предотвратить попадание мошеннических или некачественных сайтов в топ. В этом мире за все надо платить, иногда деньгами, а иногда и информацией.

Вас также может заинтересовать статья « » и статья « 4.49 (42 оценок)

Здравствуйте, уважаемые читатели блога сайт. , то его немногочисленным пользователям было достаточно собственных закладок. Однако, как вы помните, происходил в геометрической прогрессии, и совсем скоро ориентироваться во всем ее многообразии стало сложнее.

Тогда появились каталоги (Яху, Дмоз и другие), в которых их авторы добавляли и сортировали по категориям различные сайты. Это сразу же облегчило жизнь тогдашним, еще не очень многочисленным пользователям глобальной сети. Многие из этих каталогов живы и до сих пор.

Но через некоторое время размеры их баз стали настолько большими, что разработчики сначала задумались о создании поиска внутри них, а потом уже и о создании автоматизированной системы индексации всего содержимого интернета, чтобы сделать его доступным всем желающим.

Основные поисковики русскоязычного сегмента интернета

Как вы понимаете, идея эта реализовалась с ошеломительным успехом, но, правда, все сложилось хорошо только для горстки избранных компаний, которым удалось не сгинуть на просторах интернета. Почти все поисковые системы, которые появились на первой волне, сейчас либо исчезли, либо прозябают, либо были куплены более удачными конкурентами.

Поисковая система представляет из себя очень сложный и, что немаловажно, очень ресурсоемкий механизм (имеются в виду не только материальные ресурсы, но и людские). За внешне простой , или ее аскетичным аналогом от Гугла, стоят тысячи сотрудников, сотни тысяч серверов и многие миллиарды вложений, которые необходимы для того, чтобы эта махина продолжала работать и оставалась конкурентоспособной.

Выйти на этот рынок сейчас и начать все с нуля — это скорее утопия, чем реальный бизнес проект. Например, одна из богатейших в мире корпораций Микрософт десятилетиями пыталась закрепиться на рынке поиска, и только сейчас их поисковик Бинг начинает потихоньку оправдывать их ожидания. А до этого была целая череда провалов и неудач.

Что уж говорить о том, чтобы выйти на этот рынок без особых финансовых влияний. К примеру, наша отечественная поисковая система Нигма имеет много чего полезного и инновационного в своем арсенале, но их посещаемость в тысячи раз уступает лидерам рынка России. Для примера взгляните на суточную аудиторию Яндекса:

В связи с этим можно считать, что список основных (лучших и самых удачливых) поисковиков рунета и всего интернета уже сформировался и вся интрига заключается только в том, кто кого в итоге сожрет, ну или каким образом распределится их процентная доля, если все они уцелеют и останутся на плаву.

Рынок поисковых систем России очень хорошо просматривается и тут, наверное, можно выделить двух или трех основных игроков и парочку второстепенных. Вообще, в рунете сложилась достаточно уникальная ситуация, которая повторилась, как я понимаю, только еще в двух странах в мире.

Я говорю о том, что поисковик Google, придя в Россию в 2004 году, не смог до сих пор захватить лидерства. На самом деле, они пытались примерно в этот период купить Яндекс, но что-то там не сложилось и сейчас «наша Раша» вместе с Чехией и Китаем являются теми местами, где всемогущий Гугл, если не потерпел поражение, то, во всяком случае, встретил серьезное сопротивление.

На самом деле, увидеть текущее положение дел среди лучших поисковиков рунета может любой желающий. Достаточно будет вставить этот Урл в адресную строку вашего браузера:

Http://www.liveinternet.ru/stat/ru/searches.html?period=month;total=yes

Дело в том, что большая часть использует на своих сайтах , а данный Урл позволяет увидеть статистику захода посетителей с различных поисковых систем на все сайты, которые принадлежат доменной зоне RU.

После ввода приведенного Урла вы увидите не очень приглядную и презентабельную, но зато хорошо отражающую суть дела картинку. Обратите внимание на первую пятерку поисковых систем, с которых сайты на русском языке получают трафик:

Да, конечно же, не все ресурсы с русскоязычным контентом размещаются в этой зоне. Есть еще и SU, и РФ, да и общих зонах типа COM или NET полно интернет проектов ориентированных на рунет, но все же, выборка получается довольно-таки репрезентативная.

Эту зависимость можно оформить и более красочно, как, например, сделал кто-то в сети для своей презентации:

Сути это не меняет. Есть пара лидеров и несколько сильно и очень сильно отстающих поисковых систем. Кстати, о многих из них я уже писал. Иногда бывает довольно занимательно окунуться в историю успеха или, наоборот, покопаться в причинах неудач когда-то перспективных поисковиков.

Итак, в порядке значимости для России и рунета в целом, перечислю их и дам им краткие характеристики:

    Поиск в Гугле стал для многих жителей планеты уже нарицательным — о том, вы можете прочитать по ссылке. Мне в этом поисковике нравился вариант «перевод результатов», когда ответы вы получали со всего мира, но на своем родном языке, однако сейчас он, к сожалению, не доступен (во всяком случае на google.ru).

    Так же в последнее время меня озадачивает и качество их выдачи (Search Engine Result Page). Лично я всегда сначала использую поисковую систему зеркала рунете (там есть , ну и привык я к ней) и только не найдя там вразумительного ответа обращаюсь к Гуглу.

    Обычно их выдача меня радовала, но последнее время только озадачивает — порой такой бред вылазит. Возможно, что их борьба за повышение дохода с контекстной рекламы и постоянная перетасовка выдачи с целью дискредитировать Seo продвижение могут привести к обратному результату. Во всяком случае в рунете конкурент у этого поисковика имеется, да еще какой.

    Думаю, что вряд ли кто-то специально будет заходить на Go.mail.ru для поиска в рунете. Поэтому трафик на развлекательных проектах с этой поисковой системы может быть существенно больше, чем десять процентов. Владельцам таких проектов стоит обратить внимание на эту систему.

Однако, кроме ярко выраженных лидеров на рынке поисковых систем русскоязычного сегмента интернета, существует еще несколько игроков, доля которых довольно низка, но тем не менее сам факт их существования заставляет сказать о них пару слов.

Поисковые системы рунета из второго эшелона


Поисковые системы масштаба всего интернета

По большому счету в масштабах всего интернета серьезный игрок только один — Гугл . Это безусловный лидер, однако некоторая конкуренция у него все же имеется.

Во-первых, это все тот же Бинг , который, например, на американском рынке имеет очень хорошие позиции, особенно, если учитывать, что его движок используется так же и на всех сервисах Яху (почти треть от всего рынка поиска США).

Ну, а во-вторых, в силу огромной доли, которую составляют пользователи из Китая в общем числе пользователей интернета, их главный поисковик под названием Baidu вклинивается в распределение мест на мировом олимпе. Он появился на свет в 2000 году и сейчас его доля составляет около 80% процентов от всей национальной аудитории Китая.

Трудно о Байду сказать еще что-то вразумительное, но на просторах интернета встречаются суждения, что места в его Топе занимают не только наиболее релевантные запросу сайты, но и те, кто за это заплатил (напрямую поисковику, а не Сео конторе). Конечно же, это относится в первую очередь к коммерческой выдаче.

В общем-то, глядя на статистику становится понятно, почему Google там легко идет на то, чтобы ухудшать свою выдачу в обмен на увеличение прибыли с контекстной рекламы. Фактически они не боятся оттока пользователей, ибо в большинстве случаев им уходить особо и некуда. Такая ситуация несколько печалит, но посмотрим, что будет дальше.

К слову сказать, чтобы еще больше усложнить жизнь оптимизаторам, а может быть, чтобы поддержать спокойствие пользователей этого поисковика, Google с недавних пор применяет шифрование при передаче запросов из браузера пользователей в поисковую строку. Скоро уже нельзя будет увидеть в статистике счетчиков посетителей, по каким запросам приходили к вам пользователи с Гугла.

Конечно же, кроме озвученных в этой публикации поисковых систем, существует еще не одна тысяча других — региональных, специализированных, экзотических и т.д. Пытаться их все перечислить и описать в рамках одной статьи будет не возможно, да и, наверное, не нужно. Давайте лучше скажу пару слов о том, как не легко создать поисковик и как не просто и не дешево его поддерживать в актуальном состоянии.

Подавляющее большинство систем работают по схожим принципам (читайте о том, и про ) и преследуют одну и ту же цель — дать пользователям ответ на их вопрос. Причем ответ этот должен быть релевантным (соответствующим вопросу), исчерпывающим и, что не маловажно, актуальным (первой свежести).

Решить эту задачу не так-то уж и просто, особенно учитывая, что поисковой системе нужно будет налету проанализировать содержимое миллиардов интернет страниц, отсеять лишние, а из оставшихся сформировать список (выдачу), где вначале будут идти наиболее подходящие под вопрос пользователя ответы.

Эта сверхсложная задача решается предварительным сбором информации с этих страниц с помощью различных индексирующих роботов . Они собирают ссылки с уже посещенных страниц и загружают с них информацию в базу поисковой системы. Бывают боты индексирующие текст (обычный и быстробот, который живет на новостных и часто обновляемых ресурсах, чтобы в выдаче всегда были представлены самые свежие данные).

Кроме этого бывают роботы индексаторы изображений (для последующего их вывода в ), фавиконок, зеркал сайтов (для их последующего сравнения и возможной склейки), боты проверяющие работоспособность интернет страниц, которые пользователи или же через инструменты для вебмастеров (тут можете почитать про , и ).

Сам процесс индексации и следующий за ним процесс обновления индексных баз довольно времязатратный. Хотя Гугл делает это значительно быстрее конкурентов, во всяком случае Яндекса, которому на это дело требует неделя-другая (читайте про ).

Обычно текстовое содержимое интернет страницы поисковик разбивает на отдельные слова, которые приводит к базовым основам, чтобы потом можно было давать правильные ответы на вопросы, заданные в разных морфологических формах. Весь лишний обвес в виде Html тегов, пробелов и т.п. вещей удаляется, а оставшиеся слова сортируются по алфавиту и рядом с ними указывается их позиция в данном документе.

Такая шняга называется обратным индексом и позволяет искать уже не по вебстраницам, а по структурированным данным, находящимся на серверах поисковой системы.

Число таких серверов у Яндекса (который ищет в основном только по русскоязычным сайтам и чуток по украинским и турецким) исчисляется десятками или даже сотнями тысяч, а у Google (который ищет на сотнях языков) — миллионами.

Многие сервера имеют копии, которые служат как для повышения сохранности документов, так и помогают увеличить скорость обработки запроса (за счет распределения нагрузки). Оцените расходы на поддержание всего этого хозяйства.

Запрос пользователя будет направляться балансировщиком нагрузки на тот серверный сегмент, который менее всего сейчас нагружен. Потом проводится анализ региона, откуда пользователь поисковой системы отправил свой запрос, и делается его морфологически разбор. Если аналогичный запрос недавно вводили в поисковой строке, то пользователю подсовываются данные из кеша, чтобы лишний раз не грузить сервера.

Если запрос еще не был закеширован, то его передают в область, где расположена индексная база поисковика. В ответ будет получен список всех интернет страниц, которые имеют хоть какое-то отношение к запросу. Учитываются не только прямые вхождения, но и другие морфологические формы, а так же , и т.п. вещи.

Их нужно отранжировать, и на этом этапе в дело вступает алгоритм (искусственный интеллект). Фактически запрос пользователя размножается за счет всех возможных вариантов его интерпретации и ищутся одновременно ответы на множество запросов (за счет использования операторов языка запросов, некоторые из которых доступны и обычным пользователям).

Как правило, в выдаче присутствует по одной странице от каждого сайта (иногда больше). сейчас очень сложны и учитывают множество факторов. К тому же, для их корректировки используются и , которые вручную оценивают реперные сайты, что позволяет скорректировать работу алгоритма в целом.

В общем, дело ясное, что дело темное. Говорить об этом можно долго, но и так понято, что удовлетворенность пользователей поисковой системой достигается, ох как не просто. И всегда найдутся те, кому что-то не нравится, как, например, нам с вами, уважаемые читатели.

Удачи вам! До скорых встреч на страницах блога сайт

посмотреть еще ролики можно перейдя на
");">

Вам может быть интересно

Яндекс Пипл - как искать людей по социальным сетям Апометр - бесплатный сервис по отслеживанию изменений выдачи и апдейтов поисковых систем DuckDuckGo - поисковая система, которая не следит за тобой
Как проверить скорость интернета - онлайн тест соединения на компьютере и телефоне, SpeedTest, Яндекс и другие измерители
Яндекс и Гугл картинки, а так же поиск по файлу изображения в Tineye (тинай) и Google

В 2017 году, когда в Интернете содержатся миллионы терабайт информации и каждое движение пользователя в Интернете записывается, никак не обойтись без анонимных поисковых систем. Ведь нам всем очень важно добраться до нужных данных как можно быстрее и как можно безопаснее. Но знают ли наши дорогие читатели, каким именно образом поисковики переводят вводимые символы в код? Догадываетесь ли Вы, что все запросы моментально переходят в маркетинговые отделы корпораций?

Принцип работ обычных поисковых систем в 2017 году: анонимность на нуле

Google

Давайте зайдем в Google-поиск и посмотрим, как он отображает ссылку на сайт, например, whoer.net:


Яндекс поиск

А вот так это делает «Яндекс»:

Как видим, не сильно очевидно. На самом деле это сделано специально, а набор символом является ничем иным, как скриптом, который обработает «клик» по ссылке и запоминает действие пользователя.
Сегодня на нашем сайте мы поговорим об анонимных поисковых системах, которые не «загрязняют» поиск лишними скриптами и не хранят данные о ваших поисковых запросах.

Наиболее популярной анонимной поисковой системой на 2017 год является DuckDuck, который в анонимном браузере Tor назначен средством поиска «по умолчанию».

DuckDuck также предоставляется для выбора в браузерах Firefox и Opera. Приватный поисковик славится тем, что не использует скрипты в ссылках и не выводит в результаты поиска рекламные и вирусные сайты. DuckDuckGo позволяет пользователю указывать в запросе специальные знаки и символы. И, как мы уже говорили, поисковик не следит за действиями пользователя.

Отображение результатов запроса в анонимном поисковике DuckDuck

Как видим, здесь нет никаких скрытых поведенческих скриптов, а имеется только прямая ссылка!

Преимущества DuckDuckGo

Еще одним положительным моментом в системе DuckDuckGo можно считать его полную поддержку https- протокола. Пока, эта настройка выключена при первом запросе пользователя, но ее легко активировать через удобное главное меню поисковика. После выполнения данного действия весь поиск будет проходить дополнительное шифрование.

Самой конфиденциальной поисковой системой в 2017 году называют IxQuick.

Сервера этого поисковика «снаряжены» мощнейшей метапоисковой системой. Это обозначает следующее: после запроса на поиск IxQuick выдает результаты сразу от десятка поисковых систем, объединяя их в своем окне выдачи и присваивая каждой ссылке уникальный рейтинг, по которому происходит ранжирование.
На скриншоте выше видно, что основные запросы берутся из Google, так что за релевантность выдачи беспокоиться не приходиться.

Настройки приватности в анонимном поисковике IxQuick

Несмотря на все производственные мощности, за пользователями не ведется никакой «слежки», более того, даже не фиксируются IP-адреса пользователей. Тем не менее, каждый пользователь может разрешить сохранять настройки своего поиска на сервере анонимного поисковика в виде куки-файлов, которые будут либо удаляться в автоматическом режиме раз в три месяца, либо обновляться при каждом заходе на главную страницу IxQuick.

Плюсы и минусы IxQuick

Огромным преимуществом IxQuick является метапоиск сопряженный с анонимностью запросов, которые поисковый робот «заметает» с помощью сложной сети перенаправления данных от оригинальной поисковой системы до пользователя.
Из минусов анонимного поиска IxQuick.можно отметить лишь факт отсутствия русского языка в интерфейсе.


Уже из скриншота внимательный читатель может сделать вывод, что StartPage является клоном анонимного поисковика IxQuick. Так и есть: история этого проекта зародилась раньше, чем IxQuick, но, не смотря на то, что сайт никак не анализировал и не сохранял результаты поиска пользователя, тем не менее, конкуренцию он проиграл и вскоре был выкуплен более мощным соперником.
Впрочем, данный сайт до сих пор работает, поэтому можем порекомендовать использовать связку: в IxQuick настроить Bing основным поставщиком запросов, а в StartPage поставить по умолчанию поиск от Гугл. Таким образом, вы получите двойной анонимный поиск, легко сравнивая результаты ваших поисковых данных.

Компании «Яндекс» и Google, хранящие огромное количество пользовательских данных, знают о вас почти все. Но существует по крайней мере четыре альтернативы главным поисковикам Рунета, которые чтут вашу конфиденциальность.

В последнее время умные контактные линзы для диабетиков, гигантские воздушные шары, раздающие из стратосферы беспроводной Интернет, и роботы Google взрывают новостные ленты. Деньги на развитие этих концептов корпорация зарабатывает на продуктах для поиска онлайновой информации - на рекламе в том числе. Маленькое поисковое окошко сообщает Google и «Яндексу» обо всем, что интересует пользователей. Например, в нашей тестовой учетной записи, созданной в мае 2006 года, хранится более 23 000 запросов, которые были введены в форму поиска за все время существования аккаунта. Для своей учетной записи вы можете посмотреть их по адресу www.google.com/history. Google и «Яндекс» знают о нас так много, что становится не по себе. Особенно если предположить, что спецслужбы тоже могут иметь доступ к этим данным. Однако есть способ избежать подобного «шпионажа». Мы провели тестирование четырех альтернативных поисковых систем, которые заботятся о конфиденциальности пользователей.

Подобно Google, система DuckDuckGo безбедно живет за счет рекламы, однако при формировании рекламных блоков она учитывает не историю запросов пользователя, а ключевые слова поискового запроса. Наряду с собственным поисковым индексом DuckDuckGo прибегает к помощи Google, Yahoo, Bing и YouTube, усердно соблюдая конфиденциальность пользовательских данных.


Еще одна альтернатива - ixquick Startpage, использующая удачные результаты поиска Google для построения собственного поискового индекса. Startpage отправляет Google около пяти миллионов запросов в день.


Мы также протестировали метапоисковую систему eTools, обращающуюся к полутора десяткам других поисковиков, среди которых фигурируют и знаменитые, и малоизвестные продукты - например, Fastbot. Наконец, нами были изучены возможности Yacy, использующей для поиска открытую пиринговую сеть и распределяющую индекс по компьютерам пользователей.

Не всякое шифрование надежно


Безопасный поиск в Сети начинается с зашифрованной передачи запроса. При помощи сервиса SSL Server Test, разработанного Qualis SSL Labs, мы проверили, каким образом происходит шифрование и происходит ли оно вообще. Этот сервис быстро нашел недостатки: eTools и Yacy не создают защищенных SSL-соединений автоматически. Для этого URL-адрес в eTools нужно начинать с «https» принудительно, а в Yacy - активировать в настройках использование протокола HTTPS. Поисковики DuckDuckGo, Startpage и уже несколько месяцев даже сам Google справляются с этой задачей гораздо лучше. DuckDuckGo отметился самым надежным шифрованием (RSA 4096 бит) среди тестируемых систем. Его соперники используют ключи вдвое короче (впрочем, они еще долго будут считаться безопасными).

Еще более важным критерием, чем длина ключа, является поддержка обновлений SSL со свойством PFS (Perfect forward secrecy, совершенная прямая секретность). PFS - это защита от записи зашифрованной сессии злоумышленником или спецслужбой. PFS предусмотрели все поисковые системы вплоть до Yacy, но eTools поддерживает не все популярные браузеры.

Большая разница между Google и конкурентами заключается в методах обработки пользовательских данных. История поиска, IP-адрес, персональные данные - все это альтернативные Google поисковики, о которых идет речь в статье, игнорируют. Постоянные cookie-файлы они сохраняют лишь в том случае, если изменяются стандартные настройки - например, если переключается язык DuckDuckGo или дизайн интерфейса Startpage. Ни одна из альтернативных поисковых систем не использует в cookies идентификатор пользователя - в отличие от Google, который при каждом запросе обрабатывает передаваемые из браузера данные и сохраняет их. А чтобы обрабатывать динамические IP-адреса, Google прибегает к помощи многочисленных постоянных cookies с ID для точной идентификации пользователя.

Впрочем, одна из поисковых систем все же «прокололась». Сервис eTools использует сессионные cookies, необходимые для аутентификации пользователя по данным поставщика. На это еще можно закрыть глаза, однако передача отслеживающих cookies третьей стороне заставляет задуматься. Так, во время тестирования в процессе обычного поиска в eTools мы выявили cookies маркетинговой компании TradeDoubler, что недопустимо.

Веб-сайты обычно «видят», с какой страницы вы зашли на нее, например, когда нажали на ссылку в поиске Google. Чтобы избежать передачи этих данных, DuckDuckGo и Startpage предлагают легко управляемый прокси-режим. Так, Startpage рядом с обычными результатами поиска почти всегда выдает ссылку «View by Ixquick Proxy». Нажав на нее, вы получите информацию с сайта анонимно - робот Startpage зайдет на страницу, скачает ее и предъявит вам.

При прямом сравнении быстро становится ясно, почему сервис от Google пользуется наибольшей популярностью: он предлагает лучшие результаты поиска, представленные в удобном виде. При вводе злободневных запросов данный поисковик отображает онлайн-трансляции и ленту последних новостей. В планировании маршрута помогает Google Maps, на запросы о погоде Google отвечает изящной графикой, а в интерфейсе других поисковых систем добираться до заветной информации приходится долго и трудно.

ВЫВОД. Все анонимные поисковые сервисы, за исключением Startpage и DuckDuckGo, не идут ни в какое сравнение с Google, когда речь заходит о качестве поиска. Зато победитель тестирования Startpage не сохраняет информацию о поисковых запросах и пользователе. DuckDuckGo по некоторым критериям отстал совсем не намного. Метапоисковая система eTools заняла среднюю позицию, не заслужив при этом особых похвал. Сохранением конфиденциальности швейцарский поставщик не блещет, а комфортный поиск и качество во многом оставляет желать лучшего. Yacy в настоящее время впечатляет только потрясающей технологией, не требующей наличия серверов. На практике же поиск слишком «плоский», медленный и чреват ошибками.


ПОДРОБНОСТИ ТЕСТИРОВАНИЯ


Анонимный веб-поиск



В результатах поиска Startpage выводит ссылку «View by Ixquick Proxy», по которой на интересующий сайт можно зайти, сохранив анонимность. Это достигается за счет скрытия IP-адреса: информацию с сайта скачивает робот поисковой системы, после чего отправляет ее пользователю, сделавшему запрос.

Следящие cookies



В метапоисковой системе eTools мы подцепили отслеживающие cookies от компании TradeDoubler, поставщика маркетинговых онлайн-услуг. Забота о конфиденциальности, похоже, систему не интересовала.

Уникальный идентификатор пользователя



Google снабжает cookies уникальным ID пользователя. С его помощью поисковик распознает пользователя и может связать полученные данные с конкретным посетителем.

Низкое качество поиска



Увы, здесь все анонимные поисковые системы уступают Google. DuckDuckGo, например, не выводит на первую страницу с результатами поиска ссылку на официальный сайт автогиганта Mercedes при запросе «mercedes c-class».

АНОНИМИЗАЦИЯ GOOGLE


Отключение протоколирования поиска



По ссылке google.com/history вы найдете историю своего веб-поиска, которую хранит Google. Сделайте щелчок в правом верхнем углу раскрывающегося меню рядом со значком шестеренки и выберите «Настройки». Если вы нажмете на слово «полностью» в фразе «полностью или частично удалить сохраненные запросы и адреса посещенных сайтов», то все адреса посещенных сайтов и сохраненные данные о поиске исчезнут. Затем кликните на «Отключить», чтобы в дальнейшем запросы не протоколировались.


Если вы пользуетесь какими-либо сервисами Google, то для поиска лучше установить дополнительный браузер и не вводить в него данные от своего аккаунта в Google. При этом не помешает активировать режим защищенного просмотра, который препятствует сохранению cookies. Пользователям Chrome для этого нужно выбрать «Новое окно в режиме инкогнито» в меню настроек.