Сначала небольшое отступление.
Интернет — глобальное информационное пространство, основанное на самых передовых технологиях, обладает широким спектром информационных и коммуникационных ресурсов, содержит колоссальные объемы данных. Появление Интернета принято связывать с 1969 года. Именно тогда в США начались работы по объединению в небольшие сети групп компьютеров. Это делалось с целью обеспечения сохранности информации в критических условиях. Уже в 1971 г. На основе этих разработок возникла электронная почта. Успех этих начинаний и заложил основы Интернета в нынешнем виде. Настоящий расцвет Интернета начался в 1992 году, когда была изобретена новая служба, которая получила название «Всемирная паутина» (World Wide Web, или WWW, или просто Web (веб)). WWW позволяет любому пользователю Интернета представлять свою информацию в мультимедийной форме, связывая ее с публикациями других авторов и предоставляя удобную систему навигации (быстрого перехода по ссылкам от одной публикации в другую).
Какие основные направления использования Интернета для пользователя?
Здесь можно выделить три направления:
- Источник информации
- Средство обмена информацией
- Место размещения личной информации
Из всех направлений работы библиотеки самый чувствительный влияние Интернет нанес информационно-библиографической деятельности. Тот факт, что энциклопедические, справочные и библиографические источники трансформируются в электронную форму быстрее любых других видов документов, уже в ближайшие два-три года приведет к тому, что цифровые или электронные ресурсы и технологии будут полностью доминировать в информационно-библиографической деятельности библиотек. Согласно данным Интернет-статистики ГПНТБ России, спрос на электронные ресурсы в настоящее время в 5-7 раз превышает спрос на ресурсы печатные. Это означает, что электронные ресурсы «работают» в 50-70 раз активнее, чем печатные. В отличие от поиска документов в библиотеке или архиве, поиск в Интернете не дает в руки пользователя непосредственно сам ресурс. При таком поиске определяется только место, где ресурс физически сохраняется. Это место называется адресу ресурса. Пользователю сообщается все адреса, где находятся ресурсы, которые могут его заинтересовать. Затем пользователь сам выбирает потенциально интересные ему адреса. Адрес ресурса называется Uniform Resource Locator (Унифицированный указатель ресурса). Сокращенно его называют URL.
База данных поисковой системы (индекс) — организованный массив информации, в котором хранятся данные, собранные модулями индексирования поисковой системы (поисковыми ботами). Количество информации по проблеме ИВРНО в сети Интернет экспоненциально растет. Существуют как англоязычные так и русскоязычные профессиональные интернет-сайты, посвященные тем или иным аспектам высокопроизводительных вычислений. Вместе с тем именно эта большое количество информации часто приводит к усложнению при необходимости найти информационный ресурс, в сети Интернет, посвященный той или иной проблеме, актуальной для пользователя в данный момент. Эти факторы приводят к необходимости создания как базы данных по проблеме ИВРНО, так и автоматизированной поисковой системы.
Как проверить, попала ли страница в индекс?
1. Вручную, через строку поиска.
1.2. С помощью оператора поиска site: domen.com можно проверить индексацию всего сайта.
1.3. С помощью оператора site: domen.com/page1, где domen.com/page1 — url страницы, которые проверяют.
1.4. С помощью оператора поиска cache: domen.com/page1, где domen.com/page1 — url страницы, которые проверяют.
2. С помощью веб-мастера Google.
Больше интересных фишек для проверки наличия страницы ищите в индексе, учитывая специальную таблицу для массовой проверки url-адресов.
Почему страница выпадает из индекса?
1. Установлен запрет на сканирование в robots.txt, есть мета-тег <meta name = «robots» content = «noindex» />. Если страницы уже попали в индекс, при повторном сканировании робот увидит запрет и страницы выйдут из базы индексированных.
2. На странице существует атрибут rel = «canonical» для другой страницы сайта.
3. Ответ сервера содержит HTTP-статус 4XX или 5XX, это препятствует обработке страницы роботом.
4. Сайт находится под фильтрами поисковых систем (через не уникальность контента).
5. На странице присутствуют дубли контента.
6. Страница перенаправляет работа — отображается 301 код ответа сервера.
Все эти миллиарды страниц в базе данных поисковой системы появляются там не сами по себе. Их собирает специальная программа, которая называется поисковый бот (вебпаук или краулер), который сначала сканирует содержание каждой страницы, а затем выделяет ссылки и направляет работу поискового бота далее.
Поисковый бот по ссылке переходит с одной страницы на другую страницу и сканирует их одна за другой. И таким образом, бот движется по ссылкам, переходит со страницы на страницу, сканируя их. Когда бот просканировал вашу страницу, то формирует два файла.
Что это за файлы?
В первом будет просканирован содержимое страницы
Во втором набор ссылок.
Как бот формирует файлы?
Бот формирует таблицы, проанализировав, какие слова повторяются на странице и как часто.
Индексация
Индексирование — объединение и систематизация всей собранной на этапе сканирования информации о страницах с помощью создание специальной базы, индекса.
Не все просканированные страницы попадают в индекс. При сканировании робот вносит в свою базу все страницы, которые может обнаружить, но в индекс войдут только те, которые робот признает полезными для пользователя.
Также не стоит путать индексирования с ранжированием. На данном этапе ранг документа не присваивается том, что база постоянно пополняется новыми страницами и определить релевантность документа однозначно нельзя — через секунду может появиться более релевантная страница. Поэтому ранг странице присваивается непосредственно в момент поиска.
Виды поисковых баз данных:
Основной индекс. Хранилище информации, организованное на основе динамично масштабных кластеров. В нем содержатся не полные версии веб документов, а только ключевые фразы, фрагменты текста, которыми они окружены, и ссылки на исходную страницу. Такой подход позволяет существенно ускорить процедуру подбора контента, релевантного введенному запросу, путем применения алгоритмов инвертированной действия, а также сокращению объема самого индекса;
Временная база. В ней представлены результаты индексирования ресурсов, на которых новый контент размещается минимум 1 раз в сутки (к таковым относятся блоги, сетевые СМИ, информационные порталы). Ранжирование страниц, занесенных в «скорую» базу, осуществляется в зависимости от факторов оптимизации конкретного документа (релевантность потребленных ключевых слов в тематике текста, частота их употребления, уникальность). Временный индекс очищается после каждого апдейта, а данные с него переносятся в основной, при этом для оценки качества контента применяются стандартные алгоритмы.
Интересные факты
Собственные базы данных имеет далеко не каждый поисковик, а только лучшие игроки рынка (такие, как Yandex, Google, Yahoo). Другие сервисы используют в своей работе индекс «старших братьев». Так, российские Mail.ru и Rambler основанные на алгоритмах и сведениях, предоставленный Яндекс, американский AOL ведет поиск по базе Google. Это обусловлено тем фактом, что для сбора, хранения и обработки больших объемов информации нужны вычислительные мощности, которые непрофильные предприятия не могут себе позволить (например, по состоянию на май 2017 базе данных Яндекса присутствуют более +35000000000 веб-документов).
За дополнительной информацией обращайтесь в JustSEO
