Поисковая оптимизация. История вопроса.

Собственно история развития поисковой оптимизации начинается с истории поисковых систем. Когда Интернет только зародился, сайтов было немного, и основная масса информации была научной направленности, так как пользовались сетью в основном ученые. Но со временем объем доступных данных стал так велик, что возникла потребность в их систематизации.

Эта проблема была на первых порах решена при помощи каталогов. Интернет-каталог – это четко структурированный сайт, содержащий хранилище ссылок с кратким их описанием. Каталоги бывают общие и тематические, внутри они делятся на разделы, в которых сайты структурированы по индексу цитирования, дате обновления или алфавиту.

Со временем ссылкохранилища разрослись настолько, что появилась необходимость создания функции поиска. Это трудно считать собственно поисковой системой, так как поиск осуществлялся в пределах ресурсов, которые содержались в каталоге, а не по всем сайтам Сети, но начало было положено. Сейчас каталоги уже не столь популярны, как раньше, ведь даже самые крупные из них содержат информацию не более, чем об 1% сайтов.

Первой полноценной поисковой системой был Wandex, сейчас уже не существующий. Этот бот разработан в 1993 Мэтью Греем, сотрудником Массачусетского технологического института. А к концу того же года появилось еще несколько систем: JumpStation, World Wide Web Worm, и Repository-Based Software Engineering (RBSE).

Первые две анализировали только title, header и URL, предоставляя в результате пользователю список ссылок в том порядке, в котором страницы были найдены. RBSE использовала также систему ранжирования ссылок. Тем не менее, найти, например, статью, точное название которой пользователю неизвестно, было невозможно. В том же году появилась поисковая система Aliweb, работающая до сих пор. А уже в следующем выпущена первая система, индексирующая Интернет-ресурсы при помощи робота, WebCrawler.

Она позволяла анализировать содержимое всего текста на странице и проводить поиск по ключевым словам. Сейчас этот принцип заложен в основу всех без исключения поисковых систем. Начиная с 1993 количество поисковых машин увеличивалось с каждым годом. Они конкурировали не только друг с другом, но и с каталогами (которые сейчас, конечно, безнадежно отстали), периодически объединяясь с ними.

Появились Excite, Infoseek, Inktomi, AltaVista и другие ресурсы, многие из которых существуют по сей день.

Возможность поиска в русскоязычном Интернете впервые появилась в 1996 году, когда практически одновременно вышли морфологическое расширение к Altavista и две российских системы: Rambler и Aport.

23 сентября 1997 года появился Яндекс, самый популярный сейчас поисковый ресурс в России, второй крупнейший неанглоязычный поисковик в мире, после китайского.

А 7 января 1998 года вышел в свет очередной сильный игрок поискового рынка Google, являющийся на данный момент самым популярным в англоязычном Интернете. В России сначала поиском в Google пользовались в основном люди, работающие в сфере IT, но постепенно он обретает известность у более широкой пользовательской аудитории, являясь серьезным конкурентом Яндекс.

Поисковая оптимизация развивалась вместе с развитием поисковых машин и заключалась вначале в корректности написания названий документов. На этом этапе коммерческим механизмом она не была. Затем кроме названия документа приобрели актуальность meta-теги, title и содержание необходимого процента ключевых слов в тексте контента.

Дальнейшая история развития поисковых систем и способов оптимизации представляет собой борьбу поисковиков и оптимизаторов. Поисковые системы пытаются снизить количество рекламных и спам-ссылок, повысить число информативных ресурсов в результатах поиска, цель оптимизаторов зачастую противоположная.

С появлением механизма Google PageRank произошло еще одно качественное изменение в работе поиска. Анализу подвергались теперь ссылки на сайт, и рейтинг выставлялся на основе их количества. А в 2005 году появился тег nofollow, позволявший владельцам блогов избавиться от спама в комментариях.

На данный момент поисковые роботы «поумнели» настолько, что могут «читать» текст, оценивая в том числе и его осмысленность, анализировать поведение пользователя на сайте, его интересы в Сети, а также некоторые анкетные данные и даже местонахождение IP-адреса. Правда используется вся «личная» информация не для повышения эффективности поиска, а в основном в рекламных целях при выдаче контекстной рекламы.