website promotion in search engines
Всегда ли Google доминировал на рынке веб-поиска? Во втором из трех постов по истории поисковых систем я расскажу о первопроходцах поискового рынка, в том числе о первом веб-сканере, WWW Wanderer. Знаете ли вы, что Дисней был одним из крупнейших игроков в бизнесе? Или Altavista была более технически продвинута во многих отношениях в 1998 году, чем Google сейчас? Читайте дальше!
Пионеры веб-поисковика
Действительно, точка, в которой современные поисковые системы впервые появляются, – это после разработки и популяризации браузера MOSAIC в 1993 году. В 1994 году был запущен Интернет-журнал вместе с обзором первых 100 веб-сайтов, объявленных как " самый обширный список, который когда-либо появлялся в журнале. Модем со скоростью 28,8 Кбит / с был оценен в 399 долларов и обеспечил доступ к Интернету (хотя и медленно)!
В это время и в течение следующих 4-5 лет почти можно было выпускать печатные и веб-каталоги лучших сайтов и делать их полезной информацией для потребителей. Однако быстрый рост числа сайтов www (со 130 в 1993 году до более 600 000 в 1996 году) начал делать эту попытку такой же бессмысленной, как создание печатной желтой страницы для всех предприятий. СМИ и библиотеки по всему миру!
Хотя WAIS не имел долгосрочного успеха, он подчеркнул важность возможности поиска – и щелчка – полного текста документов на нескольких веб-хостах. Национальные интернет-журналы и веб-каталоги еще больше подчеркнули проблему того, чтобы не отставать от Интернета, который растет быстрее, чем способность любого человека каталогизировать его.
В июне 1993 года Мэтью Грей из MIT разработал веб-сканер на основе PERL, WWW Wanderer. Первоначально, это было просто задумано как инструмент для измерения роста глобальной сети через «семейство сайтов». Позже, однако, Грей (который сейчас работает в Google) использовал полученные результаты для создания индекса под названием «Wandex» и добавил поисковый интерфейс. Таким образом, Грей разработал первую поисковую систему в Интернете и первый автономный поисковый робот (существенная особенность всех современных поисковых систем).
Хотя Wanderer был первым, кто послал робота для доступа к веб-сайтам, он не индексировал полный текст документов (как это было в WAIS). Первой поисковой системой, которая объединила эти два основных компонента, был WebCrawler, разработанный в 1994 году Брайаном Пинкертоном из Вашингтонского университета. WebCrawler был поисковой системой, которую многие из нас, пионеров, искали в сети, и о ней будут вспоминать приятный графический интерфейс (в то время) и невероятную скорость, с которой он дает результаты. В 1994 году также были запущены Infoseek и Lycos.
Тем не менее, масштаб роста сети начал индексироваться за пределами досягаемости среднего университетского отдела информационных технологий. Следующий большой шаг потребовал капиталовложений. Вступите в правильную стадию (затем огромную) Digital Equipment Corporation (DEC), и это сверхбыстрый процессор Alpha 8400 TurboLaser. DEC была одним из первых пользователей веб-технологий и первой компанией из списка Fortune 500, создавшей веб-сайт. Его поисковая система, AltaVista, была запущена в 1995 году.
Основанная в 1957 году, DEC возглавила рынок мини-компьютеров в 70-80-х годах. Фактически, большинство машин, на которых работали первые хосты ARPANET, были DEC-PDP-10 и PDP-11. Однако до начала 1990-х годов DEC был проблемным бизнесом. В 1977 году их генеральный директор Кен Олсен сказал, что «у человека нет причин иметь компьютер в своем доме». Хотя в то время эта цитата была несколько неконтролируемой, она была отчасти симптоматической из-за медленной реакции DEC на появление персональных компьютеров и революцию клиент-сервер 80-х.
Ко времени разработки Altavista компания была осаждена всеми частями HP, Compaq, Dell, SUN и IBM и теряла деньги, как будто это было не в моде. Луи Монье и его исследовательская группа DEC были «обнаружены» внутри как последний пиар; вся сеть – и доступна для поиска – на одном компьютере. Что может быть лучше, чтобы продемонстрировать компанию как инновационную и продемонстрировать скорость молнии и 64-битное хранение своего нового ребенка?
В 1995 году Monier запустил тысячу веб-сканеров в молодой сети (в то время это беспрецедентное достижение). К декабрю (запуск сайта) Altavista проиндексировала более 16 миллионов документов, содержащих несколько миллиардов слов. По сути, Altavista была первой интернет-поисковой системой с коммерческой мощью. Только в первый день AltaVista получила почти 300 000 посещений и за девять месяцев обслуживала 19 миллионов запросов в день.
Альтависта действительно опередил техническое время. Поисковая система была пионером многих технологий, которые Google и другие использовали в последующие годы. На сайте ведутся естественные поисковые запросы, булевы операторы, babelfish и поиск изображений, видео и аудио. Кроме того, это было молниеносно (по крайней мере, в начале) и (в отличие от других движков) оно хорошо справлялось с индексацией старых интернет-ресурсов (и особенно групп новостей UseNet, все еще популярных).
После Altavista, Magellan и Excite (все были запущены в 1995 году) дебютировали многие другие поисковые системы, в том числе Inktomi & Ask Jeeves (1996) и Northern Light & Snap (1997). Google был запущен в 1998 году.
Из этих ранних движков у каждого были свои увлечения и доля на зарождающемся рынке поиска. У каждого также были свои сильные и слабые стороны. Например, «Северное сияние» организовало свои результаты поиска в папках с конкретными предметами (что, вероятно, будет дано сегодня) и достигло небольшого, но восторженного результата. Результаты первопроходцев мгновенного поиска были ранжированы в зависимости от того, на что нажали люди (что-то, что Yahoo! и Google играют только сейчас!)
В январе 1999 года (в начале бума доткомов) крупнейшими сайтами (с точки зрения доли рынка) были Yahoo !, взволнованные Altavista и Disney, с 88% всех рекомендаций поисковых систем. Доля рынка не была тесно связана с количеством проиндексированных страниц (где Северный Свет, Altavista и относительно неизвестный Google тогда возглавляли пакет):
Поисковая система обмена рекомендациями поиска (декабрь 99)
Yahoo! – 55,81%
Excite Properties (Excite, Magellan и WebCrawler) – 11,81%
Громкоговоритель – 11,18%
Дисней Поиск Свойства (Infoseek & Go Network) – 8,91%
Lycos – 5,05%
Доступ (сейчас открыт) – 2,76%
Snap / NBCi – 1,58%
MSN – 1,25%
Северное сияние