70% интернета там нет, а полезного интернета меньше, чем мы думаем.
В рамках нашего постоянного экономического и социального исследования в Glass, управляемого ИИ, наш ИИ постоянно читает Интернет, чтобы находить новые предприятия, понимать деятельность, в которую они вовлечены, и сопоставлять эту деятельность с соответствующими отраслями. Мы создаем цифровую карту мировой экономики. Наш робот-исследователь не только дает представление о рынках и отраслевых секторах, но и открывает интересные сведения о структуре самого Интернета. Вот что мы нашли:
Согласно недавно опубликованному Отчету Verisign по доменным именам за четвертый квартал 2018 года, в мире зарегистрировано 348,7 млн доменных имен. Интеллектуальный веб-исследователь Glass AI прочитал домены чуть более чем с половины этого количества сайтов. Выяснилось, что подавляющее большинство зарегистрированных доменов не связаны с обычными работающими веб-сайтами. Хотя многие из них являются просто мертвыми доменами без активного веб-сайта (44%), мы также обнаружили, что большое количество активных сайтов не предоставляет веб-контент.
Припаркованные домены составляют 22% от общего числа и делятся на несколько категорий. Часто припаркованный домен просто используется в качестве фермы ссылок для показа рекламы для других сайтов или улучшения видимости сайта для алгоритмов поисковых систем. Припаркованный домен также может быть просто средством для продажи самого доменного имени, или компания, размещающая сайты, может использовать просроченную регистрацию домена как возможность рекламировать свои собственные услуги. Наконец, сайт в домене может представлять резервную страницу, пока сайт разрабатывается или находится на обслуживании. Иногда такие сайты могут находиться в таком состоянии годами!
Также существует несколько причин, по которым домен может перенаправлять на сайт в другом домене (6% от общего числа). Например, компания могла изменить свое название, но по-прежнему хочет сохранить свой старый адрес активным, чтобы указать на свое новое местоположение, или она могла быть приобретена, и в этом случае новая материнская компания хочет, чтобы старый веб-адрес был связан с их собственным контентом. . Или перенаправленный домен может просто предоставить имя, которое легче запомнить для доступа к контенту на какой-либо другой платформе, в частности, для ссылки на присутствие в социальных сетях. Собственный анализ Verisign показывает, что для этой цели используется все больше доменов, увеличившись до 50% в предыдущем году для некоторых сайтов социальных сетей. Есть также драйверы из сложных вод поисковой оптимизации, когда организация хочет представить разные точки доступа для своего сайта. Мы видели, что это иногда может быть доведено до крайности. Например, мы обнаружили консалтинговую компанию, продвигающую методологию, которую они назвали S.W.I.M. Она захватила просроченные домены сотен плавательных клубов, чтобы попытаться расширить свое присутствие. Вы не можете себе представить, чтобы кто-то, перейдя по ссылке в свой местный плавательный клуб, был перенаправлен в консалтинговую фирму и был бы особенно доволен!
Другая категория— этоповторяющиеся сайты. Это происходит, когда несколько доменов содержат одинаковый или очень похожий контент. Опять же, движущей силой этого является поисковая оптимизация, направленная на улучшение присутствия организации в поисковых системах. Там, где появляется точно такой же контент, картина аналогична ситуации, когда несколько доменов используют перенаправления, но есть и другие, более тонкие случаи. Одним из примеров является случай, когда организация хочет использовать разные домены для выделения различных услуг, которые она предлагает. Контент на каждом сайте очень похож, но, возможно, целевая страница имеет разный контент. В качестве альтернативы организация может предлагать услуги в разных областях, и провайдер создал домен для каждого конкретного города или области. Мы наблюдали случаи, когда у местного сантехника были сотни веб-доменов, по одному на каждый город или деревню в районе, который они обслуживают. Сайты одинаковые, за исключением фокуса на другом месте.
Итак, насколько велик «полезный» Интернет?
Поскольку каждый из этих «отсутствующих» сегментов охватывает большие участки зарегистрированных доменов, остается менее 30 % Интернета, предоставляющих значимый веб-контент. Речь идет о 100 миллионах активных веб-сайтов. В Glass наш искусственный интеллект настроен для идентификации деловых, некоммерческих, государственных и образовательных веб-сайтов с целью получения информации о рынках, социальной и экономической деятельности. Основываясь на сайтах, которые уже были прочитаны и классифицированы ИИ, мы оцениваем, что примерно треть оставшихся активных сайтов содержит организационный контент, который соответствует этим категориям. Другой контент, который в настоящее время игнорируется нашим ИИ, включает личные сайты, блоги и определенные виды сайтов, ориентированных на потребителя. Таким образом, по нашим оценкам, чтобы составить цифровую карту мирового экономического графика, нам потребуется прочитать и понять приблизительно 32 миллиона веб-сайтов, из которых, по данным нашей системы искусственного интеллекта, 52 % содержат контент на английском языке. Но, как мы видели, еще до того, как мы углубимся в прочитанный контент, можно обнаружить интересные вещи о структуре самого Интернета. Оказывается, полезный интернет меньше, чем мы думаем!
