TL;DR: мне нужен источник для как можно большего количества различных форматов вывода из запроса whois.
Нет, за исключением случаев, когда вы используете любого поставщика, который сделает это за вас, с какими-либо оговорками. Точнее, нет чего-то общедоступного, поддерживаемого и исчерпывающего. Вы можете найти различные библиотеки, которые пытаются это сделать, на разных языках, но ни одна из них не является полной, так как это в основном невыполнимая задача, особенно если вы хотите включить какие-либо TLD, такие как ccTLD (вы не ограничиваете область ограничений очень четко). подробно, но на самом деле вы не говорите, что спрашиваете о данных доменного имени в whois или IP-адресах / данных ASN?).
Некоторые провайдеры, конечно, пытаются это сделать и предлагают вам абстрактный унифицированный API. Но зачем кому-то делиться своим внутренним секретом, то есть списком парсеров и так далее? Это не делает бизнес стимулом для этого. Что касается авторов библиотек с открытым исходным кодом (в какой-то момент я был одним из них), просто утомительно и совершенно не выгодно просто обновлять ее навсегда со всеми новыми форматами и настройками для каждого реестра (пример боевого шрама: один регистратор в прошлом изменил свой вывод формат при каждом запросе! один запрос дал вам somefield: somevalue, а в следующий раз это было somefield:somevalue или somefield somevalue и т. д., конечно, это только простой пример).
В RFC 3912 указана только транспортная часть, а не контент, поэтому появилось много случаев. В частности, в мире нДВУ каждый реестр является королем в своем королевстве, и он может реализовывать все, что хочет, и так, как хочет. Кроме того, у протокола были некоторые серьезные ограничения (например, интернационализация, какая кодировка используется для базовых данных), которые можно было обойти разными способами (например, передать параметры в вашем запросе... конечно, ни один из них не стандартизирован каким-либо образом)
По крайней мере, там указан формат whois рДВУ: https://www.icann.org/resources/pages/approved-with-specs-2013-09-17-en#whois
Однако обратите внимание, что из-за GDPR были внесены изменения (см. https://www.icann.org/resources/pages/gtld-registration-data-specs-en/#temp-spec) и будут другие изменения в будущем.
Тем не менее, вы должны быть крайне заинтересованы в том, чтобы смотреть на RDAP, а не на whois.
RDAP теперь является обязательным требованием во всех реестрах и реестрах рДВУ. Поскольку это JSON, он сразу решает проблему формата.
Его основные характеристики:
Вы можете найти различные библиотеки, выполняющие RDAP за вас (см. ссылки ниже), но по своей сути это JSON по HTTPS, поэтому вы можете эмулировать простые случаи с любой клиентской библиотекой HTTP.
Ведется работа по исправлению некоторых недостающих/недостаточно точных деталей в RFC 7482 и 7483.
Вам также необходимо учитывать спецификации ICANN (опять же, конечно, только для gTLD):
Обратите внимание, что прямо сейчас, даже если это требование ICANN, вы обнаружите множество отсутствующих или сломанных реестров gTLD или серверов RDAP регистраторов. Вы также обнаружите множество отклонений в ответах от того, что можно было бы ожидать в соответствии со спецификацией.
Я дал полную информацию по различным другим вопросам здесь, так что, возможно, посмотрите:
PS: философский вопрос о надежде есть, просто перейдите сюда и загрузите этот ответ. Надеясь... потому что многие люди надеялись на это в прошлом, и см. первоначальное замечание в начале. Давайте представим, что вы идете вперед и создаете этот великолепный ресурс со всеми исчерпывающими деталями. Не могли бы вы просто поделиться им с кем-нибудь бесплатно? Ответ, вероятно, нет, по понятным причинам, поэтому то же самое происходило в прошлом для других, которые пошли по тому же пути, что и вы, и, следовательно, результаты теперь различные провайдеры, предлагающие вам более или менее эту услугу (вам нужно будет найти подробности какие форматы анализируются, ограничения скорости, цены и т. д.), но ничего в свободном доступе нет.
Теперь можно только мечтать/надеяться, что все реестры и регистраторы перейдут на RDAP И реализуют его должным образом. Тогда проблема формата решается раз и навсегда. Тем не менее, вышеперечисленные требования (каждый + правильно) не малы, и могут произойти не скоро. В частности, в ccTLD, где реестры никоим образом не уполномочены какой-либо внешней силой (кроме давления рынка?) вообще внедрять RDAP.
person
Patrick Mevzek
schedule
14.07.2020
