Автоматический анализ данных whois

На самом деле, есть способы выполнить работу без ручного анализа каждого формата, но они могут оказаться еще более сложными и трудоемкими, особенно если вы с ними не знакомы. Я бы попробовал, например, создать синтаксический анализатор для одного формата, разобрать много данных, затем получить те же данные в каждом из других 39 форматов и использовать уже полученные знания для присвоения меток каждому токену (например, «Имя регистранта», « Адрес"... и "Другое"). После этого можно обучить какой-либо классификатор последовательности, такой как CRF, с использованием помеченных данных, или можно применить какой-либо другой метод, например автоматическое создание регулярных выражений.

РЕДАКТИРОВАТЬ: Дополнительная информация добавлена ​​по запросу. Существует задача, известная в НЛП как маркировка последовательностей, т. е. присвоение маркерам одного или нескольких классов. Основная идея заключается в том, что вы помечаете данные как «Регистрант/Другое имя/Другое:/Другой DI/Имя-начало VALENTIO/Имя-внутри Росси/Имя-конец контакта/Другое», и вы обучаете классификатор автоматически маркировать дополнительные данные. После того, как у вас есть данные, помеченные таким образом, извлечь необходимые строки будет тривиально.

Широко используемыми классификаторами являются условные случайные поля (CRF) и (в последнее время) классификаторы на основе рекуррентных нейронных сетей. Математика, стоящая за ними, немного сложна, но есть готовые инструменты, которые можно использовать (в некоторой степени) как черные ящики. Я описал пример использования в этом ответе где вы можете найти пошаговую инструкцию.

Примечания об осторожности:

1. Не исключено, что некоторые классификаторы могут обобщать неизвестные форматы, учитывая только образцы в известных форматах, но обычно вам нужны примеры в нескольких разных форматах. Можно вручную пометить пару обучающих образцов, или, как я предложил, один из способов получить такие примеры — получить известные данные в нескольких форматах и ​​присвоить маркерам метки на основе ваших знаний. Например, если вы знаете, что DI VALENTINO ROSSI — это имя владельца регистрации в одном формате, вы можете найти его и пометить как имя владельца регистрации в другом формате.

2. CRF и другие классификаторы не гарантируют 100% точный прогноз. Точность будет зависеть от количества обучающих выборок и особенностей шаблона и варьироваться от одной задачи к другой. С одной стороны, хорошая модель CRF может быть устойчива к изменениям формата, небольшим ошибкам в формате и новым форматам — ситуациям, когда написанный от руки анализатор обычно дает сбой. Я думаю, что для вашей задачи это должно работать хорошо, но никто не может сказать, пока вы на самом деле не попробуете и не увидите. С помощью этого подхода я решил пару похожих задач, таких как разбор прайс-листа в свободной форме, анализ почтового адреса и т.д.

3. Требуется некоторое время, чтобы ознакомиться со всей концепцией.

Невозможно обойти анализ каждого формата. Кроме того, не используйте здесь регулярное выражение.

Вы должны продолжать, как вы начали. Но вы должны аффинировать:

• если две строки имеют одинаковую метку, поместите содержимое в массив (например, «Адрес»)
• если строка заканчивается на «:», читается до тех пор, пока следующая строка не станет пустой или не закончится на «:».

После синтаксического анализа вам необходимо стандартизировать данные, которые будут иметь разные уровни ключей и деталей.