Сканер AWS не смог классифицировать хранилища типов файлов в S3, если его размер ›1 МБ

Когда я пытаюсь определить тип файла с помощью Crawler размером> = 1 МБ входного файла Json, он создает таблицу в связке с типом классификации «Неизвестно». Но когда размер составляет ‹1 МБ, он успешно классифицирует тип файла как JSON.

Я перепроверил файл, чтобы убедиться, что это действительный файл json.

Это ограничение для робота aws.

Если да, то есть ли альтернатива этому вопросу.


person Varun    schedule 20.06.2018    source источник


Ответы (1)


Да, это задумано сканером, если метаданные (их создает внутренний сканер) превышают 1 МБ, вы получите указанную выше ошибку, сканер сканирует 1 МБ для файлов размером более 1 МБ или всего файла, если размер файла меньше чем 1Мб. Если сами метаданные не умещаются в 1 МБ, то файл окажется в формате Unkhibitedype.

person Karan Hebbar    schedule 26.02.2019