Я пытаюсь открыть большой файл фиксированной ширины, но, к сожалению, функция read.fwf требует очень много времени. Поскольку мне приходится работать с большим набором данных, я хотел бы знать, есть ли другие решения для экономии времени или нет решений для этого.
В моем случае, чтобы открыть файл размером около шестисот тысяч, я использую следующий код:
df <- read.fwf(file = "df.txt", widths = c(1,3,3,4,3,3,1,1,2,2,2,2,1,1,3,3,2,2,3,1,2,2,3,2,1,3,1,1,3,3,1,3,1,1,1,1,2,3,1,2,1,3,2,1,1,1,3,3,1,1,1,2,4,16,3,7,1,1,2,1,2,2,1))
Это занимает около 12 минут.
Поскольку мне не нужны все столбцы в базе данных, я попытался удалить некоторые из них, выполнив следующие действия:
df <- read.fwf(file = "df.txt", widths = c(1,3,3,4,-3,3,-1,-1,2,-2,-2,2,1,-1,-3,-3,-2,-2,-3,-1,-2,-2,3,-2,-1,-3,-1,-1,-3,-3,-1,3,-1,-1,-1,1,-2,-3,-1,2,1,-3,-2,-1,-1,1,-3,-3,-1,-1,-1,-2,-4,-16,3,-7,-1,-1,2,-1,-2,2,-1))
Я экономлю время (6 минут), но процедура по-прежнему занимает слишком много времени, потому что мне приходится работать со многими наборами данных из более чем 2 миллионов строк.
