Вопросы по теме 'ff'

Преобразование вектора ff POSIXct в числовой вектор ff
Я пытаюсь преобразовать вектор ff с записями POSIXct в ff числовой вектор, содержащий соответствующее количество секунд с момента возникновения 01-01-1970. x = as.ff(as.POSIXct(c("2014-06-30 00:01:27 BST", "2014-06-30 00:02:17 BST")))...
275 просмотров
schedule 04.01.2023

Как вы можете применить функцию или логический тест к ffdf?
В основном это вопрос о том, как применить предыдущий вопрос к ffdf: R - применение ifelse ко всему фрейму данных Я в основном пытаюсь сделать то же самое. Учитывая кадр данных ffdf, я в основном спрашиваю, как применить ifelse ко всему кадру...
292 просмотров
r ff
schedule 21.05.2023

Как преобразовать факторный вектор в POSIXct в ff или ffbase
После чтения большого набора данных с помощью read.csv.ffdf один из столбцов — это время. Например, 2014-10-18 00:01:02 для 1 миллиона строк в этом столбце. Этот столбец является фактором. Как преобразовать его в POSIXct , поддерживаемый ff ?...
860 просмотров
schedule 25.04.2023

R с FF аварийно завершает работу при загрузке большого набора данных
Добрый вечер, Я пытаюсь загрузить набор данных в R (~ 20 миллионов строк, 140 столбцов ~ 6,2 ГБ на диске), используя LaF и ffbase или ff. В обоих случаях нагрузка не удалась. struct <- detect_dm_csv(file = '/scratch/proj.csv', header =...
414 просмотров
schedule 31.10.2023

Как загрузить 35 ГБ данных в R?
У меня есть набор данных размером 20 миллионов записей и 50 столбцов. Теперь я хочу загрузить этот набор данных в R. Размер оперативной памяти моей машины составляет 8 ГБ, а размер моего набора данных — 35 ГБ. Я должен запустить свой R-код на полных...
1260 просмотров
schedule 24.03.2023

Почему суммирование в ffbase2 (dplyr_ffbase) показывает, что ошибка в объекте as.vmode.default () (list) не может быть приведена к типу 'double'?
У меня есть большая (23 миллиона строк) таблица ffdf (tbl_ffdf) с 10 столбцами, 7 из которых являются факторами, а 3 содержат числа. Выглядит это примерно так: TABLE_bad F1 F2 F3 F4 F5 F6 F7 N1 N2 N3 1111...
819 просмотров
schedule 17.08.2022

Все еще не справляется с обработкой большого набора данных
Я читал об этом сайте и не смог найти точного ответа. Если он уже существует, прошу прощения за репост. Я работаю с очень большими наборами данных (600 миллионов строк, 64 столбца на компьютере с 32 ГБ ОЗУ). Мне действительно нужны только гораздо...
529 просмотров

Работа с большими наборами данных в R
У меня проблема с памятью, когда R выдает сообщение об ошибке Can not allocate vector of size XX Gb . У меня есть куча ежедневных файлов (12784 дня) в формате netcdf, дающих температуру поверхности моря в сетке 1305x378 (долгота-широта). Это дает...
488 просмотров
schedule 12.06.2023

Пакет R ff: лимит 2Gb?
У меня есть набор данных с линиями 5G, слишком большой для импорта в R-base как есть. Насколько я понимаю, это ограничение возникает из-за использования 32-битных индексы на векторах. В результате допустимы векторы до 2^31 - 1 даже в 64-битной...
1331 просмотров
schedule 02.06.2023

Обработка больших данных с помощью ff
Я работаю с набором данных 16Gb. Это, конечно, слишком велико для загрузки в оперативную память, поэтому мне нужно использовать какой-то метод обработки больших данных в R. Мой набор данных состоит из множества переменных, и большинство из них...
221 просмотров
r ff
schedule 06.01.2023