Р: Как предотвратить переполнение памяти при использовании mgsub в векторном режиме?

Я считаю, что вы можете использовать fixed = TRUE.

Похоже, вас беспокоят пробелы... так что просто добавьте пробелы к концам всех трех векторов, с которыми вы работаете. Чтобы запустить всю эту последовательность от ## Start до ## Finish (примерно размер ваших данных), требуется Time difference of 2.906395 secs на 1,7 миллиона строк. Большая часть времени находится в конце с удалением лишних пробелов.

## Recreate data
line <- c("one", "two one", "four phones", "and a capsule", "But here's a caps key")
e <- c("one", "two", "caps")
r <- c("ONE", "TWO", "CAPS")

line <- rep(line, 1700000/length(line))

## Start    
line2 <- paste0(" ", line, " ")
e2 <-  paste0(" ", e, " ")
r2 <- paste0(" ", r, " ")


for (i in seq_along(e2)) {
    line2 <- gsub(e2[i], r2[i], line2, fixed=TRUE)
}

gsub("^\\s|\\s$", "", line2, perl=TRUE)
## Finish

Здесь mgsub qdap бесполезен. Пакет был разработан для гораздо меньших данных. Кроме того, fixed = TRUE является разумным значением по умолчанию, потому что оно намного быстрее. Смысл добавления пакетов заключается в улучшении рабочего процесса (иногда в зависимости от поля/задачи) за счет перенастройки доступных инструментов. Функция mgsub также имеет некоторую обработку ошибок и другие тонкости, которые полезны при анализе расшифровок, которые заставляют функцию поглощать память. Часто приходится идти на компромисс между безопасностью и синтаксическим сахаром против скоростью.

Обратите внимание, что только то, что две функции названы одинаково, не должно ничего подразумевать, особенно если они находятся в дополнительных пакетах. Даже функции в базе R имеют разные имена и поведение по умолчанию (посмотрите на семейство функций apply; эта проблема далеко не идеальна, но является частью исторической эволюции R). Вы как пользователь обязаны читать документацию, а не делать предположения.

Пакет stringi предоставляет быстрые согласованные инструменты для большого количества операций со строками:

stri_replace_all_regex(line, paste0("\\b", e, "\\b"), r, vectorize_all = FALSE)

Почти так же быстро (отличаются доли секунды), как и другой метод, и более прямолинейный.

Дополнение к проблеме (Админам: если она не заслуживает отдельного ответа - пожалуйста, объедините ее с исходной). Причина, по которой mgsub работала так быстро по сравнению с простым циклом for, заключалась в том, что в mgsub параметр fixed = TRUE по умолчанию, а в gsub по умолчанию FALSE! Я только что обнаружил это. Хочу еще раз уточнить, что fixed=TRUE мне не подходит, так как я не хочу заменять caps в capsule, а только все слово caps. т.е. Я вынужден вставить \\bs в шаблон. Вот три фрагмента моего кода (я протестировал fixed=TRUE в gsub просто чтобы увидеть разницу во времени, не собираюсь его использовать).

#This is with mgsub. Now with fixed = FALSE!!
i = mgsub(paste("\\b",orig,"\\b",sep=""),change,i,fixed=FALSE)

#This is with a for loop. fixed=TRUE in one of lines is for test purposes only. Do not use
for(k in seq_along(orig)) {
  i = gsub(paste("\\b",orig[k],"\\b",sep=""),change[k],i)
  #i = gsub(orig[k],change[k],i,fixed=TRUE)
}

Вот время и использование памяти для всех трех случаев с разным количеством входных данных:

N     | mgsub, fixed=F   | gsub, fixed=F    | gsub, fixed=T
--------------------------------------------------------------
100k  | 41sec, M > 2.3GB | 37sec, M > 0.9GB | 9sec, M > 0.8GB
200k  | 99sec, M > 4GB   | 74sec, M > 1.1GB | 18sec, M > 1.3GB
300k  | 132sec, M > 5.6GB| 112sec, M > 2.6GB| 28sec, M > 1.6GB 
        + disk involved

Таким образом, я заключаю, что для моего приложения, когда fixed должно быть FALSE, нет никаких преимуществ использования mgsub. На самом деле цикл for работает быстрее и не вызывает переполнения памяти!

Спасибо всем причастным. Я хотел бы отдать должное комментаторам, но я не знаю, как это сделать в «Комментариях».