bash: /bin/ls: слишком длинный список аргументов

Мне нужно составить список из большого количества файлов (40 000 файлов), как показано ниже:

ERR001268_1_100.fastq  ERR001268ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlist156.fastq  ERR001753ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlist78.fastq
ERR001268_1_101.fastq  ERR001268ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlist157.fastq  ERR001753ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlist79.fastq
ERR001268_1_102.fastq  ERR001268ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlist158.fastq  ERR001753ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlist7.fastq
ERR001268_1_103.fastq  ERR001268ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlist159.fastq  ERR001753ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlist80.fastq

моя команда: ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlist Однако ошибка: bash: /bin/ls: Argument list too long

Однако могу ли я решить эту проблему? Есть ли другой способ сделать такой список с помощью perl/python?

спасибо


list fastq ls
person LookIntoEast    schedule 11.08.2011    source источник

Ответы (4)


arrow_upward
15
arrow_downward

Вы должны иметь возможность заменить ls ERR*_1_*.fastq на find . -name "ERR*_1_*.fastq".
Таким образом, вы сможете избежать превращения подстановочного знака в огромный список аргументов.

(Вывод find будет включать начальный «./», например ./ERR001268_1_100.fastq . Если это нежелательно, вы можете избавиться от него с помощью другой команды sed позже в конвейере.)

person Jim Lewis    schedule 11.08.2011

arrow_upward
1
arrow_downward

Если все файлы уже существуют в вашем каталоге, модуль «glob» Python может иметь более высокий предел, чем командная строка bash.

Из командной строки:

python -c "import glob; print glob.glob('ERR_*_1_*.fastq')"

Чтобы сделать все это на питоне, вы можете попробовать что-то вроде этого:

import glob
files = glob.glob("ERR_*_1_*.fastq")
trimmedfiles = [x.replace(".fastq","") for x in files]
trimmedfiles.sort()
for f in trimmedfiles:
    print f

Это решение будет сортировать файлы по алфавиту, а не по номерам. Для этого вы можете добавить немного магии key=lambda в метод sort():

trimmedfiles.sort(key=lambda f: int(f.split("_")[2]))
person Ben G.    schedule 11.08.2011
comment
Вы, вероятно, хотите '\n'.join(...) вокруг вызова глобуса. В остальном этот ответ вывел меня из похожей ситуации, +1 - person quornian; 14.12.2012

arrow_upward
0
arrow_downward

Найти может помочь вам - вместо этого используйте find . -name 'yourpatternhere' -print0 | xargs -0 youractionhere

person j03m    schedule 07.11.2011

arrow_upward
0
arrow_downward

Вы можете использовать find.

Пример:

find /Users/kunlun/Downloads/fu_neg/ -name "*.png" > 
/Users/kunlun/Downloads/fu_neg.txt
person logan lu    schedule 04.03.2020