Самый быстрый способ записать огромные данные в текстовый файл Java

Вы можете попробовать удалить BufferedWriter и просто использовать FileWriter напрямую. В современной системе есть большая вероятность, что вы все равно просто записываете в кэш-память диска.

Мне требуется 4-5 секунд, чтобы записать 175 МБ (4 миллиона строк) — это на двухъядерном компьютере Dell с частотой 2,4 ГГц под управлением Windows XP с диском Hitachi емкостью 80 ГБ, 7200 об/мин.

Можете ли вы выделить, сколько времени занимает поиск записей и сколько времени — запись файлов?

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.Writer;
import java.util.ArrayList;
import java.util.List;

public class FileWritingPerfTest {
    

private static final int ITERATIONS = 5;
private static final double MEG = (Math.pow(1024, 2));
private static final int RECORD_COUNT = 4000000;
private static final String RECORD = "Help I am trapped in a fortune cookie factory\n";
private static final int RECSIZE = RECORD.getBytes().length;

public static void main(String[] args) throws Exception {
    List<String> records = new ArrayList<String>(RECORD_COUNT);
    int size = 0;
    for (int i = 0; i < RECORD_COUNT; i++) {
        records.add(RECORD);
        size += RECSIZE;
    }
    System.out.println(records.size() + " 'records'");
    System.out.println(size / MEG + " MB");
    
    for (int i = 0; i < ITERATIONS; i++) {
        System.out.println("\nIteration " + i);
        
        writeRaw(records);
        writeBuffered(records, 8192);
        writeBuffered(records, (int) MEG);
        writeBuffered(records, 4 * (int) MEG);
    }
}

private static void writeRaw(List<String> records) throws IOException {
    File file = File.createTempFile("foo", ".txt");
    try {
        FileWriter writer = new FileWriter(file);
        System.out.print("Writing raw... ");
        write(records, writer);
    } finally {
        // comment this out if you want to inspect the files afterward
        file.delete();
    }
}

private static void writeBuffered(List<String> records, int bufSize) throws IOException {
    File file = File.createTempFile("foo", ".txt");
    try {
        FileWriter writer = new FileWriter(file);
        BufferedWriter bufferedWriter = new BufferedWriter(writer, bufSize);
    
        System.out.print("Writing buffered (buffer size: " + bufSize + ")... ");
        write(records, bufferedWriter);
    } finally {
        // comment this out if you want to inspect the files afterward
        file.delete();
    }
}

private static void write(List<String> records, Writer writer) throws IOException {
    long start = System.currentTimeMillis();
    for (String record: records) {
        writer.write(record);
    }
    // writer.flush(); // close() should take care of this
    writer.close(); 
    long end = System.currentTimeMillis();
    System.out.println((end - start) / 1000f + " seconds");
}
}

попробуйте файлы с отображением памяти (требуется 300 м / с, чтобы записать 174 МБ в моем m / c, core 2 duo, 2,5 ГБ ОЗУ):

byte[] buffer = "Help I am trapped in a fortune cookie factory\n".getBytes();
int number_of_lines = 400000;

FileChannel rwChannel = new RandomAccessFile("textfile.txt", "rw").getChannel();
ByteBuffer wrBuf = rwChannel.map(FileChannel.MapMode.READ_WRITE, 0, buffer.length * number_of_lines);
for (int i = 0; i < number_of_lines; i++)
{
    wrBuf.put(buffer);
}
rwChannel.close();

Только ради статистики:

Машина старая Dell с новым SSD

Процессор: Intel Pentium D 2,8 ГГц

Твердотельный накопитель: Патриот Инферно 120 ГБ SSD

4000000 'records'
175.47607421875 MB

Iteration 0
Writing raw... 3.547 seconds
Writing buffered (buffer size: 8192)... 2.625 seconds
Writing buffered (buffer size: 1048576)... 2.203 seconds
Writing buffered (buffer size: 4194304)... 2.312 seconds

Iteration 1
Writing raw... 2.922 seconds
Writing buffered (buffer size: 8192)... 2.406 seconds
Writing buffered (buffer size: 1048576)... 2.015 seconds
Writing buffered (buffer size: 4194304)... 2.282 seconds

Iteration 2
Writing raw... 2.828 seconds
Writing buffered (buffer size: 8192)... 2.109 seconds
Writing buffered (buffer size: 1048576)... 2.078 seconds
Writing buffered (buffer size: 4194304)... 2.015 seconds

Iteration 3
Writing raw... 3.187 seconds
Writing buffered (buffer size: 8192)... 2.109 seconds
Writing buffered (buffer size: 1048576)... 2.094 seconds
Writing buffered (buffer size: 4194304)... 2.031 seconds

Iteration 4
Writing raw... 3.093 seconds
Writing buffered (buffer size: 8192)... 2.141 seconds
Writing buffered (buffer size: 1048576)... 2.063 seconds
Writing buffered (buffer size: 4194304)... 2.016 seconds

Как мы видим, необработанный метод медленнее буферизованного.

Ваша скорость передачи, скорее всего, не будет ограничена Java. Вместо этого я бы подозревал (в произвольном порядке)

1. скорость передачи из базы
2. скорость передачи на диск

Если вы прочитаете полный набор данных, а затем запишете его на диск, это займет больше времени, так как JVM придется выделять память, и запись db rea/disk будет происходить последовательно. Вместо этого я бы записывал в буферизованный писатель для каждого чтения, которое вы делаете из БД, и поэтому операция будет ближе к параллельной (я не знаю, делаете ли вы это или нет)

Для этих громоздких операций чтения из БД вам может потребоваться настроить размер выборки вашего заявления. Это может сэкономить много обращений к БД.

http://download.oracle.com/javase/1.5.0/docs/api/java/sql/Statement.html#setFetchSize%28int%29

Для тех, кто хочет сократить время извлечения записей и создания дампа в файл (т. е. без обработки записей), вместо помещения их в ArrayList добавьте эти записи в StringBuffer. Примените функцию toSring(), чтобы получить одну строку и сразу записать ее в файл.

Для меня время поиска сократилось с 22 до 17 секунд.