Как использовать память/производительность при обработке большого файла в Clojure

Поскольку набор данных состоит всего из 54 000 000 строк, вы можете разместить этот набор данных в памяти, если соберете данные вместе в памяти. Предполагая, что это то, что вы хотите сделать, например. ради удобства произвольного доступа вот один из подходов.

Причина, по которой вы не можете поместить его в память, вероятно, заключается в накладных расходах всех объектов, используемых для представления каждой записи, считанной из файла. Но если вы объедините значения, например, в байтовый буфер, объем пространства, необходимый для хранения этих значений, будет не таким уж большим. Вы можете представить метку времени просто как один байт на цифру, а суммы использовать некоторое представление с фиксированной точкой. Вот быстрое и грязное решение.

(def fixed-pt-factor 1000)
(def record-size (+ 17 4 4))
(def max-count 54000000)

(defn put-amount [dst amount]
  (let [x (* fixed-pt-factor amount)]
    (.putInt dst (int x))))


(defn push-record [dst m]
  ;; Timestamp (convert to string and push char by char)
  (doseq [c (str (:ts m))]
    (.put dst (byte c)))
  (put-amount dst (:bid m))
  (put-amount dst (:ask m))
  dst)

(defn get-amount [src pos]
  (/ (BigDecimal. (.getInt src pos))
     fixed-pt-factor))

(defn record-count [dataset]
  (quot (.position dataset) record-size))

(defn nth-record [dataset n]
  (let [offset (* n record-size)]
    {:ts (edn/read-string (apply str (map #(->> % (+ offset) (.get dataset) char) (range 17))))
     :bid (get-amount dataset (+ offset 17))
     :ask (get-amount dataset (+ offset 17 4))}))

(defn load-dataset [filename]
  (let [result (ByteBuffer/allocate (* record-size max-count))]
    (with-open [rdr (io/reader filename)]
      (transduce (map edn/read-string) (completing push-record) result (line-seq rdr)))
    result))

Затем вы можете использовать load-dataset для загрузки набора данных, record-count для получения количества записей и nth-record для получения n-й записи:

(def dataset (load-dataset filename))

(record-count dataset)
;; => 7

(nth-record dataset 2)
;; => {:ts 20200601040026421, :bid 107.525M, :ask 107.528M}

Как именно вы решите представлять значения в байтовом буфере, зависит от вас, я специально не оптимизировал. Для загруженного набора данных в этом примере потребуется всего около 54000000 * 25 байт = 1,35 ГБ, что уместится в памяти (хотя вам, возможно, придется настроить какой-то флаг JVM...).

Если вам нужно загрузить файлы большего размера, вы можете рассмотреть возможность помещения данных в файл с отображением памяти вместо байтового буфера в памяти.

Используйте deftype, чтобы создать тип с длинным ts и удвоением для bid ask. Если вы разберете свои строковые строки на экземпляры этого типа, вы обнаружите, что набор данных из 54 миллионов строк должен легко помещаться в памяти. 24 байта данных, плюс 8 байтов заголовка объекта, плюс ~8 байтов ссылки в массиве составляют 40 байт/запись. Около 2G куча.

Более экзотические решения (примитивные массивы для хранилища столбцов или приспособленцы для доступа к упакованным буферам байтов) возможны, но не нужны для заявленных вами параметров проблемы.

Пример кода для подражания, у меня есть только мой телефон.