Подобно этому вопросу , у меня возникают проблемы с памятью при распространении Dask. Однако в моем случае объяснение не в том, что клиент пытается собрать большой объем данных. Проблему можно проиллюстрировать на очень простом графике задач:...

Я пытаюсь использовать dask.delayed для построения графа задач. В основном это работает довольно хорошо, но я регулярно сталкиваюсь с ситуациями, подобными этой, когда у меня есть несколько отложенных объектов, у которых есть метод, возвращающий...

Можно ли точно имитировать API pandas.DataFrame.copy в dask.DataFrame, используя следующий код? from copy import copy df2 = copy(df) Это простая копия или глубокая копия? Как мне сделать копию другого типа? Или мне обязательно нужно...

Я хочу сделать следующее с Dask: Загрузите матрицу из файла HDF5 Распараллелить расчет каждой записи Вот мой код: def blocked_func(x): return np.random.random() with h5py.File(file_path) as f: d = f['/data'] arr =...

Чтобы лучше понять Dask, я решил создать небольшой кластер Dask: два сервера с 32 ГБ ОЗУ и Mac. Все они являются частью локальной сети и запускают идентичную версию Python 3.5 + Dask, установленную в виртуальной среде. Я установил sshfs на обоих...

Я использую dask для обработки 10 файлов, размер каждого из которых составляет около 142 МБ. Я создаю метод с задержанным тегом, следующий пример: @dask.delayed def process_one_file(input_file_path, save_path): res = [] for line in...

Я читаю список файлов с помощью dask read_parquet, объединяю эти фреймы данных и записываю в какой-то файл. во время конкатенации dask читает все данные в память во время конкатенации или загружает только схему, конкатенацию (я выполняю конкатенацию...

Связано с Планировщик Dask пуст / график не отображается У меня есть подзадача, в которой я вызвать экспериментальный api для получения списка значений и получить обратно кортеж для каждого вызова: ### This section should be daskified accs =...