Вопросы по теме 'concurrent.futures'
asyncio yield from concurrent.futures.Future исполнителя
У меня есть функция long_task , которая выполняет тяжелые вычисления с привязкой к процессору, и я хочу сделать ее асинхронной, используя новую структуру asyncio. Результирующая функция long_task_async использует ProcessPoolExecutor для передачи...
6546 просмотров
schedule
13.12.2023
Моя очередь пуста после завершения многопроцессорной обработки. Экземпляры процесса
У меня есть скрипт python, где в верхней части файла у меня есть:
result_queue = Queue.Queue()
key_list = *a large list of small items* #(actually from bucket.list() via boto)
Я узнал, что очереди — это безопасные для процессов структуры...
376 просмотров
schedule
26.01.2023
нажатие упакованной задачи в контейнер вызывает ошибку C2280 в VS2013
Я хочу использовать packaged_tasks для добавления задач в контейнер. Я создаю задачу, привязываю ее к номеру и пытаюсь запихнуть в свою деку. Я получаю ошибку компилятора C2280 (VS2013) на push_back. Вот код:
void DoTask( int i )
{
std::cout...
873 просмотров
schedule
17.02.2023
Обнаружение неудачных задач в concurrent.futures
Я использую concurrent.futures, так как он имеет простой интерфейс и позволяет пользователю легко контролировать максимальное количество потоков/процессов. Однако похоже, что concurrent.futures скрывает неудачные задачи и продолжает основной поток...
4885 просмотров
schedule
14.02.2023
Сельдерей против ProcessPoolExecutor/ThreadPoolExecutor
Я создаю веб-сервер django, который позволяет пользователю запускать некоторые «исполняемые файлы» на локальном компьютере и анализировать их вывод через веб-страницу.
Ранее я использовал очередь задач Celery для запуска «исполняемых файлов» в...
2559 просмотров
schedule
17.04.2023
Как использовать блокировки, не вызывая взаимоблокировки в concurrent.futures.ThreadPoolExecutor?
Я обрабатываю данные журнала изменений Jira, и из-за большого объема данных и того факта, что большая часть времени обработки связана с вводом-выводом, я решил, что асинхронный подход может работать хорошо.
У меня есть список всех issue_id ,...
1886 просмотров
schedule
11.03.2023
Индивидуальные тайм-ауты для concurrent.futures
Я вижу два способа указать время ожидания в concurrent.futures .
as_completed()
wait()
Оба метода обрабатывают N запущенных фьючерсов.
Я хотел бы указать индивидуальный тайм-аут для каждого будущего.
Вариант использования:...
641 просмотров
schedule
11.12.2022
Как FutureTask в коллекции работает внутри?
Я пытаюсь понять, как работает FutureTask в Collections . Из того, что я прочитал, я понимаю, что вы можете создать пул потоков, используя ExecutorService . Позже вы можете заключить Runnable или Callable в FutureTask и выполнить его....
200 просмотров
schedule
18.12.2022
Должен ли API возвращать CompletionStage или CompletableFuture
При создании API рекомендуется кодировать интерфейс, поэтому кажется, что возврат CompletionStage кажется лучшим подходом. Однако я понял, что всегда вызываю .toCompletableFuture после получения CompletionStage. Каков рекомендуемый подход в этом...
1581 просмотров
schedule
08.08.2023
Проблема concurrent.futures: почему только 1 рабочий?
Я экспериментирую с использованием concurrent.futures.ProcessPoolExecutor для распараллеливания последовательной задачи. Последовательная задача включает в себя поиск числа вхождений данного числа из диапазона чисел. Мой код показан ниже. Во...
2138 просмотров
schedule
21.05.2023
Python: concurrent.futures Как сделать его отменяемым?
Python concurrent.futures и ProcessPoolExecutor предоставляют удобный интерфейс для планирования и мониторинга задач. Futures даже предоставляет метод .cancel () :
cancel () : попытка отменить вызов. Если вызов в настоящее время...
13306 просмотров
schedule
11.03.2024
Код Concurrent.futures заканчивается «BrokenProcessPool».
Вчера я задал аналогичный вопрос, и кто-то предложил мне использовать concurrent.futures и asyncio. Я хочу пропустить файл, если его обработка занимает слишком много времени. Вот мой код:
import os, glob
import time
import asyncio
from...
480 просмотров
schedule
05.10.2022
Почему я не могу использовать concurrent.futures в цикле событий asyncio?
В документации asyncio говорится, что asyncio имеет:
«класс Future, имитирующий класс в модуле concurrent.futures, но адаптированный для использования с циклом событий»;
Почему необходимо иметь два разных класса Future в стандартной...
507 просмотров
schedule
24.03.2022
Каков вариант использования для ограничения max_workers на concurrent.futures.ThreadPoolExecutor?
Есть ли причина, по которой вы хотели бы указать параметр для max_workers? Почему бы вам не оставить для него значение «Нет» по умолчанию? Всегда ли быстрее иметь меньше рабочих?
87 просмотров
schedule
24.05.2022
Как получить имя анализируемого завершенного будущего в concurrent.futures?
В поисках ответа на свой вопрос ( решение доступно в одном ответе в связанном дубликате) я обнаружил concurrent.futures , и, в частности, concurrent.futures.as_completed .
Код, который у меня получился (для контекста: мне нужно было...
534 просмотров
schedule
03.06.2022
Scala: последовательное будущее
Я хочу последовательно обрабатывать это вложенное будущее для каждого элемента, который я передаю с помощью итератора.
Я связал фьючерсы с помощью flatMap и Map, правильно ли это?
Что мне нужно сделать, чтобы выполнить процесс желаемым образом...
59 просмотров
schedule
27.11.2023
Параллельные фьючерсы — извлечение имени файла вместе с выводом
У меня есть папка из 100 изображений, для которых я должен выполнить некоторую задачу по извлечению... чтобы сэкономить время, я хотел использовать concurrent.futures, и это сработало хорошо.. проблема в том, что я не могу сопоставить вывод на...
62 просмотров
schedule
02.05.2023
Как написать неблокирующий обработчик запросов с фрагментами в Tornado
Вот два простых RequestHandlers :
class AsyncHandler(tornado.web.RequestHandler):
@gen.coroutine
def get(self):
while True:
future = Future()
global_futures.add(future)
s = yield future...
59 просмотров
schedule
17.07.2022
Запустить неасинхронную функцию, которая просто создает большой список в исполнителе?
Логика в коде состоит в том, чтобы извлекать данные через (асинхронный) HTTP-запрос, а затем создавать большой список словарей, в которых случайным образом генерируется одно из значений:
import asyncio
import random
import string
import time
from...
275 просмотров
schedule
17.08.2022
Хранить ссылки на Dask Futures в приложении Flask / FastAPI
Я создаю приложение FastAPI с конечной точкой для запуска вычисления Dask. Конечная точка API отправляет этот вызов планировщику Dask и просто возвращает ключ Future .
trigger
x = client.submit
(
function_name,
arg1,...
127 просмотров
schedule
02.02.2023
