Вопросы по теме 'python-multiprocessing'
Многопроцессорная обработка Python PicklingError: Can't pickle ‹type 'function'›
Мне очень жаль, что я не могу воспроизвести ошибку на более простом примере, а мой код слишком сложен для публикации. Если я запускаю программу в оболочке IPython вместо обычного Python, все работает хорошо.
Я просмотрел некоторые предыдущие...
294279 просмотров
schedule
21.03.2023
Многопроцессорность Python для каждого ключа в словаре
Я новичок в python, и я пытаюсь параллельно масштабировать свою обработку. У меня есть файл с определенным количеством кортежей, каждый из которых имеет определенное значение в последнем столбце. Я хочу разделить данные этого файла и применить свою...
3604 просмотров
schedule
06.12.2022
Процессы в multiprocessing.Pool не сообщают об ошибках времени выполнения
У меня есть пул процессов в python, использующий from multiprocessing import Pool . Я передаю этим процессам различные функции для запуска, вызывая функцию Pool.apply_async . Если я ввожу ошибку в одну из этих функций (например, строку кода, такую...
570 просмотров
schedule
11.09.2022
multiprocessing.Pool: В чем разница между map_async и imap?
Я пытаюсь научиться использовать пакет Python multiprocessing , но не понимаю разницы между map_async и imap . Я заметил, что и map_async , и imap выполняются асинхронно. Итак, когда я должен использовать один над другим? И как мне получить...
98922 просмотров
schedule
06.03.2023
bash fetch stdout/stderr многопроцессорного процесса Python
У меня есть какая-то многоагентная система, работающая локально на Python с использованием ZeroMQ. Мастер запускается как основной поток ( python Admin.py ), а этот запускает рабочие агенты как multiprocessing.Process подпроцессы.
И Admin.py, и...
468 просмотров
schedule
27.03.2022
Данные чтения Python Pyserial формируют несколько последовательных портов одновременно
Я пытаюсь одновременно считывать несколько последовательных портов с помощью Python 2.7 и PySerial. Функции должны быть:
В главной программе я получаю все открытые последовательные порты, откройте их и добавьте серийный объект в SerialObjects
Я...
16978 просмотров
schedule
19.12.2022
Дескриптор файла открыт для родительского процесса, но закрыт для каждого дочернего процесса
Я написал этот небольшой пример:
import multiprocessing
from functools import partial
def foo(x, fp):
print str(x) + " "+ str(fp.closed)
return
def main():
with open("test.txt", 'r') as file:
pool =...
1359 просмотров
schedule
08.09.2022
неожиданные различия в объеме памяти при создании многопроцессорного пула python
Пытаясь внести некоторую оптимизацию для распараллеливания в модуле pystruct и в обсуждениях, пытаясь объяснить, почему я хотел создавать экземпляры пулов как можно раньше при выполнении и поддерживать их как можно дольше, повторно используя их, я...
1129 просмотров
schedule
01.07.2022
Многопроцессорность Python: объект передается по значению?
Я пробовал следующее:
from multiprocessing import Pool
def f(some_list):
some_list.append(4)
print 'Child process: new list = ' + str(some_list)
return True
if __name__ == '__main__':
my_list = [1, 2, 3]
pool =...
4222 просмотров
schedule
30.06.2023
Проверить, например, многопроцессорность Python.Connection?
Connection объекты создаются при открытии файла multiprocessing.Pipe . Однако неясно, как проверить, является ли объект экземпляром Connection .
В Python3 (3.4, 3.3,! 3.2) для обнаружения экземпляра Connection я могу сделать:
from...
989 просмотров
schedule
26.10.2022
Как использовать многопроцессорность Python для подготовки изображений для pygame
Я делаю приложение для слайд-шоу с эффектом панорамирования и масштабирования. Я использую пигейм.
Таким образом, основной дисплей работает со скоростью 30 кадров в секунду в реальном времени, и я не хочу, чтобы он зависал, когда ему нужно...
1065 просмотров
schedule
18.12.2022
Python: как поделиться недоступным для выбора объектом
Я выполняю многопроцессорную обработку, и мне нужно разделить экземпляр между двумя процессами. Я пытался использовать модуль многопроцессорности, чтобы попытаться выполнить это, но нет большой надежды поделиться чем-то, что, похоже, нельзя...
1388 просмотров
schedule
31.05.2022
Создание дочернего процесса в конструкторе
У меня есть класс, который создает новый процесс в конструкторе, как показано ниже.
class data_reader():
def __init__(self,paths_list,queue_limit = 1,parallel = True):
print 'data reader constructor'
self.paths = paths_list
self.count...
55 просмотров
schedule
29.04.2023
Базовая многопроцессорность с циклом while
Я новичок в пакете multiprocessing в python, и моя путаница, вероятно, будет легко проясниться для тех, кто знает больше. Я читал о параллелизме и искал другие вопросы, подобные этому, и ничего не нашел. (К вашему сведению, я НЕ хочу...
16798 просмотров
schedule
30.11.2022
Многопроцессорность Python. Пул игнорирует метод класса
Недавно я написал программу с классом для своего исследования и попытался распараллелить ее. Когда я использовал multiprocessing.Process Python 2.7 с JoinableQueue и управляемыми данными, моя программа в конечном итоге зависала с несуществующими...
3557 просмотров
schedule
16.01.2023
Как активно изменить текст в TextEdit
У меня возникли проблемы с активным обновлением поля TextEdit из PyQt. Я хочу создать приложение, которое будет загружать файлы по частям (новый поток для каждой части, загрузка параллельно) и обновлять текущий статус каждой части в текстовом поле,...
662 просмотров
schedule
01.04.2022
Python: многопроцессорная обработка вызова функции внутри цикла for, чтобы каждый вызов выполнялся независимо
У меня есть функция, которая шифрует число и сохраняет его в списке
encrypted = [[0]*10]*1000
def encrypt(i):
encrypted[i]=bin(i)[2:].zfill(10).decode('hex')
Выражение гораздо сложнее, чем это. Я просто привожу пример.
Теперь я...
1549 просмотров
schedule
08.04.2022
Как использовать многопроцессорность для извлечения ссылок с веб-страниц с помощью Beautiful Soup?
У меня есть список ссылок, и я создаю объект Beautiful Soup для каждой ссылки и очищаю все ссылки в тегах абзаца со страницы. Поскольку у меня есть сотни ссылок, которые я хотел бы очистить, один процесс займет больше времени, чем мне бы хотелось,...
687 просмотров
schedule
19.05.2024
Многопроцессорность в wxpython
У меня есть графический интерфейс с кнопками «ОК» и «Отмена», при нажатии на которые создаются дочерние потоки, в которых появляется диалоговое окно с сообщением «Нажата кнопка «ОК/Отмена». Теперь, когда я нажимаю кнопку «ОК», я хочу, чтобы дочерний...
553 просмотров
schedule
19.11.2022
Есть ли у multiprocessing.pool.imap вариант (например, звездная карта), который позволяет использовать несколько аргументов?
Я делаю некоторые вычисления для больших коллекций байтов. Процесс работает с кусками байтов. Я пытаюсь использовать параллельную обработку с использованием многопроцессорности для повышения производительности. Сначала я пытался использовать...
6422 просмотров
schedule
21.03.2023
