Как мне получить информацию в реальном времени из подпроцесса. Открыть в python (2.5)

Обновление с кодом, который, похоже, не работает (в любом случае в Windows)

class ThreadWorker(threading.Thread):
    def __init__(self, callable, *args, **kwargs):
        super(ThreadWorker, self).__init__()
        self.callable = callable
        self.args = args
        self.kwargs = kwargs
        self.setDaemon(True)

    def run(self):
        try:
            self.callable(*self.args, **self.kwargs)
        except wx.PyDeadObjectError:
            pass
        except Exception, e:
            print e



if __name__ == "__main__":
    import os
    from subprocess import Popen, PIPE

    def worker(pipe):
        while True:
            line = pipe.readline()
            if line == '': break
            else: print line

    proc = Popen("python subprocess_test.py", shell=True, stdin=PIPE, stdout=PIPE, stderr=PIPE)

    stdout_worker = ThreadWorker(worker, proc.stdout)
    stderr_worker = ThreadWorker(worker, proc.stderr)
    stdout_worker.start()
    stderr_worker.start()
    while True: pass

stdout будет буферизован, поэтому вы ничего не получите, пока этот буфер не будет заполнен или пока подпроцесс не завершится.

Вы можете попробовать очистить stdout из подпроцесса, использовать stderr или изменить stdout в небуферизованном режиме.

Похоже, проблема может заключаться в использовании буферизованного вывода подпроцессом - если создается относительно небольшой объем вывода, он может буферизоваться до тех пор, пока подпроцесс не завершится. Некоторую предысторию можно найти здесь:

Вот что у меня сработало:

cmd = ["./tester_script.bash"]
p = subprocess.Popen( cmd, shell=False, stdout=subprocess.PIPE, stderr=subprocess.PIPE )
while p.poll() is None:
    out = p.stdout.readline()
    do_something_with( out, err )

В вашем случае вы можете попытаться передать ссылку на подпроцесс своему рабочему потоку и провести опрос внутри потока. Я не знаю, как это будет вести себя, когда два потока опрашивают (и взаимодействуют) с одним и тем же подпроцессом, но это может сработать.

Также обратите внимание, что while p.poll() is None: предназначен как есть. Не заменяйте его на while not p.poll(), так как в python 0 (код возврата для успешного завершения) также считается False.

Я тоже столкнулся с этой проблемой. Проблема возникает из-за того, что вы также пытаетесь прочитать stderr. Если ошибок нет, попытка чтения из stderr будет заблокирована.

В Windows нет простого способа опроса файловых дескрипторов poll () (только сокеты Winsock).

Таким образом, решение - не пытаться читать из stderr.

Использование pexpect [http://www.noah.org/wiki/Pexpect] с не -блокирование строк чтения решит эту проблему. Это связано с тем, что каналы буферизуются, и поэтому вывод вашего приложения буферизуется каналом, поэтому вы не можете добраться до этого вывода, пока буфер не заполнится или процесс не завершится.

Похоже, это хорошо известное ограничение Python, см. PEP 3145 и, возможно, другие.

Прочтите по одному символу за раз: http://blog.thelinuxkid.com/2013/06/get-python-subprocess-output-without.html

import contextlib
import subprocess

# Unix, Windows and old Macintosh end-of-line
newlines = ['\n', '\r\n', '\r']
def unbuffered(proc, stream='stdout'):
    stream = getattr(proc, stream)
    with contextlib.closing(stream):
        while True:
            out = []
            last = stream.read(1)
            # Don't loop forever
            if last == '' and proc.poll() is not None:
                break
            while last not in newlines:
                # Don't loop forever
                if last == '' and proc.poll() is not None:
                    break
                out.append(last)
                last = stream.read(1)
            out = ''.join(out)
            yield out

def example():
    cmd = ['ls', '-l', '/']
    proc = subprocess.Popen(
        cmd,
        stdout=subprocess.PIPE,
        stderr=subprocess.STDOUT,
        # Make all end-of-lines '\n'
        universal_newlines=True,
    )
    for line in unbuffered(proc):
        print line

example()

Используя subprocess.Popen, я могу запустить .exe одного из моих проектов C # и перенаправить вывод в мой файл Python. Теперь я могу print() всю информацию, выводимую на консоль C # (используя Console.WriteLine()), на консоль Python.

Код Python:

from subprocess import Popen, PIPE, STDOUT

p = Popen('ConsoleDataImporter.exe', stdout = PIPE, stderr = STDOUT, shell = True)

while True:
    line = p.stdout.readline()
    print(line)
    if not line:
        break

Он получает консольный вывод моего проекта .NET построчно по мере его создания и выходит из цикла while при завершении проекта. Я предполагаю, что это сработает и для двух файлов Python.

Я использовал для этого модуль pexpect, похоже, он работает нормально. http://sourceforge.net/projects/pexpect/