Установка меньшего размера буфера для sys.stdin?

Вы можете полностью удалить буферизацию из stdin / stdout, используя флаг python -u:

-u     : unbuffered binary stdout and stderr (also PYTHONUNBUFFERED=x)
         see man page for details on internal buffering relating to '-u'

и на странице руководства поясняется:

   -u     Force stdin, stdout and stderr to  be  totally  unbuffered.   On
          systems  where  it matters, also put stdin, stdout and stderr in
          binary mode.  Note that there is internal  buffering  in  xread-
          lines(),  readlines()  and  file-object  iterators ("for line in
          sys.stdin") which is not influenced by  this  option.   To  work
          around  this, you will want to use "sys.stdin.readline()" inside
          a "while 1:" loop.

Помимо этого, изменение буферизации для существующего файла не поддерживается, но вы можете создать новый файловый объект с тем же базовым дескриптором файла, что и существующий, и, возможно, с другой буферизацией, используя os.fdopen. Т.е.,

import os
import sys
newin = os.fdopen(sys.stdin.fileno(), 'r', 100)

должен привязать newin к имени файлового объекта, который читает тот же FD, что и стандартный ввод, но буферизируется только примерно 100 байтами за раз (и вы можете продолжить с sys.stdin = newin, чтобы использовать новый файловый объект как стандартный ввод оттуда и далее). Я говорю "следует", потому что в этой области раньше был ряд ошибок и проблем на некоторых платформах (довольно сложно обеспечить кроссплатформенность с полной универсальностью) - я не уверен, в чем ее состояние сейчас, но я определенно рекомендую провести тщательное тестирование на всех интересующих платформах, чтобы убедиться, что все идет гладко. (-u, полное удаление буферизации, должно работать с меньшим количеством проблем на всех платформах, если это может соответствовать вашим требованиям).

Вы можете просто использовать sys.stdin.readline() вместо sys.stdin.__iter__():

import sys

while True:
    line = sys.stdin.readline()
    if not line: break # EOF

    sys.stdout.write('> ' + line.upper())

Это дает мне чтение с линейной буферизацией с использованием Python 2.7.4 и Python 3.3.1 в Ubuntu 13.04.

sys.stdin.__iter__ по-прежнему буферизуется по строкам, и можно иметь итератор, который ведет себя в основном идентично (останавливается на EOF, тогда как stdin.__iter__ не будет), используя форма с двумя аргументами iter для создания итератора sys.stdin.readline:

import sys

for line in iter(sys.stdin.readline, ''):
    sys.stdout.write('> ' + line.upper())

Или укажите None в качестве дозорного (но учтите, что тогда вам нужно обработать условие EOF самостоятельно).

Это сработало для меня в Python 3.4.3:

import os
import sys

unbuffered_stdin = os.fdopen(sys.stdin.fileno(), 'rb', buffering=0)

В документации для fdopen() говорится, что это просто псевдоним для open().

open() имеет необязательный параметр buffering:

buffering - необязательное целое число, используемое для установки политики буферизации. Передайте 0, чтобы отключить буферизацию (разрешено только в двоичном режиме), 1, чтобы выбрать буферизацию строки (можно использовать только в текстовом режиме), и целое число> 1, чтобы указать размер в байтах буфера фрагментов фиксированного размера.

Другими словами:

• Полностью небуферизованный стандартный ввод требует двоичного режима и передачи нуля в качестве размера буфера.
• Буферизация строки требует текстового режима.
• Кажется, что любой другой размер буфера работает как в двоичном, так и в текстовом режимах (согласно документации).

Возможно, ваши проблемы связаны не с Python, а с буферизацией, которую оболочка Linux вводит при объединении команд с конвейерами. Когда это проблема, входной сигнал буферизуется не по строкам, а по блокам 4K.

Чтобы остановить эту буферизацию, перед цепочкой команд введите команду unbuffer из пакета expect, например:

unbuffer memcached -vv 2>&1 | unbuffer -p tee memkeywatch2010098.log 2>&1 | unbuffer -p ~/bin/memtracer.py | tee memkeywatchCounts20100908.log

Команде unbuffer требуется опция -p при использовании в середине конвейера.

Единственный способ сделать это с помощью python 2.7:

tty.setcbreak(sys.stdin.fileno())

из неблокирующего ввода консоли Python. Это полностью отключит буферизацию, а также подавит эхо.

РЕДАКТИРОВАТЬ: Что касается ответа Алекса, первое предложение (вызов python с -u) невозможно в моем случае (см. ограничение shebang).

Второе предложение (дублирование fd с меньшим буфером: os.fdopen(sys.stdin.fileno(), 'r', 100)) не работает, когда я использую буфер 0 или 1, как и для интерактивного ввода, и мне нужно, чтобы каждый нажатый символ обрабатывался немедленно.