Поведение FreeConsole в Windows 8

проблема, вызванная тем, что предыдущие стандартные (не перенаправленные) консольные дескрипторы Windows 8 (которые возвращались GetStdHandle) были фактически псевдодескрипторами, значения которых не пересекаются с другими дескрипторами объектов ядра, поэтому запись в этот псевдодескриптор после того, как он был `` закрыт '' FreeConsole, всегда терпит неудачу . В Win8 MS что-то изменила внутри, поэтому GetStdHandle возвращает нормальный дескриптор объекта ядра, который относится к объекту драйвера консольной подсистемы (на самом деле этот драйвер также появился только в Win8). Итак, FreeConsole закрывает этот дескриптор. Самое забавное, что CRT выполняет GetStdHandle при запуске и сохраняет возвращаемое значение где-то внутри и использует везде, где используются вызываемые функции C, которые обращаются к std :: in / out / err. Поскольку FreeConsole закрыла этот дескриптор, и это больше не является специальным значением псевдодескриптора - одно и то же значение дескриптора может быть повторно использовано любым другим открытым дескриптором объекта ядра, и вам повезет, если это не будет файл, канал или сокет, потому что в этом случае все туда пойдет ваш отладочный выход :)

После дизассемблирования кода FreeConsole в разных версиях Windows я выяснил причину проблемы.

FreeConsole - на удивление непонятная функция! Я действительно закрываю для вас множество дескрипторов, даже если он не «владеет» этими дескрипторами (например, HANDLE, принадлежащие функциям stdio).

И поведение отличается в Windows 7 и 8 и снова изменилось в 10.

Придумывая решение, возникает дилемма:

• Как только stdio имеет HANDLE для консольного устройства, нет документированного способа заставить его отказаться от этого дескриптора без вызова CloseHandle. Вы можете вызвать close(1) или freopen(stdout) или что угодно, но если есть дескриптор открытого файла, который ссылается на консоль, на нем будет вызываться CloseHandle, если вы хотите переключить stdout на новый дескриптор NUL после FreeConsole.
• С другой стороны, начиная с Windows 10, также невозможно избежать вызова CloseHandle FreeConsole.
• Отладчик Visual Studio и средство проверки приложений помечают приложение для вызова CloseHandle для недопустимой HANDLE. И они правы, это действительно нехорошо.
• Итак, если вы попытаетесь «исправить» stdio перед вызовом FreeConsole, FreeConsole выполнит недопустимый CloseHandle (используя свой кэшированный дескриптор, и нет никакого способа сообщить ему, что дескриптор пропал - FreeConsole больше не проверяет GetStdHandle(STD_OUTPUT_HANDLE)). И, если вы сначала вызовете FreeConsole, нет способа исправить объекты stdio, не заставив их выполнить недопустимый вызов CloseHandle.

Путем исключения я прихожу к выводу, что единственное решение - использовать недокументированную функцию, если общедоступные просто не будут работать.

// The undocumented bit!
extern "C" int __cdecl _free_osfhnd(int const fh);
static HANDLE closeFdButNotHandle(int fd) {
  HANDLE h = (HANDLE)_get_osfhandle(fd);
  _free_osfhnd(fd); // Prevent CloseHandle happening in close()
  close(fd);
  return h;
}

static bool valid(HANDLE h) {
  SetLastError(0);
  return GetFileType(h) != FILE_TYPE_UNKNOWN || GetLastError() == 0;
}

static void openNull(int fd, DWORD flags) {
  int newFd;
  // Yet another Microsoft bug! (I've reported four in this code...)
  // They have confirmed a bug in dup2 in Visual Studio 2013, fixed
  // in Visual Studio 2017.  If dup2 is called with fd == newFd, the
  // CRT lock is corrupted, hence the check here before calling dup2.
  if (!_tsopen_s(&newFd, _T("NUL"), flags, _SH_DENYNO, 0) &&
      fd != newFd)
    dup2(newFd, fd);
  if (fd != newFd) close(newFd);
}

void doFreeConsole() {
  // stderr, stdin are similar - left to the reader.  You probably
  // also want to add code (as we have) to detect when the handle
  // is FILE_TYPE_DISK/FILE_TYPE_PIPE and leave the stdio FILE
  // alone if it's actually pointing to disk/pipe.
  HANDLE stdoutHandle = closeFdButNotHandle(fileno(stdout)); 

  FreeConsole(); // error checking left to the reader

  // If FreeConsole *didn't* close the handle then do so now.
  // Has a race condition, but all of this code does so hey.
  if (valid(stdoutHandle)) CloseHandle(stdoutHandle);

  openNull(stdoutRestore, _O_BINARY | _O_RDONLY);
}