Невозможно рисовать на пользовательской оконной раме с DWM

Класс окна не имеет курсора по умолчанию, он будет показывать неправильные курсоры при перемещении мыши. Измените wc на

WNDCLASS wc{ CS_HREDRAW | CS_VREDRAW, WndProc, 0, 0, hinstance, 0, 
    LoadCursor(NULL, IDC_ARROW), 
    reinterpret_cast<HBRUSH>(GetStockObject(BLACK_BRUSH)), 0, L"CustWnd" };

WM_NCHITTEST также следует обрабатывать, иначе строка заголовка не будет захватываться. Лучше рассчитать толщину границы на основе стиля Windows или оставить ее равной static, потому что она будет необходима на протяжении всей процедуры, как и высота строки заголовка.

Обратите внимание, что этот код будет сильно отличаться в Windows 10 от окна 7, которое имеет странную прозрачную строку заголовка, вам понадобится 32-битное растровое изображение с альфа-каналом для рисования в строке заголовка. Или используйте буферную краску с BufferedPaintSetAlpha, как показано ниже.

#include <Windows.h> 
#include <Windowsx.h> //for `GET_X_LPARAM` etc.
...
LRESULT CALLBACK WndProc(HWND hWnd, UINT msg, WPARAM wParam, LPARAM lParam)
{
    static int cy_titlebar_ = 100;
    static RECT border_thickness;

    LRESULT result;
    if(DwmDefWindowProc(hWnd, msg, wParam, lParam, &result))
        return result;

    switch(msg)
    {
    case WM_CREATE:
    {
        //find border thickness
        border_thickness = { 0 };
        if(GetWindowLongPtr(hWnd, GWL_STYLE) & WS_THICKFRAME)
        {
            AdjustWindowRectEx(&border_thickness,
                GetWindowLongPtr(hWnd, GWL_STYLE) & ~WS_CAPTION, FALSE, NULL);
            border_thickness.left *= -1;
            border_thickness.top *= -1;
        }
        else if(GetWindowLongPtr(hWnd, GWL_STYLE) & WS_BORDER)
        {
            border_thickness = { 1,1,1,1 };
        }

        MARGINS margins = { 0, 0, cy_titlebar_, 0 };
        DwmExtendFrameIntoClientArea(hWnd, &margins);
        SetWindowPos(hWnd, NULL, 0, 0, 0, 0, 
                    SWP_SHOWWINDOW | SWP_NOMOVE | SWP_NOSIZE | SWP_FRAMECHANGED);
        return 0;
    }

    case WM_NCCALCSIZE:
    {
        if(wParam)
        {
            RECT& r = reinterpret_cast<LPNCCALCSIZE_PARAMS>(lParam)->rgrc[0];
            r.left += border_thickness.left;
            r.right -= border_thickness.right;
            r.bottom -= border_thickness.bottom;
            return 0;
        }
        break;
    }

    case WM_NCHITTEST:
    {
        result = DefWindowProc(hWnd, msg, wParam, lParam);
        if(result == HTCLIENT)
        {
            POINT pt = { GET_X_LPARAM(lParam), GET_Y_LPARAM(lParam) };
            ScreenToClient(hWnd, &pt);
            if(pt.y < border_thickness.top) return HTTOP;
            if(pt.y < cy_titlebar_)  return HTCAPTION;
        }
        return result;
    }

    case WM_PAINT:
    {
        PAINTSTRUCT ps;
        auto hdc = BeginPaint(hWnd, &ps);

        //paint opaque:
        RECT rc{ 0, 0, 100, cy_titlebar_ };
        BP_PAINTPARAMS params = { sizeof(params), BPPF_NOCLIP | BPPF_ERASE };
        HDC memdc;
        HPAINTBUFFER hbuffer = BeginBufferedPaint(
                    hdc, &rc, BPBF_TOPDOWNDIB, &params, &memdc);

        auto brush = CreateSolidBrush(RGB(255, 0, 0));
        FillRect(memdc, &rc, brush);
        DeleteObject(brush);

        SetBkMode(memdc, TRANSPARENT);
        DrawText(memdc, L"Opaque", -1, &rc, 0);
        BufferedPaintSetAlpha(hbuffer, &rc, 255);
        EndBufferedPaint(hbuffer, TRUE);

        EndPaint(hWnd, &ps);
        return 0;
    }

    case WM_DESTROY:
        PostQuitMessage(0);
        return 0;
    }

    return DefWindowProc(hWnd, msg, wParam, lParam);
}