Как управлять окном переднего плана между процессами?

Вы не можете установить окно переднего плана в основную основную форму, потому что оно отключено. Он отключен, потому что вы показываете модальную форму, владельцем которой является эта основная форма.

Очевидное решение состоит в том, чтобы установить окно переднего плана в качестве модальной формы, а не основной формы. Поскольку ваше подчиненное приложение, по-видимому, не может легко узнать, какое окно активно, вам следует переработать свой IPC, чтобы подчиненное приложение могло запрашивать главное приложение, какое окно активно, а затем сделать это окно переднего плана.

Более элегантным решением было бы позволить главному приложению вызывать SetForegroundWindow. На самом деле было бы проще просто вызвать Application.BringToFront из главного процесса. Конечно, ведомый процесс все равно должен отправить сообщение ведущему, чтобы вызвать это. Последняя часть головоломки связана с ограничениями на кражу фокуса, но вы можете сделать это с помощью AllowSetForegroundWindow. Вам нужно, чтобы ваш подчиненный процесс вызывал это, передавая идентификатор главного процесса.

Чтобы решить вашу проблему, я бы не стал вызывать SetForegroundWindow из подчиненного приложения, а вместо этого отправил бы пользовательское сообщение активации в главное приложение. В этом сообщении вы можете передать нужный дескриптор в WParam или LParam. Главное приложение само может определить, может ли оно активировать этот дескриптор или вместо этого нужно активировать модальную форму. Вы возлагаете ответственность за активацию нужного окна на само приложение.

PS: вам не нужно WM_COPYDATA для отправки дескриптора. Вы можете просто передать в WParam или LParam любое сообщение, которое вы составили. Это касается дескриптора, отправляемого обратно, как я объяснял выше, а также дескриптора, который отправляется подчиненному в первую очередь.