Как поймать сигнал С++ в обработчике сигналов QML после регистрации типа?

Я думаю, что ваш код должен работать хорошо.

У меня нет всего кода, поэтому я не знаю, реализованы ли у вас правильные методы.

Чтобы получить сигнал с помощью qmlRegisterType, вам потребуются некоторые требования. Проверьте, реализован ли у вас вызов макроса Q_PROPERTY. Любое свойство, доступное для записи, должно иметь связанный с ним сигнал NOTIFY, который выдается всякий раз, когда значение свойства изменяется.

Если да, то при изменении свойства color в компоненте SetMessage должен срабатывать сигнал onColorChanged.

Здесь у вас есть пример, где испускаются два сигнала: первый, когда обновляется свойство size, и второй, если метод C++ mouseClick вызывается с использованием MouseArea.

Кстати, вам не нужно setContextProperty для интеграции вашего класса C++ с QML. qmlRegisterType должно быть достаточно. Или наоборот, в зависимости от ваших потребностей. Вы можете использовать оба, но тогда у вас будет два разных объекта для работы. Это действительно зависит от того, чего вы хотите достичь.

main.cpp

#include <QGuiApplication>
#include <QQmlApplicationEngine>
#include <QtQml>
#include "customitem.h"

int main(int argc, char *argv[])
{
    QGuiApplication app(argc, argv);
    qmlRegisterType<CustomItem>("CustomItem", 1,0, "CustomItem");

    QQmlApplicationEngine engine;
    engine.load(QUrl(QStringLiteral("qrc:/main.qml")));

    return app.exec();
}

customitem.h

#ifndef CUSTOMITEM_H
#define CUSTOMITEM_H

#include <QObject>

class CustomItem: public QObject
{
    Q_OBJECT

    /*
     * Any property that is writable should have an associated NOTIFY signal.
     * Ref: http://doc.qt.io/qt-5/qtqml-cppintegration-exposecppattributes.html#exposing-properties
     */

    Q_PROPERTY(int size READ size WRITE setSize NOTIFY sizeChanged)

public:
    CustomItem(QObject *parent = 0);

    int size() const;
    void setSize(int);

    Q_INVOKABLE void mouseClick();

private:
    int m_size;

signals:
    void sizeChanged(int size);
    void clicked();

public slots:
};

#endif // CUSTOMITEM_H

customitem.cpp

#include "customitem.h"
#include <QDebug>

CustomItem::CustomItem(QObject *parent)
: QObject(parent), m_size(0)
{
}

int CustomItem::size() const
{
    return m_size;
}

void CustomItem::setSize(int size)
{
    m_size = size;
    emit sizeChanged(m_size);
}

void CustomItem::mouseClick()
{
    qDebug() << "CustomItem::mouseClick()";

    emit clicked();
}

main.qml

import QtQuick 2.5
import QtQuick.Window 2.2
import CustomItem 1.0

Window {
    visible: true

    TextInput  {
        id: mySize
        x: 0
        y: 0
        text: "100"
    }

    CustomItem {
        id: customItem
        size: mySize.text

        onSizeChanged: console.log("size changed:", size)
        onClicked: console.log("onClicked!")
    }

    Rectangle {
        id: rect
        x: 50
        y: 50
        width: customItem.size
        height: customItem.size
        color: "red"

        MouseArea {
            anchors.fill: parent
            onClicked: { customItem.mouseClick() }
        }
    }
}

Поскольку вы используете два разных экземпляра вашего MessageSetter, один — data в main.cpp, а другой — новый экземпляр SetMessage. Используйте только один для подключения обоих сигналов/слотов.

Вы ожидаете сигнал onColorChanged от SetMessage, но сигнал поступает от data (в main.cpp).

Зачем вам нужен экземпляр, если вы хотите создать свойство контекста?

Добавьте это в свой файл main.qml

Connections {
  target: msgSetter
  onColorChanged: {
   console.log("received color changed signal"); 
  }
}