Концентратор сообщений и Confluent Kafka Connect S3

У меня есть требование использовать сообщения из темы IBM MHub в IBM Object Storage.

Я заставил его работать с локальным сервером Kafka с плагином Confluent Kafka Connect S3 в качестве автономного рабочего для корзины и файла Amazon S3. Оба имели успех.

Если я настрою Confluent Kafka Connect S3 в качестве распределенного рабочего для кластера IBM MHub, я не получаю ошибок, но все равно сообщения не попадают в корзину Amazon S3. Я также пробовал файловый приемник, тоже не повезло.

Это вообще возможно?


message-hub
person Jarkko Turpeinen    schedule 19.09.2018    source источник
comment
Вы хотите отправить данные в IBM Object Storage или в AWS S3?   -  person Mickael Maison    schedule 19.09.2018
comment
В конце я хочу, чтобы они перешли в IBM Object Storage.   -  person Jarkko Turpeinen    schedule 20.09.2018

Ответы (2)


arrow_upward
0
arrow_downward

Вы можете попробовать использовать мост облачного хранилища объектов Message Hub (теперь известный как Event Streams): https://console.bluemix.net/docs/services/MessageHub/messagehub115.html#cloud_object_storage_bridge

Кажется, соответствует вашим требованиям?

person SimonGormley    schedule 19.09.2018
comment
Как вы, наверное, знаете, мосты Event Streams доступны только в рамках стандартного плана. Поэтому это исключенный вариант. Мы планируем это на плане MHub Enterprise. - person Jarkko Turpeinen; 20.09.2018

arrow_upward
0
arrow_downward

Источник: https://kafka.apache.org/documentation/#connect_running

Настроенные здесь параметры предназначены для производителей и потребителей, используемых Kafka Connect для доступа к темам конфигурации, смещения и статуса. Для настройки задач источника и приемника Kafka можно использовать одни и те же параметры, но с префиксом потребителя. и продюсер. соответственно. Единственный параметр, который наследуется от рабочей конфигурации, это bootstrap.servers, которого в большинстве случаев будет достаточно, так как один и тот же кластер часто используется для всех целей. Заметным исключением является защищенный кластер, который требует дополнительных параметров для разрешения подключений. Эти параметры необходимо настроить до трех раз в рабочей конфигурации: один раз для доступа к управлению, один раз для приемников Kafka и один раз для источников Kafka.

Таким образом, решение заключалось в добавлении дублирующей конфигурации с Consumer. префикс в рабочей конфигурации, чтобы требуемые настройки sasl_ssl имели место вместо значений по умолчанию на потребителе приемника.

IBM Cloud Object Storage также работает. Требуются учетные данные, например. env vars: AWS_ACCESS_KEY_ID="см. учетные данные cos" и AWS_SECRET_ACCESS_KEY="см. учетные данные cos"

Конфигурация коннектора:

{
"name": "s3-sink",
"config": {
    "connector.class": "io.confluent.connect.s3.S3SinkConnector",
    "tasks.max": "5",
    "topics": "your-topic",
    "s3.region": "eu-central-1",
    "store.url": "https://s3.eu-geo.objectstorage.softlayer.net",
    "s3.bucket.name": "your-bucket",
    "s3.part.size": "5242880",
    "flush.size": "1",
    "storage.class": "io.confluent.connect.s3.storage.S3Storage",
    "format.class": "io.confluent.connect.s3.format.json.JsonFormat",
    "partitioner.class": "io.confluent.connect.storage.partitioner.DefaultPartitioner",
    "schema.compatibility": "NONE",
    "name": "s3-sink"
}

}

person Jarkko Turpeinen    schedule 20.09.2018