SSL между Kafka и Spark

Мы используем Kafka, Spark Streaming и загружаем данные в Cassandra.

Необходимо реализовать уровень безопасности между узлами, на которых работает kafka, и узлами, на которых работает искра.

Любое руководство по реализации SSL между узлами kafka и spark?

Спасибо, Шрини.


apache-kafka spark-cassandra-connector
person Srini Sydney    schedule 10.06.2016    source источник
comment
Использование KafkaUtils.createDirectStream, которое присутствует в клиентском API Kafka 0.8.   -  person Srini Sydney    schedule 10.06.2016
comment
Ссылка — issues.apache.org/jira/browse/SPARK-15089   -  person Srini Sydney    schedule 10.06.2016
comment
Кассандра евангелисты, какие-нибудь обновления?   -  person Srini Sydney    schedule 13.06.2016
comment
Я надеюсь, что Spark запускает какой-либо потребитель для извлечения данных перед загрузкой в ​​Cassandra. Вы можете использовать Kafka SSL/ACL по приведенным ниже ссылкам confluent.io/blog/ и github.com/Symantec/kafka-security-0.9   -  person supermonk    schedule 19.06.2016
comment
спасибо .. я знаю, что kafka 0.9 поддерживает SSL, но spark не поддерживает SSL с kafka. kafka 0.8 может работать со искрой, но нам нужен ssl, чтобы получить эту интеграцию в производство   -  person Srini Sydney    schedule 20.06.2016
comment
Привет, Шрини, ты нашел какой-нибудь обходной путь для этого? Я также использую Spark 1.4.1 и Kafka 0.9.0.0 и хочу включить SSL, возможно ли это?   -  person Suresh    schedule 25.10.2016