SQL-запрос к бережливому серверу кластера spark-cassandra не возвращается

У меня настроен кластер spark-cassandra. cqlsh работает нормально. Я запустил thriftserver и подключился к нему через командную строку beeline. я могу сделать

use schemaname
show schemas
show tables

но простой

select * from tablename

Застревает.

Я попробовал java-клиент, проходящий через интерфейс jdbc:hive2, он показывает такое же поведение. Хорошие результаты на таблицах show, но нет возврата на простом операторе select.

Консоль искры показывает все задания без каких-либо признаков жалобы. задание зависло на этапе компиляции.

Кто-нибудь знает, как диагностировать это глубже?


hive jdbc spark-cassandra-connector thrift beeline
person bhomass    schedule 02.05.2016    source источник

Ответы (2)


arrow_upward
0
arrow_downward

создать временную таблицу в sql для таблицы cassandra. как следующий способ

scala> sqlContext.sql(
   """CREATE TEMPORARY TABLE words
     |USING org.apache.spark.sql.cassandra
     |OPTIONS (
     |  table "words",
     |  keyspace "test",
     |  cluster "Test Cluster",
     |  pushdown "true"
     |)""".stripMargin)
scala> val df = sqlContext.sql("SELECT * FROM words")
scala> df.show()
person mahendra singh    schedule 03.05.2016

arrow_upward
0
arrow_downward

У меня с кодировкой все в порядке. Эта проблема решена. Это связано с тем, что эта настройка не проходит через пряжу, а первый экземпляр thriftserver загрузил все ядра в кластере. Я запустил sql для второго экземпляра thriftserver, в распоряжении которого 0 ядер.

person bhomass    schedule 04.05.2016