Вопросы по теме 'spark-cassandra-connector'
Почему Apache Spark выполняет фильтры на клиенте
Будучи новичком в Apache Spark, столкнулся с проблемой при получении данных Cassandra в Spark.
List<String> dates = Arrays.asList("2015-01-21","2015-01-22");
CassandraJavaRDD<A> aRDD = CassandraJavaUtil.javaFunctions(sc)....
1266 просмотров
schedule
13.11.2022
Cassandra Reading Benchmark с Spark
Я проверяю производительность Кассандры в чтении. На этапе тестовой настройки я создал кластер с 1/2/4 экземплярами ec2 и узлами данных. Я написал 1 таблицу со 100 миллионами записей (CSV-файл ~ 3 ГБ). Затем я запускаю приложение Spark, которое...
906 просмотров
schedule
01.10.2022
Apache Spark занимает от 5 до 6 минут для простого подсчета 1 миллиарда строк от Cassandra.
Я использую разъем Spark Cassandra. Для получения данных из таблицы Cassandra требуется 5-6 минут. В Spark я видел много задач и Executor в журнале. Причина может быть в том, что Spark разделил процесс на множество задач!
Ниже приведен пример...
3130 просмотров
schedule
30.06.2022
Рассчитывайте на то, что RDD даст разные результаты
У меня есть RDD с более чем 75 миллионами строк, и когда я вызываю на нем функцию count , я каждый раз получаю разные числа. Насколько я понимаю, счет должен давать точное число.
Изменить
Просто чтобы дать представление о данных, структура...
747 просмотров
schedule
04.07.2023
Экранирующие символы в динамическом списке
Я хотел бы экранировать символы в динамическом списке, используемом при создании класса case.
case class Profile(biography: String,
userid: String,
creationdate: String) extends Serializable
object Profile {...
114 просмотров
schedule
30.09.2022
Как контролировать количество задач Spark при записи в Cassandra
Использование искры на мезо с помощью kafka и cassandra (таким образом, spark-cassandra-connector) с потоковой передачей искры я слушаю тему kafka, а затем вставляю в cassandra с помощью .saveToCassandra
У меня есть 60 процессоров, выделенных для...
124 просмотров
schedule
02.11.2022
Проблемы в Cassandra Spark Connector через облако Google
В настоящее время я развернул узлы для Spark и Cassandra в облаке Google. В то время как DataStax Spark Cassandra Connector в значительной степени работает нормально локально. Выдает ошибки при подключении при попытке сделать то же самое в облаке...
234 просмотров
schedule
25.03.2022
Ошибка сборки Spark-Cassandra-Connectror sbt: дедупликация: другое содержимое файла найдено в следующем
У меня проблема с запуском sbt/sbt assembly внутри spark-cassandra-connector :
java.lang.RuntimeException: deduplicate: different file contents found in the following:...
874 просмотров
schedule
21.07.2023
java.io.InvalidClassException: org.apache.spark.sql.types.TimestampType и java.lang.UnsupportedOperationException: конец пустого списка
Я использую кадры данных Spark для запроса Cassandra, выполняю некоторую обработку и сохраняю результаты обратно в Cassandra. Я использую Datastax Enterprise 4.8.3 и делаю искровую отправку. Я получаю следующую ошибку, но не каждый раз....
1000 просмотров
schedule
22.08.2022
Запрос таблицы Cassandra через Spark
Я пытаюсь получить значения из таблицы Cassandra 2.0.17 через spark-1.6.0 и scala-2.11.7, выполнив следующие действия.
Запущена cassandra -- запуск службы cassandra
Запустил искру -- sbin/start-all.sh
заявленная искра scala -- bin/spark-shell...
762 просмотров
schedule
25.04.2023
Ошибка импорта для модуля Datastax Spark Cassandra Connector
Я попытался запустить искровую оболочку Python, используя следующую команду:
bin/pyspark --packages datastax:spark-cassandra-connector:1.5.0-RC1-s_2.11,org.apache.spark:spark-streaming-kafka_2.10:1.6.0
Вывод следующей команды показывает, что...
621 просмотров
schedule
06.02.2023
Spark Job не может подключиться к Cassandra
Я пытаюсь подключиться к Cassandra с помощью разъема Cassandra для Spark, задание spark выполняется на EMR.
Ниже мой код
public class SparkCassandraDriver implements Serializable {
private transient SparkConf conf;
private...
795 просмотров
schedule
25.07.2023
Ошибка при запуске Cassandra из Spark в Java — NoClassDefFoundError на org.apache.spark.sql.catalyst
Я использую Cassandra 3.0.3, Spark 1.6.0 и пытаюсь запустить, комбинируя код из старой документации в http://www.datastax.com/dev/blog/accessing-cassandra-from-spark.-in-java и новый в...
4859 просмотров
schedule
24.06.2023
разъем spark-cassandra в локальном режиме дает кластеру Spark взгляд вниз
Я очень новичок в искре и кассандре. Я пробую простую программу Java, в которой я пытаюсь добавить новые строки в таблицу cassandra, используя разъем spark-cassandra, предоставленный datastax.
Я запускаю dse на своем ноутбуке. Используя java, я...
74 просмотров
schedule
03.03.2023
Соединитель Spark cassandra в Python
Мне нужно подключить мой автономный Spark к моему экземпляру Cassandra в python. Я загрузил искру Apache с веб-сайта Apache , распаковал и создал его следующим образом:
tar -xvf spark-1.4.1.tgz
sbt/sbt assembly
Я добавил обновленный файл...
3269 просмотров
schedule
02.05.2023
SQL-запрос к бережливому серверу кластера spark-cassandra не возвращается
У меня настроен кластер spark-cassandra. cqlsh работает нормально. Я запустил thriftserver и подключился к нему через командную строку beeline. я могу сделать
use schemaname
show schemas
show tables
но простой
select * from tablename...
111 просмотров
schedule
25.02.2023
SSL между Kafka и Spark
Мы используем Kafka, Spark Streaming и загружаем данные в Cassandra.
Необходимо реализовать уровень безопасности между узлами, на которых работает kafka, и узлами, на которых работает искра.
Любое руководство по реализации SSL между узлами kafka...
861 просмотров
schedule
19.02.2024
Коннектор Spark Cassandra: SQLContext.read + SQLContext.write против ручного синтаксического анализа и вставки (JSON - ›Cassandra)
Доброе утро,
я только начал исследовать Apache Spark и Apache Cassandra. Первый шаг - это очень простой вариант использования: взять файл, содержащий, например, клиент + оценка.
Таблица Cassandra имеет клиента как PrimaryKey. Кассандра просто...
326 просмотров
schedule
22.08.2023
Соединитель искры Кассандры
Моя cassandra CF имеет дату и идентификатор в качестве ключа раздела. при запросе я знаю только дату, поэтому я перебираю диапазон идентификаторов.
Мой вопрос вращается вокруг того, как соединитель выполняет следующий код.
Код SparkDriver...
112 просмотров
schedule
04.06.2022
Как сохранить org.apache.spark.mllib.linalg.Vector в кадре данных для cassandra
У меня есть требование сохранить фрейм данных, который содержит org.apache.spark.mllib.linalg.Vector в одном из столбцов. При создании таблицы в cassandra из фрейма данных возникает ошибка.
java.lang.Exception: Cassandra Writer Failed....
425 просмотров
schedule
03.03.2023
