Datastax Cassandra驱动程序抛出CodecNotFoundException异常
以下是确切的异常：com.datastax.driver.core.exceptions.CodecNotFoundException: Codec not found for requested operation: [varchar <-> java.math.BigDecimal]...
如何从Spark UI中检索指标，例如输出大小和写入记录数？
在任务或作业完成后，我如何在控制台（Spark Shell或Spark Submit Job）上收集这些指标。 我们正在使用Spark从Mysql加载数据到Cassandra，数据量非常大（例如：约200 GB和600M行）。当任务完成后，我们想要验证Spark究竟处理了多少行？我们可以从S...
如何将流式数据集写入Cassandra？
我有一个Python流数据源DataFrame df，其中包含所有我想要放入一个Cassandra表格的数据，并且我想使用spark-cassandra-connector。我已经尝试过两种方法： df.write \ .format("org.apache.spark.sql.ca...
如何列出所有的Cassandra表
在cassandra数据库中有许多表格，其中包含名为user_id的列。user_id的值是指存储在用户表中的用户。由于一些用户被删除了，我想要删除所有包含名为user_id的列的孤立记录。 是否有一种方法可以使用CassandraSQLContext或任何其他内置方法或自定义过程列出所有表...
使用Spark DataFrames如何查询JSON数据列？
我有一个Cassandra表格，为了简单起见，它看起来像这样：key: text jsonData: text blobData: blob 我可以使用Spark和spark-cassandra-connector创建一个基本的数据框，方法如下：val df = sqlContext.read...
使用spark-cassandra连接器的saveToCassandra引发java.lang.ClassCastException
尝试保存数据到Cassandra（使用Scala）时，我遇到了以下异常： java.lang.ClassCastException: com.datastax.driver.core.DefaultResultSetFuture 无法转换为 com.google.common.ut...
当使用数据框架时，如何将限制谓词下推至Cassandra？
我有一个大的Cassandra表格。我想从Cassandra中仅加载50行。以下是代码： val ds = sparkSession.read .format("org.apache.spark.sql.cassandra") .options(Map("table"...
使用Spark Streaming从Cassandra读取数据
我在使用Spark Streaming从Cassandra读取数据时遇到了问题。 https://github.com/datastax/spark-cassandra-connector/blob/master/doc/8_streaming.md#reading-from-cassand...
Java.lang.NoClassDefFoundError: org/apache/spark/Logging 意思是：在Java中发生了类未定义错误，无法找到org/apache/spark/Logging类。
我一直收到以下错误。有人可以帮助我吗？ Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/Logging at java.lang.ClassLoader.defineClass1(...
如何在多节点Cassandra集群中设置Spark？
首先，我没有使用DSE Cassandra。我正在自己构建集群，并使用Microsoft Azure托管服务器。 我有一个2个节点的Cassandra集群，我已经成功地在单个节点上安装了Spark，但我找不到任何关于在多节点集群上设置它的在线资源。 这不是一个重复的问题：如何设置Spark...