如何列出所有的Cassandra表
在cassandra数据库中有许多表格，其中包含名为user_id的列。user_id的值是指存储在用户表中的用户。由于一些用户被删除了，我想要删除所有包含名为user_id的列的孤立记录。 是否有一种方法可以使用CassandraSQLContext或任何其他内置方法或自定义过程列出所有表...
使用Spark DataFrames如何查询JSON数据列？
我有一个Cassandra表格，为了简单起见，它看起来像这样：key: text jsonData: text blobData: blob 我可以使用Spark和spark-cassandra-connector创建一个基本的数据框，方法如下：val df = sqlContext.read...
如何解决java.lang.ClassCastException：无法将scala.collection.immutable.List的实例分配给字段类型scala.collection.Seq？
这个错误是最难追踪的。我不确定发生了什么事情。我在我的本地机器上运行一个Spark集群。因此，整个Spark集群都在一个主机（127.0.0.1）下，我在独立模式下运行。JavaPairRDD<byte[], Iterable<CassandraRow>> cassan...
Scala反射异常： <none> 不是一个术语。
我在Spark中有以下代码:rdd .map(processFunction(_)) .saveToCassandra("keyspace", "tableName") 何处def processFunction(src: String): Seq[Any] = src match...
Java.lang.NoClassDefFoundError: org/apache/spark/Logging 意思是：在Java中发生了类未定义错误，无法找到org/apache/spark/Logging类。
我一直收到以下错误。有人可以帮助我吗？ Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/Logging at java.lang.ClassLoader.defineClass1(...
如何从Spark UI中检索指标，例如输出大小和写入记录数？
在任务或作业完成后，我如何在控制台（Spark Shell或Spark Submit Job）上收集这些指标。 我们正在使用Spark从Mysql加载数据到Cassandra，数据量非常大（例如：约200 GB和600M行）。当任务完成后，我们想要验证Spark究竟处理了多少行？我们可以从S...
使用Spark Streaming从Cassandra读取数据
我在使用Spark Streaming从Cassandra读取数据时遇到了问题。 https://github.com/datastax/spark-cassandra-connector/blob/master/doc/8_streaming.md#reading-from-cassand...
使用spark-shell时的Guava版本
我正在尝试在Dataproc上通过spark-shell使用spark-cassandra-connector，但是我无法连接到我的集群。似乎存在版本不匹配问题，因为classpath中包含来自其他地方的旧版guava版本，即使我在启动时指定了正确的版本也是如此。我怀疑这很可能是由于默认情况下...
Datastax Cassandra驱动程序抛出CodecNotFoundException异常
以下是确切的异常：com.datastax.driver.core.exceptions.CodecNotFoundException: Codec not found for requested operation: [varchar <-> java.math.BigDecimal]...
如何将流式数据集写入Cassandra？
我有一个Python流数据源DataFrame df，其中包含所有我想要放入一个Cassandra表格的数据，并且我想使用spark-cassandra-connector。我已经尝试过两种方法： df.write \ .format("org.apache.spark.sql.ca...