Cassandra批量加载 - NoHostAvailableException

Question

3

我们正在使用Spark SQL和Cassandra对海量数据进行每小时聚合。我们开发了一个Java客户端，每小时运行一次，使用Spark SQL进行聚合。对于历史负载，当我们对10天（240小时）的数据运行此程序时，在处理约100个小时后，Cassandra会出现以下错误：

``` com.datastax.driver.core.exceptions.NoHostAvailableException: All host(s) tried for query failed (no host was tried) ```

是什么导致了Cassandra的失败？

- user1261215

你正在使用什么版本的Spark连接器/Datastax Java驱动程序？ - Andy Tolbert

我们正在使用 spark-cassandra connector 1.2.0-rc3 jar。Spark 版本是 1.2.1，Cassandra 版本是 2.0.13。 - user1261215

请参考Russ的帖子http://stackoverflow.com/questions/27058355/datastax-enterprise-savetocassandra-generate-a-lot-of-hinted-handoff。 - phact

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- user1261215 · Accepted Answer

在配置"spark.cassandra.read.timeout_ms"和"spark.cassandra.connection.timeout_ms"的更高值之后，此问题得到解决。