Tag-spark

2015-07-16 05:43:00

解决Spark 1.4.1中SUM为null的列返回0的问题

常规的SQL中，执行SUM函数时，如果一列全为null，那么SUM应该返回null，不过在Spark 1.4.0 ~ 1.4.1版本中（目前的最新版本），SUM为null的列返回0，Spark 1.3.x中没有这个问题，我在Spark社区提过这个问题，给的解释是为了规避Hive的一个问题，估计要在Spark 1.5的版本中才能解决。 ## 解决方案修改`sql/catalyst/src 阅读全文...

2015-07-09 09:21:21

解决SparkSQL 1.3 ~ 1.4 saveAsTable默认保存到default数据的问题

在Spark1.3~1.4.0的版本中，在SparkSQL中使用HiveContext的DataFrame的saveAsTable方法时，数据表默认保存到了default数据库中。相关文件为：spark/sql/hive/src/main/scala/org/apache/spark/sql/hive/HiveMetastoreCatalog.scala 134行开始的一段代码有问题，如下：阅读全文...

2015-05-10 02:45:33

解决Spark集群重复出现SparkDeploySchedulerBackend: Asked to remove non-existent executor的问题

直接切入正题，spark版本1.3.1，出现这个问题的原因是因为spark上执行的任务异常终止导致的。我碰到这个问题是因为hive的metastore出现了故障导致很多任务失败了，然后重启spark后，将应用到部署到集群上运行会应用端重复出现这样的错误： ``` ERROR 15/05/09 19:04:08 SparkDeploySchedulerBackend: Asked to rem 阅读全文...

2015-01-19 12:00:13

Spark中使用UDF遇到的一个奇怪的问题

代码没有任何问题，注册UDF也没有任何问题，使用方法也没有错误，运行时出现以下错误： ``` org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 ( 阅读全文...

2015-01-17 12:49:40

Spark Application日志输出的问题

在本机开发的Spark Application，如果用到了log4j作为日志记录组件，本机调试时，日志输出都是正常的，如果部署到Spark集群上，你会发现日志不输出了，即便是应用log4j.properties文件。原因是Spark本身就是用的log4j来记录日志的，他的配置位于`{SPARK_HOME}/conf/log4j.properties`下，默认的配置如下： ``` log4j. 阅读全文...

2015-01-01 11:08:19

Spark 1.0.0的代码行数分布

从网上发现一张关于Spark1.0.0的代码行数分布图，感觉比较有意思，学习Spark源码时可以做个参考： ![](/api/file/getImage?fileId=5ab5b926ba8bc2481f000047) 阅读全文...

2014-12-30 08:30:19

Spark单节点提交多个Application的问题

所有的Spark Application都有一个SparkContext，SparkContext内置一个WebUI用来跟踪任务执行的细节。 WebUI默认的端口号为4040。如果在同一个节点上已经有一个Spark Application正在运行了，那么在运行的时候会出现端口冲突的问题： ``` 14/12/30 15:28:05 WARN AbstractLifeCycle: FAILE 阅读全文...

2014-12-30 06:14:33

spark-cassandra提交应用涉及的jar

最近使用cassandra作为spark的数据源，开发应用，提交代码到集群是遇到点小坎坷。使用的spark-cassandra-connector版本为1.1.0 将代码写完提交集群时，同时需要将spark-cassandra-connector相关的jar也提交到集群才能保证正确运行。 spark相关的jar因为classpath中已经包含了，不必指定。 spark-submit的写法阅读全文...