Tag-spark

2017-01-14 17:11:02

自己动手为Spark 2.x添加ALTER TABLE ADD COLUMNS语法支持

SparkSQL从2.0开始已经不再支持`ALTER TABLE table_name ADD COLUMNS (col_name data_type [COMMENT col_comment], ...)`这种语法了（下文简称add columns语法）。如果你的Spark项目中用到了SparkSQL+Hive这种模式，从Spark1.x升级到2.x很有可能遇到这个问题。为了解决这个问题，我阅读全文...

2016-12-15 13:43:06

解决Spark读取Hive分区表出现Input path does not exist的问题

假设这里出错的表为test表。 ## 现象 Hive读取正常，不会报错，Spark读取就会出现： ``` org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://testcluster/user/hive/warehouse/.... ``` 在hive中执行`desc format 阅读全文...

2016-05-16 07:23:19

Spark+Hadoop集群性能调优

- Hadoop短路本地读（原理：unix domain socket），提高文件读取性能 - Hadoop的NameNode节点连接数设置要合理，设置hdfs-site.xml的dfs.namenode.handler.count配置，合理的连接值：`python -c 'import math ; print int(math.log(计算节点的数量) * 20)'` - Data Local 阅读全文...

2016-04-15 12:14:20

解决SBT运行时提示java.lang.OutOfMemoryError: PermGen space的问题

最近用sbt测试Spark的HiveContext总是出现`java.lang.OutOfMemoryError: PermGen space`的异常。 PermGen space是Java中常见的问题，进程堆的永久区空间不足了，一般直接配置`-XX:MaxPermSize=256M`就可以了。但是sbt会把他当做自己的参数处理，我们运行sbt时这么做就可以了：`sbt -J-XX:MaxP 阅读全文...

2016-03-17 10:12:00

Spark执行任务Locality Level总是为ANY的问题

总所周知，分布式计算系统为了保证性能都是移动计算而非移动数据，在Spark系统中执行任务也是遵循这个原则，RDD中有个preferredLocations记录了当前要处理的数据的最佳位置。Spark性能调优也有个关键因素即：Data Locality，具体可以参考：http://spark.apache.org/docs/latest/tuning.html#data-locality 最近在处阅读全文...

2015-12-11 02:57:49

使用Ganglia监控Spark

由于软件协议问题，Spark build默认不包含Ganglia的编译，使用Ganglia监控Spark首先需要重新编译Spark，将GangliaSink编译到Spark中。使用sbt编译时，加入 -Pspark-ganglia-lgpl ``` build/sbt -Pyarn -Phadoop-2.4 -Phive -Phive-thriftserver -Pspark-ganglia 阅读全文...

2015-09-18 06:40:05

Spark 1.5.0的Hive版本配置

由Spark 1.4.1升级到Spark 1.5.0，发现一些sql执行出错了，原因是Spark将内置的Hive client版本升级到了1.2.1，原来是0.13.1。不过Spark依然支持低版本的Hive，只需添加两个配置到spark-default.conf或启动Driver的时候执行这两个配置也可以，配置如下(我这里用的0.13.1所以配置看你的客户端版本而定)： ``` spark 阅读全文...

2015-09-10 03:45:03

解决Spark1.5.0依赖twtter的maven库，导致无法编译的问题

Spark 1.5.0发布了，诸多性能改进，心动啊，赶紧编译玩玩，编译过程中发现有个包一直下载超时，是maven.twttr.com的一个仓库中的包，尼玛，twtter在国内是被墙的！没办法，要么翻墙，要么自己配个host，linux翻墙有些麻烦，也懒得折腾了，配置`/etc/hosts`是比较简单的方法，推荐一个网站测速的服务，通过这个服务，我们可以找到maven.twttr.com能够阅读全文...

2015-08-08 11:27:43

解决使用SBT编译Spark出现UNRESOLVED DEPENDENCIES的问题

``` [warn] :::::::::::::::::::::::::::::::::::::::::::::: [warn] :: UNRESOLVED DEPENDENCIES :: [warn] :::::::::::::::::::::::::::::::::::::::::::::: [warn] :: org.apache.spark#spa 阅读全文...

2015-08-07 10:17:37

Spark 1.4.1解决重新创建Parquet数据表后无法执行查询的问题

Spark 1.4.1的parquet metadata缓存机制设计的有问题，在数据没有变化的情况下读取数据表没有问题，当表的数据更新后，再次读取会报类似这样：`java.io.FileNotFoundException: File does not exist: /user/hive/warehouse/test.db/b/part-r-00004-3abcbb07-e20a-4b5e-a6e5 阅读全文...