Stan Zhai's Tech Blog

今天公司内的几个团队leader坐在一起交流了关于招聘及面试方面的一些东西，通过和大家分享彼此的经验，从中学到不少东西，对招聘面试这件事情有了一些新的认识。 ### 关于招聘 一个团队的整体水平和团队负责人有着直接的关系，团队负责人对于自己所做的事情有多大的愿景，直接决定招人的水平，想象下，如果你自己本身对所做的事情就不感兴趣或者没有自信，你怎么能招到高水平的人进入你的团队。这是我今天感触最深 阅读全文...

- Hadoop短路本地读（原理：unix domain socket），提高文件读取性能 - Hadoop的NameNode节点连接数设置要合理，设置hdfs-site.xml的dfs.namenode.handler.count配置，合理的连接值：`python -c 'import math ; print int(math.log(计算节点的数量) * 20)'` - Data Local 阅读全文...

## Requirements spf13-vim对vim的版本有要求，且需要支持lua才能使用neocomplcache插件，否则会提示`neocomplete requires Vim 7.3.885 or later with Lua support (" lua").`，可以通过如下命令，先对vim进行升级： ``` brew install macvim --with-cscope 阅读全文...

## 最新解决方案 export GOPROXY=https://goproxy.cn ## 以下为之前的旧方案，可忽略 由于国内被墙导致无法获取。所以go get获取包的时候会出现超时错误，就像我这次碰到的： ``` ➜ vishnu git:(master) ✗ go get github.com/kataras/iris package golang.org/x/sys/unix: 阅读全文...

最近用sbt测试Spark的HiveContext总是出现`java.lang.OutOfMemoryError: PermGen space`的异常。 PermGen space是Java中常见的问题，进程堆的永久区空间不足了，一般直接配置`-XX:MaxPermSize=256M`就可以了。 但是sbt会把他当做自己的参数处理，我们运行sbt时这么做就可以了：`sbt -J-XX:MaxP 阅读全文...

总所周知，分布式计算系统为了保证性能都是移动计算而非移动数据，在Spark系统中执行任务也是遵循这个原则，RDD中有个preferredLocations记录了当前要处理的数据的最佳位置。Spark性能调优也有个关键因素即：Data Locality，具体可以参考：http://spark.apache.org/docs/latest/tuning.html#data-locality 最近在处 阅读全文...

感叹Scala的语法解析器之强大，几行代码就可以搞定我的解析需求，可惜相比专门的JSON解析库（ObjectMapper，fastjson）性能还差很多，不确定是否和apply的处理有关，抽空在研究下。 ```scala package cn.zhaishidan.test import scala.util.parsing.combinator.syntactical._ import sc 阅读全文...

最近换上了飞利浦(PHILIPS)BDM4065UC的40寸4K显示器，折腾时踩了不少坑，打算入手4K需要提前了解4K显示器对主机的要求。 4K电视的标准是3840`*`2160@30Hz，30Hz是屏幕的刷新率，4K显示器最佳的显示效果则是3840`*`2160@60Hz，也就是说你的显示器和显卡都需要支持到3840`*`2160@60Hz才能达到最佳的显示效果。 网上不少人反馈使用4k显示 阅读全文...

由于软件协议问题，Spark build默认不包含Ganglia的编译，使用Ganglia监控Spark首先需要重新编译Spark，将GangliaSink编译到Spark中。 使用sbt编译时，加入 -Pspark-ganglia-lgpl ``` build/sbt -Pyarn -Phadoop-2.4 -Phive -Phive-thriftserver -Pspark-ganglia 阅读全文...

先说推荐的注册方式，修改hive-site.xml添加以下类似配置： ```xml hive.aux.jars.path file:///home/stan/hive/auxlib/udf.jar ``` 然后将自己的udf jar包放到和配置相对应的目录下，如果有多个jar包，配置中使用逗号隔开。 重启hive相关服务，就可以在hive的服务启动时自动加载jar包到 阅读全文...