Stan Zhai's Tech Blog

## 最新解决方案 export GOPROXY=https://goproxy.cn ## 以下为之前的旧方案，可忽略 由于国内被墙导致无法获取。所以go get获取包的时候会出现超时错误，就像我这次碰到的： ``` ➜ vishnu git:(master) ✗ go get github.com/kataras/iris package golang.org/x/sys/unix: 阅读全文...

最近用sbt测试Spark的HiveContext总是出现`java.lang.OutOfMemoryError: PermGen space`的异常。 PermGen space是Java中常见的问题，进程堆的永久区空间不足了，一般直接配置`-XX:MaxPermSize=256M`就可以了。 但是sbt会把他当做自己的参数处理，我们运行sbt时这么做就可以了：`sbt -J-XX:MaxP 阅读全文...

总所周知，分布式计算系统为了保证性能都是移动计算而非移动数据，在Spark系统中执行任务也是遵循这个原则，RDD中有个preferredLocations记录了当前要处理的数据的最佳位置。Spark性能调优也有个关键因素即：Data Locality，具体可以参考：http://spark.apache.org/docs/latest/tuning.html#data-locality 最近在处 阅读全文...

感叹Scala的语法解析器之强大，几行代码就可以搞定我的解析需求，可惜相比专门的JSON解析库（ObjectMapper，fastjson）性能还差很多，不确定是否和apply的处理有关，抽空在研究下。 ```scala package cn.zhaishidan.test import scala.util.parsing.combinator.syntactical._ import sc 阅读全文...

最近换上了飞利浦(PHILIPS)BDM4065UC的40寸4K显示器，折腾时踩了不少坑，打算入手4K需要提前了解4K显示器对主机的要求。 4K电视的标准是3840`*`2160@30Hz，30Hz是屏幕的刷新率，4K显示器最佳的显示效果则是3840`*`2160@60Hz，也就是说你的显示器和显卡都需要支持到3840`*`2160@60Hz才能达到最佳的显示效果。 网上不少人反馈使用4k显示 阅读全文...

由于软件协议问题，Spark build默认不包含Ganglia的编译，使用Ganglia监控Spark首先需要重新编译Spark，将GangliaSink编译到Spark中。 使用sbt编译时，加入 -Pspark-ganglia-lgpl ``` build/sbt -Pyarn -Phadoop-2.4 -Phive -Phive-thriftserver -Pspark-ganglia 阅读全文...

先说推荐的注册方式，修改hive-site.xml添加以下类似配置： ```xml hive.aux.jars.path file:///home/stan/hive/auxlib/udf.jar ``` 然后将自己的udf jar包放到和配置相对应的目录下，如果有多个jar包，配置中使用逗号隔开。 重启hive相关服务，就可以在hive的服务启动时自动加载jar包到 阅读全文...

好的类的接口应该像冰山的尖一样，让类的大部分内容（类的内部工作机制）都不被暴露出来。内部内部实现细节应该尽可能的隐藏，这种设计策略可以减少“改动所影响的代码量”。 信息隐藏主要针对两点： - 隐藏复杂度 - 隐藏变化源，这样当发生变化时，其影响就可以被限制在局部 设想我们有个类，他的每个对象都有名为id的变量来保存一个唯一的ID，同时用一个名为g_maxId的全局变量保存当前已经分配的最大I 阅读全文...

最近在云主机中部署Spark+Hadoop，部署完成后，发现只要启动Java相关的命令都提示： ``` java.lang.OutOfMemoryError：unable to create new native thread ``` 经过排查和操作系统设置有关，使用`ulimit -a`查看 阅读全文...

修改地址： ``` http://{your_hadoop_namenode_ip}:50070/logLevel ``` 对于在线排查问题还是很方便的。 hadoop 2.4.0， 当配置双namenode，其中一个挂掉很长时间时，再次启动，会有大量的FSImage同步操作，此时namenode处于safe mode，这个操作可能非常耗时（视文件变动多少而定），关闭无关日志可以加快namen 阅读全文...