Stan Zhai's Tech Blog

最近把cubieboard2当成服务器了，放到客厅的一个角落里一直通电开着。 cubieboard2的板载LED蓝灯是闪烁交替的状态，大晚上的一闪一闪的很碍眼。 可以通过执行`echo 255 /sys/class/leds/blue:ph21:led2/brightness`使其保持常亮状态。 网上关于控制cubieboard板载LED的资料实在太少了，特此记录下。 阅读全文...

编辑`hdfs-site.xml`，修改`dfs.namenode.shared.edits.dir`配置，加入新的节点。 添加新的JournalNode节点后，如果集群已经有其他的JournalNode在正常运行，直接copy其他JournalNode的data数据到新的JournalNode节点的数据目录下，就可以正常启动了。 如果集群从来没有配置过JournalNode，添加后。停掉Na 阅读全文...

我们有表A： id data 1 a 1 b 2 c 表B： id data 1 a2 2 c2 对于以下SQL： SELECT A.id, A.data, B.dataFROM ALEFT JOIN B ON A.id = B.idWHERE B.id = 1 执行结果为： id data data 1 a a2 1 b a2 对于这条语句是先执行JOIN，在执行WHERE。 如果我们想先执行WHER 阅读全文...

近期在团队内部推行了基于Phabricator的Code Review机制，需要为Phabricator配置WebHook实现有人更新了Code Review代码时，通知其他系统做更新。 一开始，根据官方的资料： 尝试添加WebHook，一直提示URI在黑名单列表中，无法添加成功。 后来有Google了相关资料，发现官方不建议通过Herald做WebHook： ，就尝试了下这种方案，发现确实比 阅读全文...

折腾这东西，主要是在网上留意到这个帖子，激发了我的兴趣：http://wap.a9vg.com/thread-5215603-1-1.html Q5盒子是s905芯片方案的，性能彪悍，价格便宜，咸鱼上100内就可以搞定了。刷入可玩性更高的Sx05RE，这个系统集成了EmulationStation+Kodi+Lakka。 先破解掉原来的Android系统，使盒子可以支持TF卡启动，参考教程：https://www.jianshu.com/p/ada66a94340b。 P哥制作的Lakka游戏ROM整合镜像：http://cqucg.com/index.php?topic=52.0 阅读全文...

前言 最近为了解决Spark2.1的Bug，对Spark的源码做了不少修改，需要对修改的代码做编译测试，如果编译整个Spark项目快的话，也得半小时左右，所以基本上是改了哪个子项目就单独对那个项目编译打包。 Spark官方已经给出了如何使用mvn单独编译子项目的方法：http://spark.apache.org/docs/latest/building-spark.html#building-submodules-individually 使用mvn单独编译子项目是节约了不少时间。但是频繁的改动项目，每次用mvn编译还是挺耗时间的。 之前看官方文档提到，对于开发者，为了提高效率 阅读全文...

原创文章，谢绝转载 Spark 2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了，2.x宣称有诸多的性能改进，相信不少使用Spark的同学还停留在1.6.x或者更低的版本上，没有升级到2.x或许是由于1.6相对而言很稳定，或许是升级后处处踩坑被迫放弃。 Spark SQL是Spark中最重要的模块之一，基本上Spark每个版本发布SQL模块都有不少的改动，而且官网还会附带一个Migration Guide帮忙大家升级。问题在于Migration Guide并没有详尽的列出所有变动，本文以SQL模块为主，扒一扒Spark升级2.x过程中可能会踩到的坑。 计算准确 阅读全文...

随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现：java.lang.UnsupportedClassVersionError的异常。 Spark 2.2开始移除了对Java 7的支持，大多数情况下，我们的Spark Application是和Hadoop系统公用的JDK，如果Hadoop依赖的JDK版本是7，那我们基于JDK 8编写的Application跑在上面就会出问题。 该文主要介绍在不同的场景下，如何为Spark Application指定不同的JDK版本。 阅读全文...

最近在维护一个线上的多进程服务，服务的启停是通过一个Shell脚本控制的，但是存在一个问题：执行后会有一些残留进程，不能被kill掉。 我需要改进下这个脚本，把残留进程强制kill掉。于是很自然的在脚本中添加了如下代码： ```bash ps -ef | grep process-name | grep -v grep | awk '{print $2}' | xargs kill -9 # 阅读全文...

Apache Spark 2.2.0是 2.x 中的第三个发行版，原计划3月底发布，距离上个发行版本（2.1.0）的发布已有6个多月的时间，就Spark的常规发版节奏而言，2.2.0的发版可谓是长了不少。 这个版本中Structured Streaming移除了实验性标记，可用于生产环境。该版本共处理了1100多个Issue，侧重于可用性、Bug修复及稳定性改进，建议所有2.x的用户更新到此版本 阅读全文...