Stan Zhai's Tech Blog

## 背景 2个NameNode - namenode1, active - namenode2, standby `DFSZKFailoverController`和`zookeeper`服务都正常运行的情况下，将namenode1的进程执行kill -9，namenode2没有自动切换为active的状态，导致HDFS只读不可写。 ## 分析 分析了两个namenode节点的zkfc 阅读全文...

前言 当我们开发的Spark Application变得越来越复杂，依赖的jar包越来越多时，难免会碰到jar包冲突的问题。 举个例子： 我们的业务代码用到了一个第三方库，好比：guava（虽然好用，但是版本间的兼容性差的一坨翔） Spark本身也依赖了guava，但是和业务代码中依赖的guava版本不同 这种情况下，把我们的Spark Application提交到集群里执行，很有可能因为版本问题导致运行出错。 大家都知道，JVM的ClassLoader加载类的时候，同一个ClassLoader加载的类，如果出现重复，只有第一个会被加载，后面重复的类会被忽略掉。 就我们 阅读全文...

## 现象 大晚上的收到线上DataNode挂掉异常的报警，值班同学随即做了重启处理，重启完成后，进程虽然在运行，但是NameNode的WebUI上显示大量的block丢失。 - There are 12622047 missing blocks. - Number of Under-Replicated Blocks 14436901 - 重新启动的DataNode节点block数量为0， 阅读全文...

最近把cubieboard2当成服务器了，放到客厅的一个角落里一直通电开着。 cubieboard2的板载LED蓝灯是闪烁交替的状态，大晚上的一闪一闪的很碍眼。 可以通过执行`echo 255 /sys/class/leds/blue:ph21:led2/brightness`使其保持常亮状态。 网上关于控制cubieboard板载LED的资料实在太少了，特此记录下。 阅读全文...

编辑`hdfs-site.xml`，修改`dfs.namenode.shared.edits.dir`配置，加入新的节点。 添加新的JournalNode节点后，如果集群已经有其他的JournalNode在正常运行，直接copy其他JournalNode的data数据到新的JournalNode节点的数据目录下，就可以正常启动了。 如果集群从来没有配置过JournalNode，添加后。停掉Na 阅读全文...

我们有表A： id data 1 a 1 b 2 c 表B： id data 1 a2 2 c2 对于以下SQL： SELECT A.id, A.data, B.dataFROM ALEFT JOIN B ON A.id = B.idWHERE B.id = 1 执行结果为： id data data 1 a a2 1 b a2 对于这条语句是先执行JOIN，在执行WHERE。 如果我们想先执行WHER 阅读全文...

近期在团队内部推行了基于Phabricator的Code Review机制，需要为Phabricator配置WebHook实现有人更新了Code Review代码时，通知其他系统做更新。 一开始，根据官方的资料： 尝试添加WebHook，一直提示URI在黑名单列表中，无法添加成功。 后来有Google了相关资料，发现官方不建议通过Herald做WebHook： ，就尝试了下这种方案，发现确实比 阅读全文...

折腾这东西，主要是在网上留意到这个帖子，激发了我的兴趣：http://wap.a9vg.com/thread-5215603-1-1.html Q5盒子是s905芯片方案的，性能彪悍，价格便宜，咸鱼上100内就可以搞定了。刷入可玩性更高的Sx05RE，这个系统集成了EmulationStation+Kodi+Lakka。 先破解掉原来的Android系统，使盒子可以支持TF卡启动，参考教程：https://www.jianshu.com/p/ada66a94340b。 P哥制作的Lakka游戏ROM整合镜像：http://cqucg.com/index.php?topic=52.0 阅读全文...

前言 最近为了解决Spark2.1的Bug，对Spark的源码做了不少修改，需要对修改的代码做编译测试，如果编译整个Spark项目快的话，也得半小时左右，所以基本上是改了哪个子项目就单独对那个项目编译打包。 Spark官方已经给出了如何使用mvn单独编译子项目的方法：http://spark.apache.org/docs/latest/building-spark.html#building-submodules-individually 使用mvn单独编译子项目是节约了不少时间。但是频繁的改动项目，每次用mvn编译还是挺耗时间的。 之前看官方文档提到，对于开发者，为了提高效率 阅读全文...

原创文章，谢绝转载 Spark 2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了，2.x宣称有诸多的性能改进，相信不少使用Spark的同学还停留在1.6.x或者更低的版本上，没有升级到2.x或许是由于1.6相对而言很稳定，或许是升级后处处踩坑被迫放弃。 Spark SQL是Spark中最重要的模块之一，基本上Spark每个版本发布SQL模块都有不少的改动，而且官网还会附带一个Migration Guide帮忙大家升级。问题在于Migration Guide并没有详尽的列出所有变动，本文以SQL模块为主，扒一扒Spark升级2.x过程中可能会踩到的坑。 计算准确 阅读全文...