Stan Zhai's Tech Blog

最近好奇的研究了下Spark的BloomFilter的实现，发现其`org/apache/spark/util/sketch/BitArray.java`对bit处理的实现很巧妙（源码可能是从其他开源项目借鉴的也不好说），从中学到不少东西，记录下。 ## 巧妙的核心设计 BitArray内部采用`long[] data`来表示一个大的bitmap，long类型相比int在相同的数组个数下可以 阅读全文...

在Mac系统下折腾NodeMcu。 根据官网给的步骤，装驱动，测试，采用9600的波特率，由于是刚入手的新板子，测试一切正常，能够直接执行lua脚本，不过板子自带的固件版本太旧了。这就需要刷固件来更新系统了，郁闷的是，最后在刷固件这步卡住了。 一开始怀疑是自己刷固件的姿势有问题，不过根据官网提供的工具和步骤，一路下来也没有报错。 但刷完后，使用ESplorer去连接NodeMcu的时候总是 阅读全文...

前段时间折腾presto，发现他的客户端jar包启动方式比较有意思，直接chmod +x presto-cli.jar，然后就可以直接执行./presto-cli.jar来运行了，不需要执行java -jar presto-cli.jar，感觉这种启动方式好新奇。 比较好奇操作系统是如何完成直接启动jar包的。 通过file命令检查下这个jar包的格式，咦，咋是个shell脚本呢： ➜ Downloads file presto-cli-0.208-executable.jarpresto-cli-0.208-executable.jar: POSIX shell scr 阅读全文...

十一期间在家用Flutter给家人开发了一个App，功能写完了，不过默认Widget的文本是英文，需要做下国际化处理，给不懂英文的爸妈使用。 参考官方资料，添加了中文国际化相关配置代码： ```dart class App extends StatelessWidget { // This widget is the root of your application. @overrid 阅读全文...

最近过了遍Kafka的文档，发现其设计思想和HDFS非常类似，对Kafka的整体设计上也有了更好的理解。 通过topic对数据进行逻辑划分，类似HDFS的一个文件 topic的数据分布取决于partition和replica设置，partition数量影响消费者任务的并行度，replica影响的是容错性。 partition类似HDFS的split概念，如果一个topic设置多个partition，那么写过来的数据会被拆分写到多个partition中，默认采用round-robin的方式写到不同的partition中，当然可以自定义写入策略。 对于设置多个partition的topic， 阅读全文...

## 背景 2个NameNode - namenode1, active - namenode2, standby `DFSZKFailoverController`和`zookeeper`服务都正常运行的情况下，将namenode1的进程执行kill -9，namenode2没有自动切换为active的状态，导致HDFS只读不可写。 ## 分析 分析了两个namenode节点的zkfc 阅读全文...

前言 当我们开发的Spark Application变得越来越复杂，依赖的jar包越来越多时，难免会碰到jar包冲突的问题。 举个例子： 我们的业务代码用到了一个第三方库，好比：guava（虽然好用，但是版本间的兼容性差的一坨翔） Spark本身也依赖了guava，但是和业务代码中依赖的guava版本不同 这种情况下，把我们的Spark Application提交到集群里执行，很有可能因为版本问题导致运行出错。 大家都知道，JVM的ClassLoader加载类的时候，同一个ClassLoader加载的类，如果出现重复，只有第一个会被加载，后面重复的类会被忽略掉。 就我们 阅读全文...

## 现象 大晚上的收到线上DataNode挂掉异常的报警，值班同学随即做了重启处理，重启完成后，进程虽然在运行，但是NameNode的WebUI上显示大量的block丢失。 - There are 12622047 missing blocks. - Number of Under-Replicated Blocks 14436901 - 重新启动的DataNode节点block数量为0， 阅读全文...

最近把cubieboard2当成服务器了，放到客厅的一个角落里一直通电开着。 cubieboard2的板载LED蓝灯是闪烁交替的状态，大晚上的一闪一闪的很碍眼。 可以通过执行`echo 255 /sys/class/leds/blue:ph21:led2/brightness`使其保持常亮状态。 网上关于控制cubieboard板载LED的资料实在太少了，特此记录下。 阅读全文...

编辑`hdfs-site.xml`，修改`dfs.namenode.shared.edits.dir`配置，加入新的节点。 添加新的JournalNode节点后，如果集群已经有其他的JournalNode在正常运行，直接copy其他JournalNode的data数据到新的JournalNode节点的数据目录下，就可以正常启动了。 如果集群从来没有配置过JournalNode，添加后。停掉Na 阅读全文...