Stan Zhai's Tech Blog

## 背景 有个好久好久没怎么维护的Hadoop集群，一直在提供服务，也做了HA，由于某些原因要对HDFS做重启，重启前检查了遍服务，发现另一个NameNode已经挂了有一段时间了。 重启过程倒是没啥问题，但NameNode的Startup Progress特别久，持续Loading edits，将近3个小时。 ## 分析 到NameNode的数据目录看了下，发现有大量的`edits_*` 阅读全文...

最近倒腾nginx的配置，本以为简单的代理设置，结果被`/`搞的一头雾水，为了后续不在懵逼，特意整理了下关于斜线的问题。 假设到达nginx的请求路径为`/foo/api`： 表1 | case | location | proxy_pass | result | | --- | --- | --- | --- | | 1 | /foo/ | http://192.168.1.123:400 阅读全文...

## 问题描述 HDFS的DataNode节点，节点名称为主机名，非IP。 Spark Standalone模式下，Worker列表中，Address信息为IP，不是主机名。 这会导致Spark处理HDFS上的数据时，无法精准分发任务，大数据量下会有性能问题。 ## 解决方案 修改`sbin/start-slave.sh`下的`start_instance`方法。 默认为： ```b 阅读全文...

安装，以Debian系统为例： ``` sudo apt-get install mariadb-server ``` 初始化root用户配置，必须切换至root用户，切换后执行：`mysql_secure_installation` 解决mysql命令，root账号只能在root用户下访问的问题： ```sh # 1. 切换至root用户 # 2. mysql -uroot -p输入密码 阅读全文...

今天前端同学过来求助：我们内部的一个联调平台，在IE下无法登陆，原因是服务器返回的Set-cookie浏览器没有保存起来，后续的请求也没有把cookie带给服务器，也就是说set-cookie失效了。 奇怪的是只有IE有这个问题，但也只是部分域名的网站有问题，用Fiddler详细对比了下正常的请求，也没发现什么异常。 发现网上也有不少人遇到这样的问题，但是没有一个正确的解决方案，最后在Stac 阅读全文...

golang没有提供直接的超时处理机制，可以利用select机制来解决超时问题，先上个示例： ```go func timeoutFunc() { // 首先，实现并执行一个匿名的超时等待函数 timeout := make(chan bool, 1) go func() { time.Sleep(1e9) //等待1秒钟 timeout 阅读全文...

最近好奇的研究了下Spark的BloomFilter的实现，发现其`org/apache/spark/util/sketch/BitArray.java`对bit处理的实现很巧妙（源码可能是从其他开源项目借鉴的也不好说），从中学到不少东西，记录下。 ## 巧妙的核心设计 BitArray内部采用`long[] data`来表示一个大的bitmap，long类型相比int在相同的数组个数下可以 阅读全文...

在Mac系统下折腾NodeMcu。 根据官网给的步骤，装驱动，测试，采用9600的波特率，由于是刚入手的新板子，测试一切正常，能够直接执行lua脚本，不过板子自带的固件版本太旧了。这就需要刷固件来更新系统了，郁闷的是，最后在刷固件这步卡住了。 一开始怀疑是自己刷固件的姿势有问题，不过根据官网提供的工具和步骤，一路下来也没有报错。 但刷完后，使用ESplorer去连接NodeMcu的时候总是 阅读全文...

前段时间折腾presto，发现他的客户端jar包启动方式比较有意思，直接chmod +x presto-cli.jar，然后就可以直接执行./presto-cli.jar来运行了，不需要执行java -jar presto-cli.jar，感觉这种启动方式好新奇。 比较好奇操作系统是如何完成直接启动jar包的。 通过file命令检查下这个jar包的格式，咦，咋是个shell脚本呢： ➜ Downloads file presto-cli-0.208-executable.jarpresto-cli-0.208-executable.jar: POSIX shell scr 阅读全文...

十一期间在家用Flutter给家人开发了一个App，功能写完了，不过默认Widget的文本是英文，需要做下国际化处理，给不懂英文的爸妈使用。 参考官方资料，添加了中文国际化相关配置代码： ```dart class App extends StatelessWidget { // This widget is the root of your application. @overrid 阅读全文...