Stan Zhai's Tech Blog

前言 最近为了解决Spark2.1的Bug，对Spark的源码做了不少修改，需要对修改的代码做编译测试，如果编译整个Spark项目快的话，也得半小时左右，所以基本上是改了哪个子项目就单独对那个项目编译打包。 Spark官方已经给出了如何使用mvn单独编译子项目的方法：http://spark.apache.org/docs/latest/building-spark.html#building-submodules-individually 使用mvn单独编译子项目是节约了不少时间。但是频繁的改动项目，每次用mvn编译还是挺耗时间的。 之前看官方文档提到，对于开发者，为了提高效率 阅读全文...

原创文章，谢绝转载 Spark 2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了，2.x宣称有诸多的性能改进，相信不少使用Spark的同学还停留在1.6.x或者更低的版本上，没有升级到2.x或许是由于1.6相对而言很稳定，或许是升级后处处踩坑被迫放弃。 Spark SQL是Spark中最重要的模块之一，基本上Spark每个版本发布SQL模块都有不少的改动，而且官网还会附带一个Migration Guide帮忙大家升级。问题在于Migration Guide并没有详尽的列出所有变动，本文以SQL模块为主，扒一扒Spark升级2.x过程中可能会踩到的坑。 计算准确 阅读全文...

随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现：java.lang.UnsupportedClassVersionError的异常。 Spark 2.2开始移除了对Java 7的支持，大多数情况下，我们的Spark Application是和Hadoop系统公用的JDK，如果Hadoop依赖的JDK版本是7，那我们基于JDK 8编写的Application跑在上面就会出问题。 该文主要介绍在不同的场景下，如何为Spark Application指定不同的JDK版本。 阅读全文...

最近在维护一个线上的多进程服务，服务的启停是通过一个Shell脚本控制的，但是存在一个问题：执行后会有一些残留进程，不能被kill掉。 我需要改进下这个脚本，把残留进程强制kill掉。于是很自然的在脚本中添加了如下代码： ```bash ps -ef | grep process-name | grep -v grep | awk '{print $2}' | xargs kill -9 # 阅读全文...

Apache Spark 2.2.0是 2.x 中的第三个发行版，原计划3月底发布，距离上个发行版本（2.1.0）的发布已有6个多月的时间，就Spark的常规发版节奏而言，2.2.0的发版可谓是长了不少。 这个版本中Structured Streaming移除了实验性标记，可用于生产环境。该版本共处理了1100多个Issue，侧重于可用性、Bug修复及稳定性改进，建议所有2.x的用户更新到此版本 阅读全文...

原创文章，转载请保留出处 最近刚刚忙完Spark 2.2.0的性能测试及Bug修复，社区又要发布2.1.2了，国庆期间刚好有空，过了一遍2.1.2的相关[JIRA](https://issues.apache.org/jira/browse/SPARK-22167?jql=project%20%3D%20SPARK%20AND%20fixVersion%20%3D%202.1.2)，发现有不 阅读全文...

让代码分布式运行是所有分布式计算框架需要解决的最基本的问题。 Spark是大数据领域中相当火热的计算框架，在大数据分析领域有一统江湖的趋势，网上对于Spark源码分析的文章有很多，但是介绍Spark如何处理代码分布式执行问题的资料少之又少，这也是我撰写文本的目的。 Spark运行在JVM之上，任务的执行依赖序列化及类加载机制，因此本文会重点围绕这两个主题介绍Spark对代码分布式执行的处理。本 阅读全文...

最近运维同学为了提高安全性，用Google Authenticator对服务器加了双重认证，此后登录服务器需要先输入动态密码，在输入服务器密码。Google Authenticator相当于软token，对他不了解的同学可以看下这篇文章：[谷歌验证 (Google Authenticator) 的实现原理是什么？](https://www.zhihu.com/question/20462696)。 阅读全文...

Esc - CapsLock - Ctrl+[ Esc新版MacBook已废弃！ 新版MacBook支持使用CapsLock替换Esc，于是果断改使用习惯 阅读全文...

SparkSQL从2.0开始已经不再支持`ALTER TABLE table_name ADD COLUMNS (col_name data_type [COMMENT col_comment], ...)`这种语法了（下文简称add columns语法）。如果你的Spark项目中用到了SparkSQL+Hive这种模式，从Spark1.x升级到2.x很有可能遇到这个问题。 为了解决这个问题，我 阅读全文...