Stan Zhai's Tech Blog

代码没有任何问题，注册UDF也没有任何问题，使用方法也没有错误，运行时出现以下错误： ``` org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 ( 阅读全文...

在本机开发的Spark Application，如果用到了log4j作为日志记录组件，本机调试时，日志输出都是正常的，如果部署到Spark集群上，你会发现日志不输出了，即便是应用log4j.properties文件。 原因是Spark本身就是用的log4j来记录日志的，他的配置位于`{SPARK_HOME}/conf/log4j.properties`下，默认的配置如下： ``` log4j. 阅读全文...

## 语言学习 **编程规范：**官方建议：[PEP8](https://www.python.org/dev/peps/pep-0008/) 类中的私有变量：`__name`，两个连续的下划线加变量名表示私有变量，python解释器会对这样的变量名做修改，直接访问会出错。 有些时候，你会看到以一个下划线开头的实例变量名，比如`_name`，这样的实例变量外部是可以访问的，但是，按照约定俗成 阅读全文...

如果定义的变量和scala了重名了，比如type，import，可以通过以下方式解决： ``` val `type` = "string" ``` 将变量使用两个`括起来即可，使用变量时，也需要带着。 阅读全文...

上班的时候和同事聊到了一些Mac的奇淫技巧，同事说”你知道Mac可以唱歌吗？“，”我擦，可以么？“同事给演示了以下，Mac还真可以唱歌，有些曲调怪怪，听着让人笑崩了都。 打开终端输入以下命令（共有4首曲子），就可以让Mac唱歌了： ``` osascript -e 'say "Dum dum dum dum dum dum dum he he he ho ho ho fa lah lah la 阅读全文...

hadoop版本：2.4.0 通过Hadoop，FileSystem中的append方法追加数据。 核心代码（Scala）如下： ``` import java.net.URI import org.apache.hadoop.fs.{Path, FileSystem} ... def appendText(content: String): Unit = { // 目标文件 阅读全文...

最近访问一些国外的网站如stackoverflow，npmjs等会特别慢，分析其请求不难发现是因为googleapis.com的问题，这些网站引用了google的资源，而在大天朝，google是被封的，所以一直访问比较慢。 可以通过一个Chrome插件解决，replace-google-cdn： 此插件的核心代码如下： ``` chrome.webRequest.onBeforeReq 阅读全文...

元旦的一次感冒，让我决心今年一定得多多锻炼身体了，身体是革命的本钱，必须得把健康放第一位。 今天周六，虽然还是不想出门，想想该动动了，就硬着头皮出发了，目标：奥林匹克森林公园。从百度地图上查了下路程大约5公里，比较适合跑步。 一路小跑就为到达那个蘑菇状的建筑那。  越来越近了 ! 阅读全文...

* 查看类的层次结构`Ctrl+H` * 转到定义：`Command + B` 阅读全文...

最近使用IDEA开发Spark应用，由于提交应用时需要将Spark之外的依赖包指定好，用于将代码提交到集群中，比如我们用到了spray-can这个包，这个包还依赖其他的包，提交时需要将所有的依赖的包都添加上才能正常运行。 使用SBT或MAVEN管理lib依赖时，从包上很难看出依赖关系： ![](/api/file/getImage?fileId=5ab5b927ba8bc2481f000052 阅读全文...