Stan Zhai's Tech Blog

在Spark1.3~1.4.0的版本中，在SparkSQL中使用HiveContext的DataFrame的saveAsTable方法时，数据表默认保存到了default数据库中。 相关文件为：spark/sql/hive/src/main/scala/org/apache/spark/sql/hive/HiveMetastoreCatalog.scala 134行开始的一段代码有问题，如下： 阅读全文...

阅读全文...

比较喜欢落网的音乐，听落网也有1年多了，不知道落网的园友点这里： 去年曾经写过一篇文章解决落网音乐不能下载的问题：[落网的音乐很好听的，你造么？不能下载啊，怎么破？](http://www.cnblogs.com/jasondan/p/luoo-down.html) 时隔一年，落网早已改版，原来基于html分析音乐下载地址的代码也已过时，平时工作过于繁忙，也没有去维护那个工具。 今天工作依 阅读全文...

$$ Shell本身的PID（ProcessID） $! Shell最后运行的后台Process的PID $? 最后运行的命令的结束代码（返回值） $- 使用Set命令设定的Flag一览 $* 所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。 $@ 所有参数列表。如"$@"用「"」括起来的情况、以"$1" "$2" … "$n" 的形式输出所有参数。 $ 阅读全文...

beeline无用户名密码直接连接hiveserver2，执行sql报错，从hiveserver2的日志中可以看到以下错误： ``` org.apache.hadoop.security.AccessControlException: Permission denied: user=anonymous, access=EXECUTE, inode="/tmp/hadoop-yarn":dig:d 阅读全文...

直接切入正题，spark版本1.3.1，出现这个问题的原因是因为spark上执行的任务异常终止导致的。 我碰到这个问题是因为hive的metastore出现了故障导致很多任务失败了，然后重启spark后，将应用到部署到集群上运行会应用端重复出现这样的错误： ``` ERROR 15/05/09 19:04:08 SparkDeploySchedulerBackend: Asked to rem 阅读全文...

刚接触Python不久，经常碰到`UnicodeEncodeError: 'ascii' codec can't encode characters in xxx`的字符编码错误，搞的很头疼。 首先说明：出现这个错误不一定是你代码的问题，很可能和你的terminal或ide有关。 ## 关于python的字符编码 python内部的字符串默认采用unicode编码。 如下代码： ```p 阅读全文...

如题，和其他非异步操作的语言相比，Nodejs到底快在什么地方？ Nodejs说到底还是快在异步IO上，异步IO和多线程相比具有明显的优势，多线程中，单独的一个线程内执行IO操作还是同步的，线程内等待IO操作的结果返回白白消耗了CPU。 而异步IO，发起IO操作请求后可以不必等待去处理其他事情，能够更加充分的利用CPU，处理更多的事情，当IO操作结果返回后，在对IO的操作结果进行处理。 No 阅读全文...

slack，类似微办公 gooddata birst datacanvas.io 阅读全文...

最近使用scala在spark上做开发，遇到一个怪异的问题，代码逻辑没问题，最终处理的数据居然不合逻辑。起初以为是spark的问题，最终排查后发现是scala的split函数的问题。 也不能说是scala的split函数有问题吧，它的split默认行为与其他语言不一样。 在python下: ```python a = '1,2,3,,,'.split(',') # a的值为['1', '2' 阅读全文...