Stan Zhai's Tech Blog

2014-12-30 16:36:09

iTerm2结合expect脚本实现自动登录跳板机

最近工作中使用iTerm2感觉唯一不便的地方是不能想SecureCRT那样自动登录远程机器。下班的时候和同事聊到了这个问题，他说可以通过Profile添加脚本实现这个功能，回家试了下，还真可以，这下iTerm2真是可以完全取代SecureCRT了。通过`Command+o`可以调出Profile窗口，通过Edit Profiles编辑额外的配置，还可以单独为配置添加快捷键，甚是方便呐。阅读全文...

2014-12-30 08:30:19

Spark单节点提交多个Application的问题

所有的Spark Application都有一个SparkContext，SparkContext内置一个WebUI用来跟踪任务执行的细节。 WebUI默认的端口号为4040。如果在同一个节点上已经有一个Spark Application正在运行了，那么在运行的时候会出现端口冲突的问题： ``` 14/12/30 15:28:05 WARN AbstractLifeCycle: FAILE 阅读全文...

2014-12-30 06:14:33

spark-cassandra提交应用涉及的jar

最近使用cassandra作为spark的数据源，开发应用，提交代码到集群是遇到点小坎坷。使用的spark-cassandra-connector版本为1.1.0 将代码写完提交集群时，同时需要将spark-cassandra-connector相关的jar也提交到集群才能保证正确运行。 spark相关的jar因为classpath中已经包含了，不必指定。 spark-submit的写法阅读全文...

2014-12-29 09:18:30

Cassandra集群配置

需要修改的关键配置：`conf/cassandra.yaml` ``` cluster_name: 'My Cassandra Cluster' # =======集群模式需要添加的配置 # 注意listen_address不能为0.0.0.0 listen_address: your_host_name rpc_address: your_host_name seed_provider: 阅读全文...

2014-12-26 07:06:25

Scala的Case Class

阅读全文...

2014-12-25 14:02:31

Scala中的隐式转换、隐式参数和隐式类

隐式转换是scala中一个非常重要的概念，在scala中到处可见， ## 隐式转换先看代码： ``` class Info class RichInfo(info: Info) { def show { println("RichInfo ...") } } object Test extends App { implicit def info2Rich(info: 阅读全文...

2014-12-25 09:09:05

SBT设置全局Maven库的位置

进入sbt本地目录`~/.sbt` 添加文件`repositories` 内容如下： ``` [repositories] local osc: http://maven.oschina.net/content/groups/public/ typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[m 阅读全文...

2014-12-25 06:45:49

Scala的self-type和依赖注入

阅读全文...

2014-12-24 14:00:49

Scala的类型约束

在scala中可以通过隐式参数来进行类型约束。先来看一串代码： ``` def test[T](i:T)(implicit ev: T To) with Serializable sealed abstract class To) with Serializable ``` 回到最初的代码块，隐式参数`ev`就是`T typeOf[List[_]] =:= typeOf[Li 阅读全文...

2014-12-24 13:45:29

关于逆变与协变

阅读全文...