Stan Zhai's Tech Blog

2014-12-30 08:30:19

Spark单节点提交多个Application的问题

所有的Spark Application都有一个SparkContext，SparkContext内置一个WebUI用来跟踪任务执行的细节。 WebUI默认的端口号为4040。如果在同一个节点上已经有一个Spark Application正在运行了，那么在运行的时候会出现端口冲突的问题： ``` 14/12/30 15:28:05 WARN AbstractLifeCycle: FAILE 阅读全文...

2014-12-30 06:14:33

spark-cassandra提交应用涉及的jar

最近使用cassandra作为spark的数据源，开发应用，提交代码到集群是遇到点小坎坷。使用的spark-cassandra-connector版本为1.1.0 将代码写完提交集群时，同时需要将spark-cassandra-connector相关的jar也提交到集群才能保证正确运行。 spark相关的jar因为classpath中已经包含了，不必指定。 spark-submit的写法阅读全文...

2014-12-29 09:18:30

Cassandra集群配置

需要修改的关键配置：`conf/cassandra.yaml` ``` cluster_name: 'My Cassandra Cluster' # =======集群模式需要添加的配置 # 注意listen_address不能为0.0.0.0 listen_address: your_host_name rpc_address: your_host_name seed_provider: 阅读全文...

2014-12-26 07:06:25

Scala的Case Class

阅读全文...

2014-12-25 14:02:31

Scala中的隐式转换、隐式参数和隐式类

隐式转换是scala中一个非常重要的概念，在scala中到处可见， ## 隐式转换先看代码： ``` class Info class RichInfo(info: Info) { def show { println("RichInfo ...") } } object Test extends App { implicit def info2Rich(info: 阅读全文...

2014-12-25 09:09:05

SBT设置全局Maven库的位置

进入sbt本地目录`~/.sbt` 添加文件`repositories` 内容如下： ``` [repositories] local osc: http://maven.oschina.net/content/groups/public/ typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[m 阅读全文...

2014-12-25 06:45:49

Scala的self-type和依赖注入

阅读全文...

2014-12-24 14:00:49

Scala的类型约束

在scala中可以通过隐式参数来进行类型约束。先来看一串代码： ``` def test[T](i:T)(implicit ev: T To) with Serializable sealed abstract class To) with Serializable ``` 回到最初的代码块，隐式参数`ev`就是`T typeOf[List[_]] =:= typeOf[Li 阅读全文...

2014-12-24 13:45:29

关于逆变与协变

阅读全文...

2014-12-24 08:05:37

使用SBT构建Scala项目

[sbt](http://www.scala-sbt.org/)可是说是scala下的maven，用来构建项目甚是方便。 sbt使用Ivy管理包依赖，依赖的包会从maven中央库中下载，当然也可以指定特定的中央库。 sbt相比maven有一定的学习成本，但是他支持scala定义任务，而且描述项目信息比maven简单很多，支持增量式编译和交互式操作，所以还是非常值得学习一下的。 sbt的一些常阅读全文...