2014-12-31 06:24:11 在iTerm2中使用Zmodem传输文件 在iTerm2中使用Zmodem传输文件,可以向SecureCRT那样方便的上传下载文件。 参考: 不过有问题是:如果使用iterm通过跳转机登录到一台机器上,在使用sz和rz命令就出问题了,这点SecureCRT好像没有问题。 阅读全文...
2014-12-30 16:36:09 iTerm2结合expect脚本实现自动登录跳板机 最近工作中使用iTerm2感觉唯一不便的地方是不能想SecureCRT那样自动登录远程机器。 下班的时候和同事聊到了这个问题,他说可以通过Profile添加脚本实现这个功能,回家试了下,还真可以,这下iTerm2真是可以完全取代SecureCRT了。 通过`Command+o`可以调出Profile窗口,通过Edit Profiles编辑额外的配置,还可以单独为配置添加快捷键,甚是方便呐。 阅读全文...
2014-12-30 08:30:19 Spark单节点提交多个Application的问题 所有的Spark Application都有一个SparkContext,SparkContext内置一个WebUI用来跟踪任务执行的细节。 WebUI默认的端口号为4040。 如果在同一个节点上已经有一个Spark Application正在运行了,那么在运行的时候会出现端口冲突的问题: ``` 14/12/30 15:28:05 WARN AbstractLifeCycle: FAILE 阅读全文...
2014-12-30 06:14:33 spark-cassandra提交应用涉及的jar 最近使用cassandra作为spark的数据源,开发应用,提交代码到集群是遇到点小坎坷。 使用的spark-cassandra-connector版本为1.1.0 将代码写完提交集群时,同时需要将spark-cassandra-connector相关的jar也提交到集群才能保证正确运行。 spark相关的jar因为classpath中已经包含了,不必指定。 spark-submit的写法 阅读全文...
2014-12-29 09:18:30 Cassandra集群配置 需要修改的关键配置:`conf/cassandra.yaml` ``` cluster_name: 'My Cassandra Cluster' # =======集群模式需要添加的配置 # 注意listen_address不能为0.0.0.0 listen_address: your_host_name rpc_address: your_host_name seed_provider: 阅读全文...
2014-12-25 14:02:31 Scala中的隐式转换、隐式参数和隐式类 隐式转换是scala中一个非常重要的概念,在scala中到处可见, ## 隐式转换 先看代码: ``` class Info class RichInfo(info: Info) { def show { println("RichInfo ...") } } object Test extends App { implicit def info2Rich(info: 阅读全文...
2014-12-25 09:09:05 SBT设置全局Maven库的位置 进入sbt本地目录`~/.sbt` 添加文件`repositories` 内容如下: ``` [repositories] local osc: http://maven.oschina.net/content/groups/public/ typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[m 阅读全文...
2014-12-24 14:00:49 Scala的类型约束 在scala中可以通过隐式参数来进行类型约束。 先来看一串代码: ``` def test[T](i:T)(implicit ev: T To) with Serializable sealed abstract class To) with Serializable ``` 回到最初的代码块,隐式参数`ev`就是`T typeOf[List[_]] =:= typeOf[Li 阅读全文...