标签-sbt

最近在给团队搭建一些新项目，之前一直用sbt构建scala项目，考虑到sbt初次安装那个感人的速度，简直是浪费生命，这次换成maven，团队的小伙子们一直搞java对maven也熟悉。 参考scala官方说明: https://docs.scala-lang.org/tutorials/scala-with-maven.html 一顿折腾后发现不是卡在Generating project in Interactive mode就是卡在Generating project in Batch mode，要么就是The desired archetype does not exist (ne 阅读全文...

前言 最近为了解决Spark2.1的Bug，对Spark的源码做了不少修改，需要对修改的代码做编译测试，如果编译整个Spark项目快的话，也得半小时左右，所以基本上是改了哪个子项目就单独对那个项目编译打包。 Spark官方已经给出了如何使用mvn单独编译子项目的方法：http://spark.apache.org/docs/latest/building-spark.html#building-submodules-individually 使用mvn单独编译子项目是节约了不少时间。但是频繁的改动项目，每次用mvn编译还是挺耗时间的。 之前看官方文档提到，对于开发者，为了提高效率 阅读全文...

最近用sbt测试Spark的HiveContext总是出现`java.lang.OutOfMemoryError: PermGen space`的异常。 PermGen space是Java中常见的问题，进程堆的永久区空间不足了，一般直接配置`-XX:MaxPermSize=256M`就可以了。 但是sbt会把他当做自己的参数处理，我们运行sbt时这么做就可以了：`sbt -J-XX:MaxP 阅读全文...

最近使用IDEA开发Spark应用，由于提交应用时需要将Spark之外的依赖包指定好，用于将代码提交到集群中，比如我们用到了spray-can这个包，这个包还依赖其他的包，提交时需要将所有的依赖的包都添加上才能正常运行。 使用SBT或MAVEN管理lib依赖时，从包上很难看出依赖关系： ![](/api/file/getImage?fileId=5ab5b927ba8bc2481f000052 阅读全文...

进入sbt本地目录`~/.sbt` 添加文件`repositories` 内容如下： ``` [repositories] local osc: http://maven.oschina.net/content/groups/public/ typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[m 阅读全文...

[sbt](http://www.scala-sbt.org/)可是说是scala下的maven，用来构建项目甚是方便。 sbt使用Ivy管理包依赖，依赖的包会从maven中央库中下载，当然也可以指定特定的中央库。 sbt相比maven有一定的学习成本，但是他支持scala定义任务，而且描述项目信息比maven简单很多，支持增量式编译和交互式操作，所以还是非常值得学习一下的。 sbt的一些常 阅读全文...