spark-cassandra提交应用涉及的jar 2014-12-30 06:14:33 最近使用cassandra作为spark的数据源,开发应用,提交代码到集群是遇到点小坎坷。 使用的spark-cassandra-connector版本为1.1.0 将代码写完提交集群时,同时需要将spark-cassandra-connector相关的jar也提交到集群才能保证正确运行。 spark相关的jar因为classpath中已经包含了,不必指定。 spark-submit的写法如下: ``` spark-submit --class YourClass --jars cassandra-clientutil-2.1.2.jar,cassandra-driver-core-2.1.3.jar,cassandra-thrift-2.1.2.jar,spark-cassandra-connector_2.10-1.1.0.jar,joda-convert-1.2.jar,joda-time-2.3.jar your-jar.jar ``` 非特殊说明,均为原创,原创文章,未经允许谢绝转载。 原始链接:spark-cassandra提交应用涉及的jar 赏 Prev Spark单节点提交多个Application的问题 Next Cassandra集群配置