使用Shell
在Spark shell中,一个专门的解释器感知的SparkContext已经帮你创建好了,是一个命名为sc的变量。为了让你自己的SparkContext不工作。你可以使用--master参数来设置context连接到哪个master,并且你要通过增加一个逗号分隔的列表到--jars参数,增加JARs到你的类目录。你也可以通过提供一个逗号分隔的maven列表--packages参数,增加依赖到你的shell会话中。对于任何一个庫,只要它的依赖存在,就可以使用--repositories参数。例如,指定使用4个核来运行bin/spark-shell,使用:
$ ./bin/spark-shell --master local[4]
或者,也可以增加code.jar到类目录,使用:
$ ./bin/spark-shell --master local[4] --jars code.jar
要使用maven来包括一个依赖,如下:
$ ./bin/spark-shell --master local[4] --packages "org.example:example:0.1"
对于一个完整的配置项列表,运行spark-shell --help查看。除了这些场景,spark-shell还包含了更多通用的spark-submit脚本。