初始化Spark

一个Spark程序首行需要做的就是创建一个SparkContext对象,它告诉Spark如何访问一个集群。要创建一个SparkContext,你需要先创建一个SparkConf对象,它包含你应用程序的信息。

每个JVM只有一个SparkContext可能是活的。在你想创建新的一个SparkContext之前,你必须使用stop()来停止那个活的SparkContext。

val conf = new SparkConf().setAppName(appName).setMaster(master)
new SparkContext(conf)

appName是在集群UI上显示的你的应用程序的名字。

master是一个Spark,Mesos或YARN集群的URL,或是一个指定为“local"的字符串,然后让其以本地模式运行。实际上,当你在一个集群上运行时,你将不想在程序中把master写死,但是,你可以用spark-submit发布应用并在那接收master,然而,对于本地测试和单元测试,你可以使用“local"来运行Spark。

results matching ""

    No results matching ""