RDDs交互操作

对于将已存在的RDDs转换成DataFrames,Spark SQL支持两种不同的方法。第一种方法使用反射来推断一个RDD的schema,这个schema包含了对象的指定类型。当你在写你的Spark应用时,已经知道这个schema,这种基于反射的方法将会使得代码更简洁且工作的更好。

第二种创建DataFrame的方法是通过一个程序接口,这个接口允许你构建一个schema,然后应用它到一个已经存在的RDD。虽然这方法更冗长,它允许你当在运行前,列和它的类型未知的时候构建DataFrame。

results matching ""

    No results matching ""