读取文件

textFile

def textFile(path: String, minPartitions: Int = defaultMinPartitions): RDD[String]

参数：

• path：路径。相对路径 或 绝对路径
  • 本地文件路径，
  • HDFS文件路径，
  • 目录路径，读取该路径下的所有文件
  • 通配符 *，如：book*.txt 读取 book开头，后缀是.txt的所有文件

返回：

• RDD，文本文件的内容

wholeTextFiles

def wholeTextFiles(path: String, minPartitions: Int = defaultMinPartitions): RDD[(String, String)]

参数：

• path：同 textFile() 的 path 形参

返回：

• RDD，文本文件的内容，返回记录是 元祖类型，第一个元素是 文件路径+文件名，第二个元素是 一行内容

从集合加载数据

makeRDD()

makeRDD[T: ClassTag](
      seq: Seq[T],
      numSlices: Int = defaultParallelism): RDD[T] = withScope

parallelize()

同 makeRDD

原文出处：/show_1IX1IcfxpRrl.html