说明

通过 DataFrame 的 .write.json("文件夹路径") 方法，可以将数据保存到 json 格式文件中

例子

将查询结果保存为 json 格式文件

准备数据，参见 链接

package read

import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}

object Std_write_json {
  def main(args: Array[String]): Unit = {
    val sc = new SparkConf().setMaster("local[*]").setAppName("std")
    val spark = SparkSession.builder().config(sc).getOrCreate()

    val df: DataFrame = spark.read.json("cdz.json") //加载 json文件

//    df.printSchema()
    //显示所有数据
//    df.show()
    val res: DataFrame = df.select("id","ele_num")
    res.printSchema()
    res.write.json("res_json")
    spark.close()
  }
}

执行结果：

在 res 文件夹下有以下文件：

• _SUCCESS：表示执行成功
• ._SUCCESS.crc：crc 文件
• part-00000-xxxx.snappy.json：数据文件
• .part-00000-xxxx.json.crc：数据的 crc 文件

原文出处：/show_1IX4KKUuqyxx.html