介绍

Spark SQL是Apache Spark用于处理 结构化数据 的模块。

官网：https://spark.apache.org/sql/

一句话解释

使用 SQL 代替 RDD，查询分析 结构化数据，降低开发门槛，提高开发效率

特点

1. 将 SQL 与 Spark 程序无缝集成
   SparkSQL 允许使用 SQL 或 DataFrame API 在 Spark 程序中查询结构化数据、分析数据。可用于Java，Scala，Python和R。

2. 统一数据访问
   一套 API 连接不用的数据源。DataFrames 和 SQL 提供了连接不同数据源的方法，包括 Hive、Avro、Parquet、ORC、JSON 和 JDBC。甚至可以跨源联接数据。

3. Hive集成
   在 Hive 上运行 SQL 或 HiveQL 查询。SparkSQL 支持 HiveQL 语法以及Hive SerDes和UDF，允许访问现有的Hive仓库。

4. 标准连接
   支持 JDBC 或 ODBC 连接。为商业智能工具提供行业标准的 JDBC 和 ODBC 连接。

SparkSQL 发展

详见：https://www.malaoshi.top/show_1IX3F8Jxi6w9.html

总结

• SparkSQL 使用简单、API统一、兼容Hive、支持 JDBC、ODBC
• SparkSQL 在企业中广泛使用

感谢：
https://cloud.tencent.com/developer/article/1886595

原文出处：/show_1IX3EvrpzOjg.html