说明
按照 spark3.0教程-SparkSQL:Spark on Hive配置 ,配置在 hive-site.xml 文件中
创建 SparkSession 对象时,只需要启用 Hive 即可,关键代码:
enableHiveSupport()
然后就可以对 Hive 中的表,进行查询、统计
完整代码
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.\
appName("test").\
master("local[*]").\
enableHiveSupport().\
getOrCreate()
spark.stop()