介绍
DataFrame 提供一个特定领域语言(domain-specific language, DSL)去管理结构化的数据。
可以在 Scala, Java, Python 和 R 中使用 DSL, 使用 DSL 语法风格 不必去创建临时视图了
一句话解释
使用 DataFrame 的 API(方法) 来查询统计数据
方法分类
DataFrame 中涵盖很多方法,大致分类如下:
- 选择函数
select():选取某些列的值 - 过滤函数
filter/where:设置过滤条件,类似 SQL 中 WHERE 语句 - 分组函数
groupBy/rollup/cube:对某些字段分组,在进行聚合统计 - 聚合函数
agg:通常与分组函数连用,使用一些 count、max、sum 等聚合函数操作 - 排序函数
sort/orderBy:按照某写列的值进行排序(升序 ASC 或者降序 DESC) - 限制函数
limit:获取前几条数据,类似 RDD 中 take 函数 - 重命名函数
withColumnRenamed:将某列的名称重新命名 - 删除函数
drop:删除某些列 - 增加列函数
withColumn:当某列存在时替换值,不存在时添加此列
参考:
https://blog.csdn.net/qq_17685725/article/details/123081360