基础介绍

1. hive介绍

2. hive架构

3. hive与数据库比较

部署安装

1. hive下载安装

2. hive教程：启动hive客户端、执行流程（使用derby存储元数据）

3. hive教程：第一次使用sql

   • hive教程：分隔符

4. hive教程：元数据和derby

使用mysql存储元数据

1. hive教程：使用mysql存储元数据

   • hive3.1.x centos7安装部署mysql5.7.32（.tar.gz解压缩版）

2. hive教程：查看mysql存储的元数据

3. hive教程：解决 Hive 建表中文注释乱码

4. hive教程：上传数据然后查询

5. hive教程：hive、mysql和hadoop关系和流程

metastore

1. hive教程：启动metastore（元数据）服务，并访问hive

hiveserver2

1. hive教程：配置hiveserver2（支持JDBC连接），使用beeline客户端连接（流程图）

   • Thrift介绍

   • hive的thrift 和 hiveserver2介绍

脚本

1. hive教程：创建启动脚本，启动metastore（元数据）服务，启动hiveserver2服务

2. hive教程：启动hadoop、mysql、metastore，测试是否启动成功

使用

1. hive教程：数据类型

SQL

1. SQL基础

2. SQL分类

3. hive客户端工具-dbeaver21

   • dbeaver 连接 hive 报错：cannot recognize input near ‘SHOW’ ‘INDEX’ ‘ON’ in ddl statement

4. hive客户端工具-dbeaver21 设置 reduce 数量

DDL

1. hive教程：查看、创建、修改、删除、切换使用数据库

2. hive教程：建表语句、删表语句

3. hive教程：管理表（内部表）和外部表

4. hive教程：管理表与外部表的互相转换

5. hive教程：修改表名、修改列名、修改列类型、添加列、替换列语句

导入导出

1. hive教程：load data向表导入数据

2. hive教程：insert插入（覆盖）数据

   • hive 批量导入数据、insert报错：Concurrency mode is disabled, not creating a lock managerError: Error while processing stat

3. hive教程：导出查询结果（insert）

4. hive教程：export导出和import导入

DML

1. hive教程：增删改查概述（insert、delete、update、select）

2. hive教程：select查询语句-准备数据（dept、emp）

3. hive教程：select查询语句、别名、运算符（+、-、*、/、%）

4. hive教程-对NULL的处理

5. hive教程-查询去重

6. hive教程-where条件查询

   1. hive教程-sql判断是否为NULL

   2. hive教程：sql多条件查询

   3. hive教程：between and查询范围

   4. hive教程：in和not in

   5. hive教程：like模糊查询

7. hive教程：SQL函数介绍

   1. hive教程：length()函数

   2. hive教程：if()、coalesce()用于 null 值处理

   3. hive教程：字符串操作

   4. hive教程：获取当前日期时间

   5. hive教程：聚合函数

   6. hive教程：sql数值函数

• 日期函数

  1. hive教程：格式化日期-将时间戳格式化，返回字符串类型

  2. hive教程：格式化日期-将日期字段（string类型）格式化，返回字符串类型

  3. hive教程：日期转换-to_date() 返回yyyy-MM-dd部分，返回date类型

  4. hive教程：日期转换-year() 、month()、day()、hour()、minute()、second()、weekofyear()

1. hive教程：group by having分组查询

2. hive教程：sql多表联合查询（sql92）

3. hive教程-sql多表联合查询（sql99）

4. hive教程：sql子查询

5. hive3.1.x case when then else end 的用法

排序

1. hive教程：对查询结果进行排序（order by）

2. hive教程：对查询结果进行排序（sort by）

3. hive教程：对查询结果进行排序（distribute by）

4. hive教程：对查询结果进行排序（distribute by 和 sort by联合使用）

5. hive教程：对查询结果进行排序（cluster by ）

其他

1. hive教程：limit查询前 n 条记录，不能实现分页

2. hive教程：分页

窗口函数

1. hive3.1.x 窗口函数over(partition by…order by…)

2. hive3.1.x 窗口函数：row_number()、rank()、dense_rank()（查询统计 TopN）（emp表做案例）

   • hive：SQL窗口函数和where查询条件

   • hive：SQL-with语句

3. hive3.1.x 窗口函数：lag()和lead()

UDF

1. hive3.1.x 自定义UDF

数据模型

1. hive教程：数据模型：数据库( Database )、表( Table )、分区( Partition )、桶( Bucket )

分区表

1. hive教程：分区表

2. hive教程：静态分区表的操作（创建、导入数据、查询、增加分区、插入数据、删除分区、查看分区、元信息）

3. hive教程：分区表-二级分区

4. hive教程：把数据直接上传到分区表目录，让分区表和数据产生关联

5. hive教程：动态分区表

java

1. hive教程：jdbc连接hive