DuckDB 嵌入式OLAP数据库-马育民老师

# 介绍

DuckDB 是一款开源的嵌入式分析型数据库，专注于 OLAP（联机分析处理）场景，以高性能、轻量级和易用性为核心特点。它设计的初衷是为了填补传统数据库在单机分析场景中的空白，尤其适合处理中等规模数据（GB 到 TB 级别）的快速查询和分析任务。

### 核心特点

1. **嵌入式架构**  
   - 无需独立服务器进程，直接嵌入到应用程序中（支持 C/C++、Python、R、Java、C# 等多种语言），通过库文件（如 `.dll`、`.so`）调用，部署简单。
   - 数据存储在单一文件中（类似 SQLite），便于管理和移植。

2. **高性能分析**  
   - 采用 **列式存储** 优化，针对读密集型分析场景（如聚合、过滤、Join 等）设计，查询速度远超传统行式数据库（如 SQLite）。
   - 支持 **向量执行引擎** 和 **查询优化器**，能高效处理复杂 SQL 语句（如多表关联、窗口函数等）。
   - 内置并行查询能力，可充分利用多核 CPU 资源。

3. **兼容 SQL 标准**  
   - 支持绝大多数 SQL 功能，包括复杂查询、事务（ACID 兼容）、视图、触发器等。
   - 对数据分析常用语法友好，如 `GROUP BY`、`JOIN`、`CTE`（公用表表达式）、窗口函数等。

4. **丰富的数据格式支持**  
   - 可直接查询多种外部数据源，无需先导入数据库，例如：
     - CSV、Parquet、JSON 等文件格式。
     -  Pandas DataFrame（Python）、Arrow 表格等内存数据结构。
     - 甚至可以连接外部数据库（如 PostgreSQL、MySQL）进行联邦查询。

5. **轻量级与低资源占用**  
   - 安装包体积小（仅几 MB），内存占用可控，适合在笔记本、边缘设备或容器中运行。
   - 无状态设计，无需复杂配置，开箱即用。

### 适用场景

- **数据分析与探索**：快速处理本地数据文件（如 Parquet、CSV），执行即席查询。
- **嵌入式应用**：集成到工具或应用程序中，提供本地数据分析能力（如 BI 工具、报表软件）。
- **数据预处理**：在机器学习流水线中用于数据清洗、转换和特征工程。
- **替代 SQLite 做分析**：当 SQLite 的查询性能无法满足分析需求时，DuckDB 是更优选择。

### 与其他工具的对比

| 工具       | 特点                                  | 适用场景                     |
|------------|---------------------------------------|------------------------------|
| DuckDB     | 嵌入式、列式存储、OLAP 优化           | 单机快速分析、中等规模数据   |
| SQLite     | 嵌入式、行式存储、OLTP 优化           | 轻量事务型应用、小数据存储   |
| PostgreSQL | 客户端/服务器架构、功能全面           | 多用户协作、大型应用         |
| Spark      | 分布式计算框架、支持 PB 级数据      | 分布式集群、超大规模数据     |

### 开源与生态

- **开源协议**：MIT 许可证（完全免费，可商用）。
- **社区活跃**：持续迭代更新，支持多种编程语言接口和工具集成（如 Jupyter、DBeaver 等）。

如果需要在单机环境中高效处理分析型任务，DuckDB 是一个非常值得尝试的工具，尤其适合数据科学家、分析师和需要嵌入式数据分析能力的开发者。

# 基本使用示例（Python）

### 安装

通过 pip 安装 DuckDB：
```bash
pip install duckdb
```

### 简单查询

直接查询内存数据或文件：
```python
import duckdb
import pandas as pd

# 连接数据库（文件不存在则自动创建）
con = duckdb.connect('mydb.duckdb')

# 查询 Pandas DataFrame
df = pd.DataFrame({'a': [1, 2, 3], 'b': ['x', 'y', 'z']})
result = con.execute("SELECT a + 1, b FROM df WHERE a > 1").fetchdf()
print(result)

# 直接查询 Parquet 文件
parquet_result = con.execute("SELECT * FROM 'data.parquet' WHERE date > '2023-01-01'").fetchdf()

# 关闭连接
con.close()
```

原文出处：http://malaoshi.top/show_1GW1di6HQk1A.html