介绍
DuckDB 是一款开源的嵌入式分析型数据库，专注于 OLAP（联机分析处理）场景，以高性能、轻量级和易用性为核心特点。它设计的初衷是为了填补传统数据库在单机分析场景中的空白，尤其适合处理中等规模数据（GB 到 TB 级别）的快速查询和分析任务。
核心特点
嵌入式架构
- 无需独立服务器进程，直接嵌入到应用程序中（支持 C/C++、Python、R、Java、C# 等多种语言），通过库文件（如
.dll、.so）调用，部署简单。 - 数据存储在单一文件中（类似 SQLite），便于管理和移植。
- 无需独立服务器进程，直接嵌入到应用程序中（支持 C/C++、Python、R、Java、C# 等多种语言），通过库文件（如
高性能分析
- 采用 列式存储 优化，针对读密集型分析场景（如聚合、过滤、Join 等）设计，查询速度远超传统行式数据库（如 SQLite）。
- 支持 向量执行引擎 和 查询优化器，能高效处理复杂 SQL 语句（如多表关联、窗口函数等）。
- 内置并行查询能力，可充分利用多核 CPU 资源。
兼容 SQL 标准
- 支持绝大多数 SQL 功能，包括复杂查询、事务（ACID 兼容）、视图、触发器等。
- 对数据分析常用语法友好，如
GROUP BY、JOIN、CTE（公用表表达式）、窗口函数等。
丰富的数据格式支持
- 可直接查询多种外部数据源，无需先导入数据库，例如：
- CSV、Parquet、JSON 等文件格式。
- Pandas DataFrame（Python）、Arrow 表格等内存数据结构。
- 甚至可以连接外部数据库（如 PostgreSQL、MySQL）进行联邦查询。
- 可直接查询多种外部数据源，无需先导入数据库，例如：
轻量级与低资源占用
- 安装包体积小（仅几 MB），内存占用可控，适合在笔记本、边缘设备或容器中运行。
- 无状态设计，无需复杂配置，开箱即用。
适用场景
- 数据分析与探索：快速处理本地数据文件（如 Parquet、CSV），执行即席查询。
- 嵌入式应用：集成到工具或应用程序中，提供本地数据分析能力（如 BI 工具、报表软件）。
- 数据预处理：在机器学习流水线中用于数据清洗、转换和特征工程。
- 替代 SQLite 做分析：当 SQLite 的查询性能无法满足分析需求时，DuckDB 是更优选择。
与其他工具的对比
| 工具 | 特点 | 适用场景 |
|---|---|---|
| DuckDB | 嵌入式、列式存储、OLAP 优化 | 单机快速分析、中等规模数据 |
| SQLite | 嵌入式、行式存储、OLTP 优化 | 轻量事务型应用、小数据存储 |
| PostgreSQL | 客户端/服务器架构、功能全面 | 多用户协作、大型应用 |
| Spark | 分布式计算框架、支持 PB 级数据 | 分布式集群、超大规模数据 |
开源与生态
- 开源协议：MIT 许可证（完全免费，可商用）。
- 社区活跃：持续迭代更新，支持多种编程语言接口和工具集成（如 Jupyter、DBeaver 等）。
如果需要在单机环境中高效处理分析型任务，DuckDB 是一个非常值得尝试的工具，尤其适合数据科学家、分析师和需要嵌入式数据分析能力的开发者。
基本使用示例（Python）
安装
通过 pip 安装 DuckDB：
pip install duckdb
简单查询
直接查询内存数据或文件：
import duckdb
import pandas as pd
# 连接数据库（文件不存在则自动创建）
con = duckdb.connect('mydb.duckdb')
# 查询 Pandas DataFrame
df = pd.DataFrame({'a': [1, 2, 3], 'b': ['x', 'y', 'z']})
result = con.execute("SELECT a + 1, b FROM df WHERE a > 1").fetchdf()
print(result)
# 直接查询 Parquet 文件
parquet_result = con.execute("SELECT * FROM 'data.parquet' WHERE date > '2023-01-01'").fetchdf()
# 关闭连接
con.close()