pentaho-kettle 与 NoSQL 数据库集成：MongoDB、Cassandra 实战

【免费下载链接】pentaho-kettle pentaho/pentaho-kettle: 一个基于 Java 的数据集成和变换工具，用于实现数据仓库和数据湖的构建。适合用于大数据集成和变换场景，可以实现高效的数据处理和计算。 项目地址: https://gitcode.com/gh_mirrors/pe/pentaho-kettle

pentaho-kettle（又称 Kettle）作为一款基于 Java 的数据集成工具，支持与多种 NoSQL 数据库集成。本文将以 MongoDB 和 Cassandra 为例，介绍通过 pentaho-kettle 实现数据抽取、转换和加载（ETL）的具体步骤，帮助用户快速掌握 NoSQL 数据集成技巧。

环境准备与插件安装

系统要求

• Java JDK 11 及以上
• pentaho-kettle 最新版本（可通过 README.md 中的构建指南获取）
• MongoDB 4.0+ 或 Cassandra 3.11+

必要插件

pentaho-kettle 通过插件机制扩展数据库连接能力。需确保以下插件已安装：

• MongoDB 插件：plugins/mongodb/
• Cassandra 插件：plugins/cassandra/

插件安装方式：

1. 从项目源码构建插件：

mvn clean install -pl plugins/mongodb,plugins/cassandra

2. 将生成的 JAR 文件复制到 pentaho-kettle 的 plugins 目录下

MongoDB 集成实战

连接配置

1. 打开 Spoon（pentaho-kettle 图形化界面），新建数据库连接
2. 选择 "MongoDB" 连接类型，配置连接参数：
   • 主机名：localhost
   • 端口：27017
   • 数据库名称：test
   • 认证方式：根据 MongoDB 配置选择（默认无需认证）

配置文件路径：plugins/mongodb/core/src/main/java/org/pentaho/di/plugin/mongodb/MongoDbConnection.java

数据抽取与加载示例

从 MongoDB 读取数据

使用 "MongoDB Input" 步骤：

1. 拖拽 "MongoDB Input" 组件到转换画布
2. 配置连接信息并选择集合（Collection）
3. 指定查询条件（支持 JSON 格式）：

{ "status": "active" }

4. 预览数据以验证配置

向 MongoDB 写入数据

使用 "MongoDB Output" 步骤：

1. 添加 "MongoDB Output" 组件
2. 选择目标集合，配置写入模式（插入/更新/upsert）
3. 映射输入字段到 MongoDB 文档字段

完整转换示例

转换文件路径：samples/mongodb/mongodb_etl.ktr

Cassandra 集成实战

连接配置

1. 在 Spoon 中新建 "Cassandra" 数据库连接
2. 配置关键参数：
   • 联系人主机：127.0.0.1
   • 端口：9042
   • 密钥空间（Keyspace）：demo
   • 认证提供器：根据 Cassandra 配置选择

配置文件路径：plugins/cassandra/core/src/main/java/org/pentaho/di/plugin/cassandra/CassandraConnection.java

数据操作示例

读取 Cassandra 数据

使用 "Table Input" 组件配合 CQL 查询：

SELECT id, name, email FROM users WHERE status = 'active'

写入 Cassandra 数据

使用 "Cassandra Output" 步骤：

1. 选择目标表和写入策略
2. 配置字段映射关系
3. 设置批处理大小（建议 1000-5000 条/批）

批量数据加载优化

• 启用压缩：在连接配置中设置 compression=SNAPPY
• 调整一致性级别：根据业务需求选择（如 LOCAL_QUORUM）
• 使用令牌感知路由：plugins/cassandra/core/src/main/resources/cassandra-plugin.properties

常见问题与解决方案

连接超时问题

• 检查 MongoDB/Cassandra 服务是否正常运行
• 验证防火墙规则，确保端口开放
• 调整连接超时参数：在连接配置中增加 socketTimeout=30000

数据类型转换错误

pentaho-kettle 提供自动类型转换，但复杂类型需手动处理：

• MongoDB BSON 日期类型 → Kettle 日期类型
• Cassandra UUID 类型 → Kettle String 类型

转换规则参考：plugins/mongodb/core/src/main/java/org/pentaho/di/plugin/mongodb/MongoDbDataConverter.java

性能优化建议

1. 增加批量处理大小（默认 1000 条/批）
2. 使用分区并行处理：在转换中启用多线程
3. 优化查询条件，避免全表扫描

总结与扩展

通过 pentaho-kettle 的 MongoDB 和 Cassandra 插件，用户可轻松实现 NoSQL 数据库的数据集成。关键步骤包括：

1. 安装并配置对应数据库插件
2. 使用专用输入/输出组件构建 ETL 转换
3. 根据数据特性调整性能参数

pentaho-kettle 还支持与其他 NoSQL 数据库集成，如 Redis、HBase 等，相关插件可在 plugins/ 目录下找到。如需进一步扩展，可参考 plugins/development-guide.md 开发自定义插件。

建议结合官方文档 CarteAPIDocumentation.md 探索更多高级功能，如通过 API 调度 NoSQL 数据集成任务。

【免费下载链接】pentaho-kettle pentaho/pentaho-kettle: 一个基于 Java 的数据集成和变换工具，用于实现数据仓库和数据湖的构建。适合用于大数据集成和变换场景，可以实现高效的数据处理和计算。 项目地址: https://gitcode.com/gh_mirrors/pe/pentaho-kettle