网易数帆EasyData使用Cloudera CDP、CMP(华为鲲鹏版)作为底座的AI功能操作步骤

网易数帆 EasyData针对 Cloudera CDP 或华为 CMP（Cloud Data AI Platform，类 CDP 的鲲鹏 ARM 版）的“一键式 AI 功能集成”标准操作流程。但基于其 通用 JDBC/ODBC 数据源接入能力 + 内置 AI 引擎（如 NL2SQL、智能建模、预测分析），可通过定制化配置实现以 CDP/CMP 为底座的 AI 增强型 BI 分析。

以下为可落地的操作步骤指南，适用于企业级混合架构场景（如：数据存于 CDP/CMP，AI 分析由 EasyData 提供）：

✅ 一、整体架构目标

核心原则：CDP/CMP 仅作为 高性能数据存储与计算引擎，所有 AI 逻辑由 EasyData 执行（或调用其内置 Spark ML 引擎）。

✅ 二、前置条件检查

项目	要求
CDP / CMP 状态	- 已启用 Impala 或 HiveServer2 - 开放 JDBC 端口（Impala: 21050, Hive: 10000） - 允许外部 IP 访问（或打通网络策略）
认证方式	- 无 Kerberos：直接用户名/密码 - 有 Kerberos：需在 EasyData 服务器配置 krb5.conf + keytab（见下文）
EasyData 版本	≥ v3.5（2025年后版本，支持 ARM64 及外部数据源 AI 建模）
驱动文件	- Impala：ImpalaJDBC42.jar - Hive：hive-jdbc-standalone.jar

✅ 三、详细操作步骤

▶ 步骤 1：在 EasyData 中注册 CDP/CMP 为外部数据源

• 登录 EasyData 管理后台 → 进入「数据源管理」；
• 点击「新增数据源」→ 选择类型：
  • 若使用 Impala：选 “其他数据库 → 通用 JDBC”；
  • 若使用 Hive：选 “Hive”（推荐，兼容性更好）；
• 填写连接信息：

🔹 示例（Cloudera CDP / 华为 CMP Impala）：

驱动类名：com.cloudera.impala.jdbc42.Driver

JDBC URL：jdbc:impala://<impala-coordinator-host>:21050/default;AuthMech=3;UID=hive;PWD=

用户名：hive（或指定账号）

密码：（按实际填写，若为空则留空）

🔹 示例（Kerberos 认证，CDP 启用安全模式）：

⚠️ EasyData 需部署在 Linux 服务器，并提前配置：

# /etc/krb5.conf 已配置 KDC

# /opt/finebi/finebi.keytab 存在

在 EasyData 数据源界面：

• 认证方式：Kerberos
• Principal：finebi@YOUR-REALM.COM
• 上传 krb5.conf 和 finebi.keytab

• 点击「测试连接」→ 成功后保存。

▶ 步骤 2：同步元数据并创建逻辑表

• 在数据源详情页 → 点击「同步表结构」；
• 选择业务库（如 ods_sales, dwd_user）；
• 为字段添加中文别名和业务口径说明（提升 ChatBI 准确率）；
• 将表加入「数据资产目录」。

▶ 步骤 3：启用 AI 功能（关键步骤）

🌟 场景 1：ChatBI（自然语言问数）

• 进入「智能问答」模块；
• 选择已注册的 CDP/CMP 数据源；
• 用户输入：“上月销售额最高的省份是？”
• EasyData 自动：
  • 调用 NL2SQL 引擎（基于垂类大模型）；
  • 生成标准 SQL（适配 Impala/Hive 语法）；
  • 通过 JDBC 下推至 CDP/CMP 执行；
  • 返回结果并自动生成图表+解读。

💡 优化建议：在「语义模型」中预定义“时间维度”、“地域层级”，提升意图识别准确率。

🌟 场景 2：AI 预测分析（如销量预测）

• 创建「自助数据集」→ 关联 CDP/CMP 表；
• 拖入时间字段（如 order_date）和指标（如 sales_amount）；
• 点击「AI 建模」→ 选择「时序预测」；
• EasyData 自动执行以下操作：
  • 从 CDP/CMP 抽取历史数据到本地 Spark 引擎；
  • 自动特征工程（滑动窗口、节假日标记等）；
  • 训练 Prophet / LSTM 模型；
  • 输出未来 30 天预测值；
• 结果可嵌入仪表板，支持动态刷新。

⚠️ 注意：训练过程不发生在 CDP/CMP 上，而是在 EasyData 自带的计算节点（需预留 CPU/内存资源）。

🌟 场景 3：自动异常检测

• 在指标卡上开启「智能预警」；
• EasyData 定期查询 CDP/CMP 最新数据；
• 使用统计模型（如 3σ、EWMA）检测突增/突降；
• 通过钉钉/邮件告警。

✅ 四、华为 CMP（鲲鹏 ARM 版）特殊注意事项

问题	解决方案
JDBC 驱动兼容性	使用 Cloudera 官方 ARM64 版 Impala JDBC 或 华为 MRS 提供的 hive-jdbc-standalone.jar
EasyData 架构支持	确保部署 EasyData ARM64 版本（网易数帆 2025Q4 起提供）
性能调优	在 CMP 中为 BI 查询分配独立 YARN 队列，避免与批处理任务争抢资源
中文编码	设置 JDBC URL 参数：;charset=UTF-8

✅ 五、验证与排错清单

现象	排查点
连接失败	- 网络通不通？telnet host 21050 - 主机名能否解析？检查 /etc/hosts
查询超时	- CDP/CMP 资源不足？查看 Impala Query Profile - SQL 是否含 SELECT *？建议只查必要字段
ChatBI 误解问题	- 字段是否标注中文别名？ - 是否在语义模型中定义了业务术语？
Kerberos 失败	- 时间同步？ntpdate kdc-server - keytab 权限？chmod 600 finebi.keytab

✅ 六、总结：是否推荐？

推荐用于以下场景：

• 企业已投资 CDP/CMP，不愿迁移数据；
• 需要 国产化、私有化 ChatBI + AI 分析；
• IT 团队具备 JDBC 配置与 Kerberos 调试能力。