HDFS 透明加密与 HBase 列级加密配置实战

一、HDFS 透明加密配置

HDFS 透明加密通过密钥管理服务（KMS）实现端到端数据保护，全程对用户透明。

配置步骤：

1. 启动 KMS 服务
   修改 kms-site.xml 配置文件：

   <property>
     <name>hadoop.kms.key.provider.uri</name>
     <value>jceks://file@/${user.home}/kms.keystore</value>
   </property>
   

2. 创建加密区域
   在 NameNode 执行命令：

   hdfs crypto -createZone -keyName my_key -path /secure_data
   

   其中 my_key 是预生成的 AES-256 密钥。

3. 验证加密状态

   hdfs crypto -listZones  # 显示所有加密区域
   

数据流验证：

• 写入 /secure_data 的数据自动加密为密文块
• 读取时通过 KMS 自动解密

二、HBase 列级加密配置

HBase 列级加密基于 HFile v3 格式，支持按列族粒度加密。

配置步骤：

1. 启用 HBase 加密
   在 hbase-site.xml 添加：

   <property>
     <name>hbase.crypto.keyprovider</name>
     <value>org.apache.hadoop.hbase.io.crypto.KeyStoreKeyProvider</value>
   </property>
   <property>
     <name>hbase.crypto.keyprovider.parameters</name>
     <value>jceks:///tmp/hbase-secure.jceks</value>
   </property>
   

2. 创建加密列族
   建表时指定加密算法（如 AES）：

   CREATE 'sensitive_table', { 
     NAME => 'cf_encrypted', 
     ENCRYPTION => 'AES', 
     ENCRYPTION_KEY => 'my_hbase_key' 
   }
   

3. 数据读写验证

   hbase shell> put 'sensitive_table', 'row1', 'cf_encrypted:name', 'Alice' 
   hbase shell> scan 'sensitive_table'  # 返回明文"Alice"
   

三、联合配置实战案例

场景： 在加密的 HDFS 分区上部署加密的 HBase 表

1. HDFS 层：创建加密区域 /hbase_encrypted
2. HBase 层：将 hbase.rootdir 指向该路径

   <property>
     <name>hbase.rootdir</name>
     <value>hdfs://namenode:8020/hbase_encrypted</value>
   </property>
   

3. 效果：
   • 数据在 HDFS 存储时自动加密
   • HBase 列族数据二次加密
   • 满足合规要求：$$ \text{安全层级} = \text{HDFS}{AES} \oplus \text{HBase}{AES} $$

注意：密钥需通过 KMS 统一管理，避免硬编码在配置文件中。测试环境推荐使用 Hadoop KMS + Java KeyStore，生产环境需集成 Ranger KMS 或 HashiCorp Vault。