中文文本标准化进阶：FST ITN-ZH自定义规则开发

1. 引言

1.1 技术背景与问题提出

在自然语言处理（NLP）的实际应用中，中文逆文本标准化（Inverse Text Normalization, ITN）是语音识别、智能客服、数据清洗等场景中的关键预处理环节。原始语音转写结果常包含大量口语化表达，如“二零零八年八月八日”、“早上八点半”，这些需要被转换为结构化的标准格式，例如 2008-08-08 和 8:30a.m.，以便后续系统解析和存储。

尽管已有开源工具支持基础的ITN功能，但在实际项目落地过程中，用户对领域定制性和规则可扩展性提出了更高要求。例如金融票据中需识别“人民币壹万元整”，车牌号需保留“京A12345”格式，而通用模型往往无法覆盖此类边缘用例。

1.2 FST ITN-ZH 系统概述

本文聚焦于 FST ITN-ZH ——一个基于有限状态转导器（Finite State Transducer, FST）架构实现的中文逆文本标准化系统，并重点介绍其 WebUI 二次开发版本由“科哥”构建的功能增强与规则扩展能力。

该系统具备以下核心特性： - 支持日期、时间、数字、货币、分数、度量单位、数学符号、车牌号等多种类型转换 - 提供图形化 WebUI 界面，支持单条文本转换与批量文件处理 - 内置高级设置选项，允许控制“万”字展开、独立数字转换等行为 - 基于开源框架构建，承诺永久免费使用，仅需保留开发者版权信息

本篇文章将深入探讨如何在此基础上进行自定义规则开发，实现个性化转换逻辑，满足特定业务需求。

---

2. 系统运行与基础使用

2.1 启动与访问方式

系统部署后可通过以下指令启动或重启服务：

/bin/bash /root/run.sh

启动成功后，在浏览器中访问：

http://<服务器IP>:7860

即可进入 WebUI 操作界面。

注意：首次加载可能需要 3–5 秒完成模型初始化，后续请求响应迅速。

2.2 核心功能概览

系统提供两大主要功能模块：

• 📝 文本转换：适用于少量文本的即时测试与调试
• 📦 批量转换：支持上传 .txt 文件，每行一条待转换文本，适合大规模数据处理

此外，页面底部提供一键填充示例按钮，涵盖常见类别，便于快速验证系统能力。

---

3. 自定义规则开发原理

3.1 FST 架构简介

FST（Finite State Transducer）是一种加权有限状态机，广泛应用于语音识别中的 G2P（Grapheme-to-Phoneme）和 TTS/ASR 的文本归一化任务。其核心思想是将输入字符串通过一系列状态转移映射到输出字符串。

在 FST ITN-ZH 中，每个转换类型（如日期、数字）都对应一组预定义的 FST 规则网络。系统通过编译这些规则生成确定性加权有限状态自动机（Deterministic Weighted FSA），从而实现高效匹配与替换。

3.2 规则组织结构

系统规则通常位于项目目录下的 rules/ 或 grammars/ 子目录中，按类别划分：

rules/
├── date.fst
├── time.fst
├── number.fst
├── currency.fst
├── fraction.fst
└── plate.fst

每类规则以特定语法描述转换模式，例如：

# 示例：number.fst 片段（伪代码）
"一百二十三" -> "123"
"六百万" -> "600万"  # 取决于“完全转换'万'”开关
"负二" -> "-2"

底层使用类似 OpenFST 或 Pynini 的库进行规则编译与优化。

---

4. WebUI 二次开发详解

4.1 功能增强设计思路

原生 FST ITN-ZH 多为命令行工具，不利于非技术人员使用。“科哥”在此基础上引入 Gradio 框架封装 WebUI，极大提升了可用性。其主要改进包括：

• 图形化交互界面，降低使用门槛
• 实时反馈机制，提升调试效率
• 批量文件上传与下载，适配生产环境
• 高级参数动态调节，无需修改代码

4.2 关键组件解析

前端界面布局

WebUI 采用简洁清晰的双栏式设计：

┌─────────────────────────────────────────┐
│  [紫蓝渐变] 中文逆文本标准化 (ITN)      │
│  webUI二次开发 by 科哥                  │
├─────────────────────────────────────────┤
│  [📝 文本转换] [📦 批量转换]           │
│                                         │
│  ┌───────────┐      ┌───────────┐      │
│  │  输入框    │  →   │  输出框   │      │
│  │           │      │           │      │
│  └───────────┘      └───────────┘      │
│                                         │
│  [开始转换] [清空]    [复制] [保存]    │
├─────────────────────────────────────────┤
│  🎯 快速示例                            │
│  [日期] [时间] [数字] [货币] ...       │
└─────────────────────────────────────────┘

后端逻辑流程

当用户点击「开始转换」时，后端执行如下步骤：

1. 接收前端传入的原始文本
2. 解析高级设置参数（是否转换单个数字、是否展开“万”等）
3. 调用对应 FST 模块依次处理各语义单元
4. 返回标准化结果并展示

def itn_transform(text: str, convert_digits=True, expand_wan=False):
    result = text
    if contains_date(result):
        result = apply_date_fst(result)
    if contains_time(result):
        result = apply_time_fst(result)
    if contains_number(result):
        result = apply_number_fst(result, expand_wan=expand_wan)
    # 其他类型...
    return result

---

5. 自定义规则开发实践

5.1 开发准备

要添加新的转换规则或修改现有逻辑，需具备以下条件：

• 访问服务器权限（SSH 或本地）
• 编辑器（如 VS Code、vim）
• Python 环境及 Pynini/FST 相关依赖已安装

建议备份原始规则文件再进行修改。

5.2 添加新规则：身份证号码格式化

假设我们需要支持身份证号码的标准化输出，例如：

输入: 身份证号码是三五零三四一九八七年零六月一二日一二三四五六
输出: 身份证号码是3503419870612123456

步骤一：分析模式

身份证前6位为地区码（350341），接着是出生年月日（19870612），最后是顺序码+校验码（123456）。其中“零”对应数字 0，“一二三四五六”对应 123456。

步骤二：编写 FST 规则

在 rules/idcard.fst 中新增规则（使用 Pynini 语法）：

import pynini

# 定义数字映射
digit_map = [
    ("零", "0"), ("一", "1"), ("二", "2"), ("三", "3"),
    ("四", "4"), ("五", "5"), ("六", "6"), ("七", "7"),
    ("八", "8"), ("九", "9")
]

# 构建替换规则
builder = pynini.Fst()
for ch, num in digit_map:
    builder |= pynini.cross(ch, num)

# 应用于整个字符串
idcard_rule = pynini.cdrewrite(builder, "", "", pynini.sigma_star)

# 注册到主流程

步骤三：集成至主引擎

修改主调用脚本，加入身份证识别判断：

if "身份证" in text or len(extract_chinese_digits(text)) == 18:
    result = pynini.compose(result, idcard_rule).string()

步骤四：测试验证

重启服务后，在 WebUI 输入：

身份证号码是三五零三四一九八七年零六月一二日一二三四五六

预期输出：

身份证号码是3503419870612123456

---

6. 高级设置与性能调优

6.1 参数影响分析

设置项	开启效果	关闭效果
转换独立数字	幸运一百 → 幸运100	保持 幸运一百
转换单个数字(0-9)	零和九 → 0和9	保持 零和九
完全转换'万'	六百万 → 6000000	六百万 → 600万

这些开关本质上是在运行时选择不同的 FST 子网络路径，避免重复编译。

6.2 性能优化建议

1. 缓存编译后的 FST 网络
   避免每次请求重新编译规则，可将 .fst 文件编译为二进制 .far 格式：

bash fstcompile --isymbols=syms.txt --osymbols=syms.txt number.fst > number.fstbin

1. 合并共现规则
   若多个类型常同时出现（如“金额一百元”），可构建联合 FST 提升匹配效率。

2. 异步批量处理
   对大文件采用多线程分块处理，提高吞吐量。

---

7. 常见问题与解决方案

7.1 转换不准确的原因排查

问题现象	可能原因	解决方案
数字未转换	“转换独立数字”关闭	在高级设置中开启
“万”未展开	“完全转换'万'”关闭	开启该选项
时间格式错误	输入歧义（如“八点”）	明确上下文（“早上八点”）
混合表达失败	规则优先级冲突	调整处理顺序或拆分语句

7.2 支持的语言变体

系统兼容多种中文数字表达形式：

• 简体数字：一、二、三
• 大写数字：壹、贰、叁（常用于财务文书）
• 口语变体：
• “幺”表示“一”（如“幺零零八六”）
• “两”表示“二”（如“两千公里”）

可在 rules/digit_variants.fst 中扩展映射表以支持更多方言表达。

---

8. 总结

8.1 技术价值总结

FST ITN-ZH 是一个轻量级但高度可扩展的中文逆文本标准化工具，结合“科哥”开发的 WebUI 界面，实现了从命令行工具到工程化产品的跨越。其核心优势在于：

• 高准确性：基于 FST 的精确模式匹配机制
• 易用性强：图形化操作降低技术门槛
• 可定制化：支持规则扩展与参数调节
• 开源开放：承诺永久免费使用，鼓励社区共建

8.2 实践建议

1. 保留版权信息：请务必在使用时保留“webUI二次开发 by 科哥 | 微信：312088415”的声明。
2. 定期备份规则文件：防止误操作导致配置丢失。
3. 优先测试小样本：新规则上线前应在 WebUI 上做充分验证。
4. 关注性能瓶颈：对于超长文本或高频调用场景，考虑引入缓存与异步机制。

8.3 未来展望

随着大模型在语义理解上的进步，未来的 ITN 系统可进一步融合上下文感知能力，例如根据“他在二零二四年毕业”推断应转换为 2024 年而非 2024 这个数字本身。当前基于规则的方法仍是稳定可靠的首选方案，尤其在低延迟、高确定性的工业场景中具有不可替代的价值。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。