SiameseUIE实操手册：test.py中正则规则与深度学习模型协同机制

1. 引言：当规则遇上模型

你有没有遇到过这样的场景？面对一段文本，想快速、准确地找出里面所有的人名和地名，但用传统的正则表达式写规则，总是顾此失彼——要么漏掉一些，要么把不是实体的词也抓了出来。更头疼的是，如果文本里既有古代人物又有现代地名，规则就更加复杂难写了。

这就是信息抽取领域的经典难题。传统的纯规则方法灵活但不够智能，容易出错；而纯深度学习模型虽然智能，但在某些特定场景下又显得“杀鸡用牛刀”，不够直观可控。

今天要介绍的SiameseUIE模型，就提供了一种巧妙的思路：让正则规则和深度学习模型协同工作。它部署在了一个开箱即用的镜像里，你不需要懂复杂的模型训练，也不需要配置繁琐的环境，就能直接体验这种“规则+模型”的混合抽取能力。

这篇文章，我就带你深入test.py这个核心脚本，看看它是如何通过简单的代码，实现人物、地点实体的精准、无冗余抽取的。无论你是想快速部署一个信息抽取服务，还是想学习如何将规则与模型结合，这篇文章都能给你实用的参考。

2. 环境准备与快速上手

2.1 镜像环境：开箱即用

这个SiameseUIE镜像最大的优点就是“省心”。它已经帮你解决了所有环境依赖问题：

• 无需安装：基于预置的torch28环境，所有需要的包都已装好。
• 环境兼容：脚本里内置了代码来屏蔽一些可能的环境冲突（比如某些视觉库的缺失），确保模型能稳定加载。
• 重启无忧：缓存文件默认指向/tmp目录，实例重启后自动清理，不会占用你宝贵的系统盘空间。

对于系统盘只有50G的云实例来说，这种设计非常友好。

2.2 三步启动，立即验证

上手只需要三步，比泡一杯咖啡还简单：

# 1. 登录你的云实例（假设你已经部署了该镜像）
ssh your_username@your_instance_ip

# 2. 激活环境（通常登录后已自动激活，如果不确定可以执行）
source activate torch28

# 3. 运行测试脚本
cd ..
cd nlp_structbert_siamese-uie_chinese-base
python test.py

执行完最后一条命令，你会在终端看到类似下面的输出：

✅ 分词器+模型加载成功！

========== 1. 例子1：历史人物+多地点 ==========
文本：李白出生在碎叶城，杜甫在成都修建了杜甫草堂，王维隐居在终南山。
抽取结果：
  - 人物：李白，杜甫，王维
  - 地点：碎叶城，成都，终南山
----------------------------------------

========== 2. 例子2：现代人物+城市 ==========
文本：张三在北京工作，李四在上海生活，王五在深圳创业。
抽取结果：
  - 人物：张三，李四，王五
  - 地点：北京市，上海市，深圳市
----------------------------------------

看到了吗？脚本自动运行了5个内置的测试例子，涵盖了从历史人物到现代地名、从单实体到多实体、甚至无实体的多种场景。每个例子的抽取结果都清晰列出，没有冗余信息。

3. 核心机制揭秘：正则规则如何与模型协同

现在进入正题。test.py脚本的精髓，就在于它实现了一套“规则先行，模型兜底”的协同机制。我拆开给你看。

3.1 脚本的两种抽取模式

脚本主要提供了两种实体抽取的方式，对应不同的使用场景：

模式一：自定义实体模式（默认启用） 这是脚本默认使用的方式，也是最精准的方式。你需要提前告诉脚本：“我在这段文本里，只想找这几个特定的人物和这几个特定的地点。”

# 这是脚本中一个测试例子的配置
{
    "name": "例子1：历史人物+多地点",
    "text": "李白出生在碎叶城，杜甫在成都修建了杜甫草堂，王维隐居在终南山。",
    "schema": {"人物": None, "地点": None},
    "custom_entities": {
        "人物": ["李白", "杜甫", "王维"],
        "地点": ["碎叶城", "成都", "终南山"]
    }
}

在这个模式下，脚本会先用一套精心设计的正则规则，去文本里精确匹配custom_entities里定义的这些实体。因为目标是明确的，所以匹配精度极高，几乎不会出错。

模式二：通用规则模式（按需启用） 如果你不知道文本里具体有哪些实体，或者想看看脚本能自动找出什么，可以用这个模式。只需把custom_entities参数设为None。

# 修改extract_pure_entities函数的调用
extract_results = extract_pure_entities(
    text=example["text"],
    schema=example["schema"],
    custom_entities=None  # 关键在这里，设为None启用通用规则
)

启用后，脚本会运行一套通用的正则规则，比如：

• 人物规则：匹配连续的2-4个中文字符（符合常见中文人名长度）。
• 地点规则：匹配包含“省”、“市”、“区”、“县”、“城”等典型地点后缀的词。

这个模式的优点是全自动，缺点是可能会有误匹配（比如“高山”可能被误判为地点）。

3.2 协同工作流程

那么，规则和模型具体是怎么配合的呢？我画一个简单的流程图帮你理解：

开始抽取
    ↓
是否提供了custom_entities（自定义实体列表）？
    ↓
是                              否
    ↓                               ↓
使用“精确正则匹配”模式       使用“通用正则规则”模式
    ↓                               ↓
用正则规则在文本中                用通用正则找出
精确查找列表中的实体              可能的人物/地点
    ↓                               ↓
直接输出匹配结果                将结果作为提示，
    ↓                          输入深度学习模型
结束                          进行二次校验与精炼
                                ↓
                               输出模型确认后的结果

关键点在于：当使用通用规则模式时，正则规则先做“粗筛”，找出候选实体。这些候选实体再和原始文本一起，输入到SiameseUIE深度学习模型中。模型利用其强大的语义理解能力，判断这些候选实体是否真的是“人物”或“地点”，并修正一些边界错误。

这种协同的好处很明显：

1. 效率高：正则规则快速筛选，减少了模型需要处理的数据量。
2. 精度高：模型对规则结果进行校验，降低了误报率。
3. 可解释：规则部分清晰可控，你知道结果是怎么来的。

3.3 看看代码里是怎么实现的

我们深入到test.py脚本的extract_pure_entities函数中，看看关键部分：

def extract_pure_entities(text, schema, custom_entities=None):
    """
    核心抽取函数
    text: 要处理的文本
    schema: 要抽取的实体类型，如{"人物": None, "地点": None}
    custom_entities: 自定义实体字典，如果为None则使用通用规则
    """
    results = {}
    
    for entity_type in schema.keys():
        if custom_entities and entity_type in custom_entities:
            # 模式一：使用自定义实体列表进行精确匹配
            entity_list = custom_entities[entity_type]
            if entity_list:
                # 这里会调用一个基于正则的精确匹配函数
                matched = exact_match_by_list(text, entity_list, entity_type)
                results[entity_type] = matched
        else:
            # 模式二：使用通用正则规则
            if entity_type == "人物":
                pattern = r'[\u4e00-\u9fa5]{2,4}'  # 匹配2-4个中文字符
            elif entity_type == "地点":
                # 匹配含典型地点后缀的词
                pattern = r'[\u4e00-\u9fa5]+(?:省|市|区|县|州|城|镇|乡|村)'
            else:
                pattern = None
                
            if pattern:
                # 使用正则查找所有匹配
                candidates = re.findall(pattern, text)
                # 这里通常会将candidates和text送入模型进行精炼
                # 为了简化，示例中直接返回候选结果
                results[entity_type] = candidates
    
    return results

当然，真实的脚本中模型交互部分会更复杂，但核心逻辑就是如此：先看有没有定制清单，有就用清单精确抓取；没有就用通用规则粗筛，必要时请模型帮忙把关。

4. 实际应用与效果展示

4.1 多场景测试效果

脚本内置的5个测试例子，很好地展示了其在不同场景下的鲁棒性。我们逐一看看：

场景1：历史人物与古地名混合

• 文本：“李白出生在碎叶城，杜甫在成都修建了杜甫草堂，王维隐居在终南山。”
• 挑战：人物是古代诗人，地名包含“碎叶城”这种古地名。
• 结果：人物和地点全部正确抽取，无遗漏无冗余。

场景2：现代常见人名与大城市

• 文本：“张三在北京工作，李四在上海生活，王五在深圳创业。”
• 挑战：人名非常常见（张三、李四），地点是直辖市和一线城市。
• 结果：正确识别，并将“北京”、“上海”、“深圳”规范化为“北京市”、“上海市”、“深圳市”。

场景3：单个实体对

• 文本：“苏轼被贬黄州期间，创作了《赤壁赋》。”
• 挑战：文本中实体数量少，但信息密度高。
• 结果：准确抽取出“苏轼”（人物）和“黄州”（地点）。

场景4：无实体文本（负样本）

• 文本：“今天天气真好，我准备去公园散步。”
• 挑战：测试模型/规则是否会产生误报。
• 结果：正确返回空列表，说明没有过度抽取。

场景5：冗余文本与混合实体

• 文本：“周杰伦在台北市举办了演唱会，而林俊杰在杭州市的音乐节上表演。”
• 挑战：文本中有冗余信息，实体被其他词汇隔开。
• 结果：准确抽取出“周杰伦”、“林俊杰”和“台北市”、“杭州市”。

4.2 如何添加你自己的测试用例

假设你想分析一段新闻文本，里面提到了几位科学家和他们的研究机构：

# 在test.py中找到test_examples列表，添加一个新的字典
{
    "name": "自定义例子：科学家与研究机构",
    "text": "钱学森曾任职于加州理工学院，杨振宁在普林斯顿高等研究院工作过，而李政道与哥伦比亚大学有密切合作。",
    "schema": {"人物": None, "地点": None},
    "custom_entities": {
        "人物": ["钱学森", "杨振宁", "李政道"],
        "地点": ["加州理工学院", "普林斯顿高等研究院", "哥伦比亚大学"]
    }
}

保存脚本后重新运行python test.py，你就会看到针对这个新例子的抽取结果。这种方式特别适合你有明确实体列表的垂直领域文本。

4.3 启用通用规则模式实战

如果你拿到一段未知文本，比如一段小说节选，想看看里面有哪些可能的人名和地名，可以这样做：

1. 修改脚本：在调用extract_pure_entities的地方，将custom_entities参数改为None。
2. 准备文本：比如用《红楼梦》的开头：“姑苏阊门外有个十里街，街内有个仁清巷，巷内有个古庙，因地方狭窄，人皆呼作葫芦庙。庙旁住着一家乡宦，姓甄名费字士隐。”
3. 查看结果：运行脚本，你会得到类似下面的输出：
   • 人物：[‘甄费’， ‘士隐’] （注：通用规则可能抽取出“仁清”等误报）
   • 地点：[‘姑苏’， ‘阊门外’， ‘十里街’， ‘仁清巷’]

你会发现，通用规则模式能找出很多候选，但也有一些误报（如“仁清”可能不是人名）。这时你可以：

• 手动过滤明显错误的结果。
• 或者，将这些候选实体作为输入，用更复杂的模型进行二次校验。

5. 脚本结构深度解析

5.1 关键文件说明

了解脚本前，先看看工作目录里有哪些重要文件：

nlp_structbert_siamese-uie_chinese-base/
├── vocab.txt        # 分词器的词典，告诉模型如何切分中文
├── pytorch_model.bin # 模型的核心权重文件，包含了学习到的知识
├── config.json      # 模型的“身份证”，定义了结构、参数等
└── test.py          # 我们今天重点分析的脚本，你的主要操作界面

这四个文件一个都不能少：

• 少了vocab.txt，模型看不懂中文。
• 少了pytorch_model.bin，模型就没有“大脑”。
• 少了config.json，程序不知道如何加载这个“大脑”。
• 少了test.py，你就没有操作这个模型的“遥控器”。

5.2 test.py 的核心函数

test.py虽然只有200行左右，但结构清晰，主要包含以下几个函数：

1. load_model_and_tokenizer()

   • 作用：加载SiameseUIE模型和分词器。
   • 关键技巧：函数开头有几行代码专门用于屏蔽环境中可能缺失的视觉库（如detectron2）的导入错误。这是为了让模型能在纯净的NLP环境中运行。

2. exact_match_by_list(text, entity_list, entity_type)

   • 作用：使用正则规则，在文本中精确匹配entity_list中的实体。
   • 实现：它会为列表中的每个实体构建一个正则模式，考虑实体可能出现在不同上下文中的情况（比如前后可能有标点或空格）。

3. extract_pure_entities(text, schema, custom_entities)

   • 作用：整个脚本的“调度中心”，根据参数选择使用哪种抽取模式，并协调规则与模型的配合。
   • 逻辑：就是我们前面详细分析的那个核心逻辑。

4. main()

   • 作用：程序的入口，组织整个测试流程——加载模型、遍历测试例子、调用抽取函数、打印结果。

5.3 环境适配的“黑科技”

这个镜像能在受限环境中运行，test.py里的几行代码功不可没：

# 在文件顶部附近，你会看到这样的代码
import sys
import os

# 屏蔽某些可能不存在的视觉库的导入错误
class DummyModule:
    def __getattr__(self, name):
        return None

sys.modules['detectron2'] = DummyModule()
sys.modules['some_other_vision_lib'] = DummyModule()

这是什么意思呢？原来，有些模型在训练时可能依赖了视觉相关的库，但在我们纯NLP的部署环境中并不需要。这几行代码创建了一个“假模块”，当程序试图导入detectron2等库时，不会报错，而是返回一个无害的None。这样模型就能顺利加载，而不会因为缺少不必要的依赖而崩溃。

6. 常见问题与解决方案

在实际使用中，你可能会遇到一些小问题。这里我总结了几种常见情况：

6.1 问题一：运行命令时提示“目录不存在”

• 现象：执行cd nlp_structbert_siamese-uie_chinese-base时提示No such file or directory。
• 原因：你当前所在的目录不对。
• 解决：严格按照README的顺序：
  1. 先cd ..回到上级目录。
  2. 再cd nlp_structbert_siamese-uie_chinese-base进入模型目录。
  3. 或者直接用绝对路径：cd /path/to/nlp_structbert_siamese-uie_chinese-base

6.2 问题二：抽取结果出现了奇怪的片段

• 现象：比如文本是“杜甫在成都修建草堂”，结果抽出了“杜甫在成”。
• 原因：这通常是因为没有使用自定义实体模式，而通用规则的正则匹配不够精确。
• 解决：确保你的测试例子中正确设置了custom_entities参数，提供了要抽取的实体完整列表。

6.3 问题三：看到关于“权重未初始化”的警告

• 现象：运行脚本时，在加载模型后看到类似部分权重未初始化的警告信息。
• 原因：完全正常！SiameseUIE是在BERT基础上修改的，有些新增的层会随机初始化。
• 解决：无需任何操作，这个警告不影响模型的功能使用。你可以把它理解为：“模型有些部分是新加的，还没学习，但不影响已有功能。”

6.4 问题四：想抽取其他类型的实体怎么办？

• 需求：除了人物、地点，还想抽取时间、组织机构、专业术语等。
• 思路：你可以扩展extract_pure_entities函数：
  1. 在schema中添加新的实体类型，如{"人物": None, "地点": None, "时间": None, "机构": None}。
  2. 在函数中为新的实体类型添加相应的正则规则。例如：
     • 时间：r'\d{4}年\d{1,2}月\d{1,2}日|\d{1,2}月\d{1,2}日'
     • 机构：匹配包含“公司”、“集团”、“大学”、“医院”等后缀的词。
  3. 在custom_entities中提供对应类型的实体列表。

7. 总结与进阶思考

通过这篇实操手册，你应该已经掌握了SiameseUIE模型通过test.py脚本进行信息抽取的核心方法。我们来回顾一下关键点：

7.1 核心价值总结

1. 混合策略的实用性：正则规则与深度学习模型的协同，在信息抽取任务中是一个实用且高效的策略。规则负责快速、精确的匹配，模型负责复杂的语义理解和边界判断。
2. 开箱即用的便捷性：这个镜像封装了所有依赖和环境配置，让你能专注于业务逻辑，而不是环境调试。
3. 灵活的可扩展性：无论是通过custom_entities自定义实体列表，还是修改正则规则，你都能轻松地让脚本适应不同的抽取需求。

7.2 不同场景下的使用建议

• 垂直领域抽取：如果你处理的是特定领域的文本（如医疗、法律、金融），且实体类型相对固定，强烈建议使用自定义实体模式。提前整理好实体词典，抽取准确率接近100%。
• 开放域探索：如果你面对的是未知领域的文本，想探索其中可能存在的实体，可以先使用通用规则模式进行粗筛，然后人工审核结果，或将其作为其他模型的输入。
• 高精度要求场景：对于精度要求极高的场景（如合同关键信息提取），可以在通用规则粗筛后，增加人工校验或引入更复杂的校验模型。

7.3 可能的改进方向

虽然当前的脚本已经相当实用，但如果你有兴趣进一步优化，可以考虑：

1. 规则优化：根据你的具体文本特点，优化正则表达式。比如，如果你主要处理新闻文本，人名可能不止2-4字，可以调整规则。
2. 模型微调：如果你有标注数据，可以对SiameseUIE模型进行微调，让它在你特定领域的文本上表现更好。
3. 结果后处理：添加一些后处理规则，比如对抽取出的地点进行标准化（“北京”→“北京市”）。
4. 性能优化：如果需要处理大量文本，可以考虑批量处理、异步调用等优化手段。

信息抽取是自然语言处理中的基础且重要的任务。SiameseUIE提供的这种“规则+模型”的混合方法，在精度、效率和可解释性之间取得了很好的平衡。希望这篇实操手册能帮助你快速上手，并将这种思路应用到你的实际项目中。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。