IK分词器简介

IK分词器是一款基于Lucene的中文分词工具，支持细粒度切分和智能切分两种模式，广泛应用于Elasticsearch、Solr等全文检索场景。其核心功能包括词典管理、歧义消除和未登录词识别。

安装与配置

Elasticsearch集成
下载对应版本的IK分词器插件（如elasticsearch-analysis-ik），解压至Elasticsearch的plugins目录，重启服务即可生效。

自定义词典扩展
在config/ik目录下创建扩展词典（如my_dict.dic），每行一个词条。修改IKAnalyzer.cfg.xml文件，添加<entry key="ext_dict">my_dict.dic</entry>以启用自定义词典。

分词模式选择

细粒度切分（ik_smart）
适用于精确搜索场景，如搜索“中华人民共和国”时仅返回完整词条：

GET /_analyze  
{  
  "analyzer": "ik_smart",  
  "text": "中华人民共和国"  
}  

智能切分（ik_max_word）
适用于覆盖更多长尾词，如“中华人民共和国”会被拆分为“中华”、“人民”、“共和国”等组合：

GET /_analyze  
{  
  "analyzer": "ik_max_word",  
  "text": "中华人民共和国"  
}  

实战应用示例

Elasticsearch映射配置
在索引设置中指定IK分词器，例如对content字段启用ik_max_word：

PUT /my_index  
{  
  "mappings": {  
    "properties": {  
      "content": {  
        "type": "text",  
        "analyzer": "ik_max_word",  
        "search_analyzer": "ik_smart"  
      }  
    }  
  }  
}  

热更新词典
通过API动态更新词典，无需重启服务：

POST /_ik/hot_upgrade  
{  
  "dict_name": "my_dict.dic",  
  "content": "新词条1\n新词条2"  
}  

性能优化建议

• 避免过度使用ik_max_word，可能增加索引体积。
• 定期维护词典，移除低频词以提升效率。
• 对高并发场景，建议预加载词典到内存。

异常处理

若出现分词不一致，检查词典编码（需UTF-8无BOM格式）或冲突词条。日志中常见的Unrecognized token错误通常由词典格式问题引起。