Langchain-chatchat-0.3.1版本部署流程以及对接Oracle数据库查询,text2sql工具使用,解决连接Oracle数据库BUG报错问题
llm,db,# 检查 result['intermediate_steps'] 是否为列表,并包含字典# 提取生成的 SQL 语句# 如果是字符串,尝试解析并提取SQL语句print(f"警告:最后一步是字符串,尝试解析: {last_step}")# 移除可能出现的反引号和其他多余字符# 移除可能多余的 "Query:" 前缀else:else:# 打印原始 SQL 语句print("原始 S
·
一.我们需要从git hub上将langchain-chatchat-0.3.1这个项目给拉取下来,接着部署项目,我们试着根据官方提供的README将整个项目跑通。
1.本次基于autodl服务器实现部署,先租对应的服务器
(1).注册好autodl账户之后,开始租服务器,这里以glm4-9b-chat这个模型为例,地区我租的西北B区的,GPU我选择的是RTX4090(一张),基础镜像选择的是Pytorch-2.3.0-python-3.12(ubuntu22.04)- cuda版本12.1。
二. 部署langchain-chatchat-0.3.1项目
1.先从github上将新版本的项目拉取下来,指令如下
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
2.需要新建两个不同的虚拟环境,一个为了运行模型,一个为了运行项目代码,第一个虚拟环境为了存储模型所需要的环境
conda create -n llm_tl python==3.11
3.对于一个全新的机子来说新建完虚拟环境无法做到直接激活,重新加载你的shell配置
输入以下指令,
source ~/.bashrc
conda init
4.开始激活新建好的环境
conda activate llm_tl
5.首先进行模型推理框架的运行,并加载所需使用的模型
如果你希望能够推理所有支持的模型,可以用以下命令安装所有需要的依赖:
pip install "langchain-chatchat[xinference]" -U
pip install "xinference[all]" -i https://pypi.tuna.tsinghua.edu.cn/simple
6.PyTorch(transformers) 引擎支持几乎有所的最新模型,这是 Pytorch 模型默认使用的引擎:
pip install "xinference[transformers]" -i https://pypi.tuna.tsinghua.edu.cn/simple
7.安装 xinference 和 vLLM:
pip install "xinference[vllm]"
8.Xinference 通过 llama-cpp-python
支持 gguf
和 ggml
格式的模型。建议根据当前使用的硬件手动安装依赖,从而获得最佳的加速效果。初始步骤:
pip install xinference -i https://pypi.tuna.tsinghua.edu.cn/simple
9.安装英伟达显卡:
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python -i https://pypi.tuna.tsinghua.edu.cn/simple
10.SGLang 具有基于 RadixAttention 的高性能推理运行时。它通过在多个调用之间自动重用KV缓存,显著加速了复杂 LLM 程序的执行。它还支持其他常见推理技术,如连续批处理和张量并行处理。
pip install 'xinference[sglang]' -i https://pypi.tuna.tsinghua.edu.cn/simple
11.本地运行Xinference,让我们以一个经典的大语言模型 glm4-9b-chat 来展示如何在本地用 Xinference 运行大模型,我这里自定义了一个存储日志文件和大模型,embidding模型的路径,如果不自定义一个路径将会下载到默认的一个路径下,这样很容易将我们的系统盘给撑爆,以魔塔社区下载模型为例。
XINFERENCE_HOME=/root/autodl-tmp/xinference XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997
12.我们启动模型有两种方式一种是通过指令来下载模型,或者我们运行起9997端口号下的地址手动下载模型,
指令下载方式
xinference launch --model-engine vllm --model-name glm4-chat --size-in-billions 9 --model-format pytorch --quantization none
手动下载方式
13.以使用 --model-uid
或者 -u
参数指定模型的 UID,如果没有指定,Xinference 会随机生成一个 ID,下面的命令就是手动指定了 ID 为glm4-chat :
xinference list
14. 大模型下载好之后,我们开始下载embidding模型,这里也是两种下载方式,官方地址如下bge-large-zh-v1.5 — Xinference这里我选择的是bge-large-zh-v1.5
XINFERENCE_HOME=/root/autodl-tmp/xinference XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997
xinference launch --model-name bge-large-zh-v1.5 --model-type embedding
三.部署项目
硬件方面,因 0.3.1 版本已修改为支持不同模型部署框架接入,因此可在 CPU、GPU、NPU、MPS 等不同硬件条件下使用。
1.创建一个虚拟环境
conda create -n chatchat_0.3.1 python==3.11
conda activate chatchat_0.3.1
2.安装Langchain-Chatchat
(1)从 0.3.0 版本起,Langchain-Chatchat 提供以 Python 库形式的安装方式,具体安装请执行:
pip install langchain-chatchat -U
(2)从 0.3.1 版本起,Langchain-Chatchat 使用本地 yaml
文件的方式进行配置,用户可以直接查看并修改其中的内容,服务器会自动更新无需重启,若不设置该环境变量,则自动使用当前目录。
# on linux or macos
export CHATCHAT_ROOT=/path/to/chatchat_data
(3)执行初始化
chatchat init
该命令会执行以下操作:
-
创建所有需要的数据目录
-
复制 samples 知识库内容
-
生成默认
yaml
配置文件
3. 修改配置文件
# 默认选用的 LLM 名称
DEFAULT_LLM_MODEL: qwen1.5-chat
# 默认选用的 Embedding 名称
DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5
# 将 `LLM_MODEL_CONFIG` 中 `llm_model, action_model` 的键改成对应的 LLM 模型
# 在 `MODEL_PLATFORMS` 中修改对应模型平台信息
配置知识库路径(basic_settings.yaml)(可选)
默认知识库位于 CHATCHAT_ROOT/data/knowledge_base
,如果你想把知识库放在不同的位置,或者想连接现有的知识库,可以在这里修改对应目录即可。
4.初始化知识库
进行知识库初始化前,请确保已经启动模型推理框架及对应 embedding
模型。
chatchat kb -r
初始化知识库最常见的报错信息是
Traceback (most recent call last):
File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/init_database.py", line 156, in main
folder2db(kb_names=args.kb_name, mode="recreate_vs", embed_model=args.embed_model)
File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/server/knowledge_base/migrate.py", line 130, in folder2db
kb.create_kb()
File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/server/knowledge_base/kb_service/base.py", line 80, in create_kb
self.do_create_kb()
File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/server/knowledge_base/kb_service/faiss_kb_service.py", line 51, in do_create_kb
self.load_vector_store()
File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/server/knowledge_base/kb_service/faiss_kb_service.py", line 28, in load_vector_store
return kb_faiss_pool.load_vector_store(kb_name=self.kb_name,
File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/server/knowledge_base/kb_cache/faiss_cache.py", line 132, in load_vector_store
raise RuntimeError(f"向量库 {kb_name} 加载失败。")
RuntimeError: 向量库 samples 加载失败。
遇到类似加载向量库失败的报错,缺少一个faiss这个包,这个时候需要再安装一个faiss的包
pip install faiss-cpu==1.7.4
pip install rank_bm25 -i https://mirrors.aliyun.com/pypi/simple
5.出现以下日志即为成功:
----------------------------------------------------------------------------------------------------
知识库名称 :samples
知识库类型 :faiss
向量模型: :bge-large-zh-v1.5
知识库路径 :/root/anaconda3/envs/chatchat/lib/python3.11/site-packages/chatchat/data/knowledge_base/samples
文件总数量 :47
入库文件数 :42
知识条目数 :740
用时 :0:02:29.701002
----------------------------------------------------------------------------------------------------
总计用时 :0:02:33.414425
6.启动项目
chatchat start -a
四.在autodl服务器上安装oracle客户端
1. 下载Oracle 11g Instant Client
从Oracle官方网站下载适用于Linux的Oracle 11g Instant Client基本包和SQL*Plus包。例如:
instantclient-basic-linux.x64-11.2.0.4.0.zip
instantclient-sqlplus-linux.x64-11.2.0.4.0.zip
2. 解压安装包
进入你下载文件的目录,然后解压缩下载的zip文件:
unzip instantclient-basic-linux.x64-11.2.0.4.0.zip -d /opt/oracle
unzip instantclient-sqlplus-linux.x64-11.2.0.4.0.zip -d /opt/oracle
解压后会在 /opt/oracle 目录中生成一个 instantclient_11_2 目录。
3. 设置环境变量
打开 .bashrc 文件并编辑,以便每次启动终端时自动加载Oracle的环境变量:
vi ~/.bashrc
在文件末尾添加以下内容:
export ORACLE_HOME=/opt/oracle/instantclient_11_2
export LD_LIBRARY_PATH=$ORACLE_HOME:/usr/local/nvidia/lib:/usr/local/nvidia/lib64
export PATH=$ORACLE_HOME:$PATH
保存并关闭文件,然后使这些更改生效:
source ~/.bashrc
4. 创建必要的符号链接
确保 libclntsh.so 和其他库文件可被正确识别。如果只存在 libclntsh.so.11.1 文件,创建符号链接:
ln -s /opt/oracle/instantclient_11_2/libclntsh.so.11.1 /opt/oracle/instantclient_11_2/libclntsh.so
5. 安装 libaio 库
确保安装了 libaio 库,这是Oracle Instant Client的一个依赖项:
sudo apt-get install libaio1 # Debian/Ubuntu
sudo yum install libaio # Red Hat/CentOS
6. 检查和调整库文件权限
确保 instantclient_11_2 目录中的所有库文件都有正确的读取权限:
chmod +r /opt/oracle/instantclient_11_2/*.so
7. 验证SQL*Plus
运行以下命令以验证SQL*Plus是否成功安装并正确配置:
sqlplus -v
8. 测试 cx_Oracle 安装
编写并运行一个简单的Python脚本,验证 cx_Oracle 是否能够正确加载Oracle Instant Client库:
import cx_Oracle
print(cx_Oracle.clientversion())
运行脚本:
python /path/to/your/script.py
如果输出 (11, 2, 0, 4, 0),说明安装成功。
9. 解决 DPI-1047 错误
如果遇到 DPI-1047 错误,确保 LD_LIBRARY_PATH 设置正确,并且包含
重启应用进程或终端以确保环境变量生效。
/opt/oracle/instantclient_11_2。你可以使用以下命令检查和修复路径:
echo $LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/oracle/instantclient_11_2:/usr/local/nvidia/lib:/usr/local/nvidia/lib64
10. 重启系统或服务(必要)
在修改环境变量后,重启系统或者服务,确保所有进程加载正确的环境变量。
11. 连接到Oracle数据库
最后,使用SQL*Plus连接到你的Oracle数据库,确保一切工作正常:
sqlplus username/password@//hostname:port/SID
通过以上步骤,Oracle 11g Instant Client 应该在你的Linux系统上成功安装并配置好。
五.修改chatchat源码
官方给定的代码生成的sql语句不太符合oracle数据库的sql语句,这个时候我们需要对生成的sql语句进行一个修改,是他变成支持oracle查询的sql语句,我们需要改两个代码文件地址
1.text2sql.py
miniconda3/envs/chat_0.3.1/lib/python3.11/site-packages/chatchat/server/agent/tools_factory/text2sql.py
def query_database(query: str, config: dict):
model_name = config["model_name"]
top_k = config["top_k"]
return_intermediate_steps = config["return_intermediate_steps"]
sqlalchemy_connect_str = config["sqlalchemy_connect_str"]
db = SQLDatabase.from_uri(sqlalchemy_connect_str)
from chatchat.server.utils import get_ChatOpenAI
llm = get_ChatOpenAI(
model_name=model_name,
temperature=0.1,
streaming=True,
local_wrap=True,
verbose=True,
)
table_names = config["table_names"]
result = None
if len(table_names) > 0:
db_chain = SQLDatabaseChain.from_llm(
llm,
db,
verbose=True,
top_k=top_k,
return_intermediate_steps=return_intermediate_steps,
)
result = db_chain.invoke({"query": query, "table_names_to_use": table_names})
# 检查 result['intermediate_steps'] 是否为列表,并包含字典
if isinstance(result['intermediate_steps'], list):
last_step = result['intermediate_steps'][-1]
if isinstance(last_step, dict) and 'sql_cmd' in last_step:
# 提取生成的 SQL 语句
sql_cmd = last_step['sql_cmd']
elif isinstance(last_step, str):
# 如果是字符串,尝试解析并提取SQL语句
print(f"警告:最后一步是字符串,尝试解析: {last_step}")
sql_cmd = last_step.split("SQLQuery:")[-1].strip()
# 移除可能出现的反引号和其他多余字符
sql_cmd = sql_cmd.replace('```sql', '').replace('```', '').strip()
# 移除可能多余的 "Query:" 前缀
sql_cmd = sql_cmd.replace('Query:', '').strip()
else:
raise TypeError(
f"Unexpected format in last intermediate step. Expected a dictionary with 'sql_cmd' key or a parsable string, got: {last_step}")
else:
raise TypeError(
f"Unexpected format in intermediate_steps. Expected a list, got: {type(result['intermediate_steps'])}")
# 打印原始 SQL 语句
print("原始 SQL 语句:", sql_cmd)
# 修正 Oracle 不支持的 FETCH NEXT 语法
if re.search(r'FETCH (FIRST|NEXT) \d+ ROWS ONLY', sql_cmd, re.IGNORECASE):
match = re.search(r'FETCH (FIRST|NEXT) (\d+) ROWS ONLY', sql_cmd, re.IGNORECASE)
if match:
limit = match.group(2)
# 将 SQL 查询封装到一个子查询中,然后用 ROWNUM 限制行数
sql_cmd = re.sub(r'SELECT', f'SELECT * FROM (SELECT', sql_cmd, flags=re.IGNORECASE)
sql_cmd = re.sub(r'FETCH (FIRST|NEXT) \d+ ROWS ONLY', f') WHERE ROWNUM <= {limit}', sql_cmd,
flags=re.IGNORECASE)
print("已修正 SQL 语法:", sql_cmd)
else:
print("无需修正的 SQL 语法:", sql_cmd)
# 移除表名和列名中的双引号
sql_cmd = re.sub(r'"(\w+)"', r'\1', sql_cmd)
# 移除可能多余的分号以避免 ORA-00911 错误
sql_cmd = sql_cmd.rstrip(';')
try:
# 执行调整后的 SQL 查询
final_result = db.run(sql_cmd)
print("执行的最终 SQL 语句:", sql_cmd)
except Exception as e:
print(f"执行 SQL 查询时出错: {e}")
raise e
context = f"""查询结果: {final_result}\n\n"""
return context
2.base.py
miniconda3/envs/chat_0.3.1/lib/python3.11/site-packages/langchain_experimental/sql/base.py
3.修改之后我们就可以正常使用数据库查询的工具进行查询
六.当我们关掉服务器之后,再次开机的时候,这时候我们需要在启动项目前先将xinference上的大模型和embidding模型启动起来,再次启动项目,否则项目启动起来会报错。
XINFERENCE_HOME=/root/autodl-tmp/xinference XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997
1.执行完之后我们需要在Xinference上手动将大模型和embidding模型给启动起来。
2.启动之后我们就会有这样的结果
3.启动项目指令如下:
export CHATCHAT_ROOT=/root/autodl-tmp/Langchain-Chatchat/to/chatchat_data
chatchat init
export CHATCHAT_ROOT=/root/autodl-tmp/Langchain-Chatchat/to/chatchat_data
chatchat start -a
更多推荐
已为社区贡献1条内容
所有评论(0)