一.我们需要从git hub上将langchain-chatchat-0.3.1这个项目给拉取下来,接着部署项目,我们试着根据官方提供的README将整个项目跑通。

1.本次基于autodl服务器实现部署,先租对应的服务器

(1).注册好autodl账户之后,开始租服务器,这里以glm4-9b-chat这个模型为例,地区我租的西北B区的,GPU我选择的是RTX4090(一张),基础镜像选择的是Pytorch-2.3.0-python-3.12(ubuntu22.04)- cuda版本12.1。

二. 部署langchain-chatchat-0.3.1项目

1.先从github上将新版本的项目拉取下来,指令如下

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

2.需要新建两个不同的虚拟环境,一个为了运行模型,一个为了运行项目代码,第一个虚拟环境为了存储模型所需要的环境

conda create -n llm_tl python==3.11

3.对于一个全新的机子来说新建完虚拟环境无法做到直接激活,重新加载你的shell配置
输入以下指令,

source ~/.bashrc
conda init
4.开始激活新建好的环境
conda activate llm_tl

5.首先进行模型推理框架的运行,并加载所需使用的模型

如果你希望能够推理所有支持的模型,可以用以下命令安装所有需要的依赖:

pip install "langchain-chatchat[xinference]" -U
pip install "xinference[all]"  -i https://pypi.tuna.tsinghua.edu.cn/simple

6.PyTorch(transformers) 引擎支持几乎有所的最新模型,这是 Pytorch 模型默认使用的引擎:

pip install "xinference[transformers]"  -i https://pypi.tuna.tsinghua.edu.cn/simple

7.安装 xinference 和 vLLM:

pip install "xinference[vllm]"

8.Xinference 通过 llama-cpp-python 支持 gguf 和 ggml 格式的模型。建议根据当前使用的硬件手动安装依赖,从而获得最佳的加速效果。初始步骤:

pip install xinference  -i https://pypi.tuna.tsinghua.edu.cn/simple

9.安装英伟达显卡:

CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python  -i https://pypi.tuna.tsinghua.edu.cn/simple

10.SGLang 具有基于 RadixAttention 的高性能推理运行时。它通过在多个调用之间自动重用KV缓存,显著加速了复杂 LLM 程序的执行。它还支持其他常见推理技术,如连续批处理和张量并行处理。

pip install 'xinference[sglang]'  -i https://pypi.tuna.tsinghua.edu.cn/simple

11.本地运行Xinference,让我们以一个经典的大语言模型 glm4-9b-chat 来展示如何在本地用 Xinference 运行大模型,我这里自定义了一个存储日志文件和大模型,embidding模型的路径,如果不自定义一个路径将会下载到默认的一个路径下,这样很容易将我们的系统盘给撑爆,以魔塔社区下载模型为例。

XINFERENCE_HOME=/root/autodl-tmp/xinference XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997 

12.我们启动模型有两种方式一种是通过指令来下载模型,或者我们运行起9997端口号下的地址手动下载模型,

指令下载方式

xinference launch --model-engine vllm --model-name glm4-chat --size-in-billions 9 --model-format pytorch --quantization none

手动下载方式

13.以使用 --model-uid 或者 -u 参数指定模型的 UID,如果没有指定,Xinference 会随机生成一个 ID,下面的命令就是手动指定了 ID 为glm4-chat :

xinference list

14. 大模型下载好之后,我们开始下载embidding模型,这里也是两种下载方式,官方地址如下bge-large-zh-v1.5 — Xinference这里我选择的是bge-large-zh-v1.5

XINFERENCE_HOME=/root/autodl-tmp/xinference XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997 
xinference launch --model-name bge-large-zh-v1.5 --model-type embedding

三.部署项目

硬件方面,因 0.3.1 版本已修改为支持不同模型部署框架接入,因此可在 CPU、GPU、NPU、MPS 等不同硬件条件下使用。

1.创建一个虚拟环境

conda create -n chatchat_0.3.1 python==3.11
conda activate chatchat_0.3.1

2.安装Langchain-Chatchat

(1)从 0.3.0 版本起,Langchain-Chatchat 提供以 Python 库形式的安装方式,具体安装请执行:
pip install langchain-chatchat -U
(2)从 0.3.1 版本起,Langchain-Chatchat 使用本地 yaml 文件的方式进行配置,用户可以直接查看并修改其中的内容,服务器会自动更新无需重启,若不设置该环境变量,则自动使用当前目录。
# on linux or macos
export CHATCHAT_ROOT=/path/to/chatchat_data
(3)执行初始化
chatchat init

该命令会执行以下操作:

  • 创建所有需要的数据目录

  • 复制 samples 知识库内容

  • 生成默认 yaml 配置文件

3. 修改配置文件

# 默认选用的 LLM 名称
 DEFAULT_LLM_MODEL: qwen1.5-chat

 # 默认选用的 Embedding 名称
 DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5

# 将 `LLM_MODEL_CONFIG` 中 `llm_model, action_model` 的键改成对应的 LLM 模型
# 在 `MODEL_PLATFORMS` 中修改对应模型平台信息

配置知识库路径(basic_settings.yaml)(可选)
默认知识库位于 CHATCHAT_ROOT/data/knowledge_base,如果你想把知识库放在不同的位置,或者想连接现有的知识库,可以在这里修改对应目录即可。

4.初始化知识库

进行知识库初始化前,请确保已经启动模型推理框架及对应 embedding 模型。

chatchat kb -r

初始化知识库最常见的报错信息是

Traceback (most recent call last):
  File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/init_database.py", line 156, in main
    folder2db(kb_names=args.kb_name, mode="recreate_vs", embed_model=args.embed_model)
  File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/server/knowledge_base/migrate.py", line 130, in folder2db
    kb.create_kb()
  File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/server/knowledge_base/kb_service/base.py", line 80, in create_kb
    self.do_create_kb()
  File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/server/knowledge_base/kb_service/faiss_kb_service.py", line 51, in do_create_kb
    self.load_vector_store()
  File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/server/knowledge_base/kb_service/faiss_kb_service.py", line 28, in load_vector_store
    return kb_faiss_pool.load_vector_store(kb_name=self.kb_name,
  File "/Users/hkk/Amap/ai/Langchain-Chatchat/myenv/lib/python3.8/site-packages/chatchat/server/knowledge_base/kb_cache/faiss_cache.py", line 132, in load_vector_store
    raise RuntimeError(f"向量库 {kb_name} 加载失败。")
RuntimeError: 向量库 samples 加载失败。

遇到类似加载向量库失败的报错,缺少一个faiss这个包,这个时候需要再安装一个faiss的包

pip install faiss-cpu==1.7.4
pip install rank_bm25 -i https://mirrors.aliyun.com/pypi/simple

5.出现以下日志即为成功:


----------------------------------------------------------------------------------------------------
知识库名称      :samples
知识库类型      :faiss
向量模型:      :bge-large-zh-v1.5
知识库路径      :/root/anaconda3/envs/chatchat/lib/python3.11/site-packages/chatchat/data/knowledge_base/samples
文件总数量      :47
入库文件数      :42
知识条目数      :740
用时            :0:02:29.701002
----------------------------------------------------------------------------------------------------

总计用时        :0:02:33.414425

6.启动项目

chatchat start -a

四.在autodl服务器上安装oracle客户端

1. 下载Oracle 11g Instant Client
从Oracle官方网站下载适用于Linux的Oracle 11g Instant Client基本包和SQL*Plus包。例如:

instantclient-basic-linux.x64-11.2.0.4.0.zip
instantclient-sqlplus-linux.x64-11.2.0.4.0.zip

2. 解压安装包
进入你下载文件的目录,然后解压缩下载的zip文件:

unzip instantclient-basic-linux.x64-11.2.0.4.0.zip -d /opt/oracle
unzip instantclient-sqlplus-linux.x64-11.2.0.4.0.zip -d /opt/oracle

解压后会在 /opt/oracle 目录中生成一个 instantclient_11_2 目录。

3. 设置环境变量
打开 .bashrc 文件并编辑,以便每次启动终端时自动加载Oracle的环境变量:

vi ~/.bashrc
在文件末尾添加以下内容:
export ORACLE_HOME=/opt/oracle/instantclient_11_2
export LD_LIBRARY_PATH=$ORACLE_HOME:/usr/local/nvidia/lib:/usr/local/nvidia/lib64
export PATH=$ORACLE_HOME:$PATH

保存并关闭文件,然后使这些更改生效:

source ~/.bashrc

4. 创建必要的符号链接
确保 libclntsh.so 和其他库文件可被正确识别。如果只存在 libclntsh.so.11.1 文件,创建符号链接:

ln -s /opt/oracle/instantclient_11_2/libclntsh.so.11.1 /opt/oracle/instantclient_11_2/libclntsh.so

5. 安装 libaio 库
确保安装了 libaio 库,这是Oracle Instant Client的一个依赖项:

sudo apt-get install libaio1 # Debian/Ubuntu
sudo yum install libaio # Red Hat/CentOS

6. 检查和调整库文件权限
确保 instantclient_11_2 目录中的所有库文件都有正确的读取权限:

chmod +r /opt/oracle/instantclient_11_2/*.so

7. 验证SQL*Plus
运行以下命令以验证SQL*Plus是否成功安装并正确配置:

sqlplus -v

8. 测试 cx_Oracle 安装
编写并运行一个简单的Python脚本,验证 cx_Oracle 是否能够正确加载Oracle Instant Client库:

import cx_Oracle
print(cx_Oracle.clientversion())

运行脚本:
python /path/to/your/script.py
如果输出 (11, 2, 0, 4, 0),说明安装成功。

9. 解决 DPI-1047 错误
如果遇到 DPI-1047 错误,确保 LD_LIBRARY_PATH 设置正确,并且包含
重启应用进程或终端以确保环境变量生效。

/opt/oracle/instantclient_11_2。你可以使用以下命令检查和修复路径:
echo $LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/oracle/instantclient_11_2:/usr/local/nvidia/lib:/usr/local/nvidia/lib64

10. 重启系统或服务(必要)
在修改环境变量后,重启系统或者服务,确保所有进程加载正确的环境变量。

11. 连接到Oracle数据库
最后,使用SQL*Plus连接到你的Oracle数据库,确保一切工作正常:
sqlplus username/password@//hostname:port/SID
通过以上步骤,Oracle 11g Instant Client 应该在你的Linux系统上成功安装并配置好。

五.修改chatchat源码

官方给定的代码生成的sql语句不太符合oracle数据库的sql语句,这个时候我们需要对生成的sql语句进行一个修改,是他变成支持oracle查询的sql语句,我们需要改两个代码文件地址

1.text2sql.py
miniconda3/envs/chat_0.3.1/lib/python3.11/site-packages/chatchat/server/agent/tools_factory/text2sql.py

def query_database(query: str, config: dict):
    model_name = config["model_name"]
    top_k = config["top_k"]
    return_intermediate_steps = config["return_intermediate_steps"]
    sqlalchemy_connect_str = config["sqlalchemy_connect_str"]
    db = SQLDatabase.from_uri(sqlalchemy_connect_str)

    from chatchat.server.utils import get_ChatOpenAI

    llm = get_ChatOpenAI(
        model_name=model_name,
        temperature=0.1,
        streaming=True,
        local_wrap=True,
        verbose=True,
    )

    table_names = config["table_names"]
    result = None

    if len(table_names) > 0:
        db_chain = SQLDatabaseChain.from_llm(
            llm,
            db,
            verbose=True,
            top_k=top_k,
            return_intermediate_steps=return_intermediate_steps,
        )
        result = db_chain.invoke({"query": query, "table_names_to_use": table_names})

        # 检查 result['intermediate_steps'] 是否为列表,并包含字典
        if isinstance(result['intermediate_steps'], list):
            last_step = result['intermediate_steps'][-1]
            if isinstance(last_step, dict) and 'sql_cmd' in last_step:
                # 提取生成的 SQL 语句
                sql_cmd = last_step['sql_cmd']
            elif isinstance(last_step, str):
                # 如果是字符串,尝试解析并提取SQL语句
                print(f"警告:最后一步是字符串,尝试解析: {last_step}")
                sql_cmd = last_step.split("SQLQuery:")[-1].strip()
                # 移除可能出现的反引号和其他多余字符
                sql_cmd = sql_cmd.replace('```sql', '').replace('```', '').strip()
                # 移除可能多余的 "Query:" 前缀
                sql_cmd = sql_cmd.replace('Query:', '').strip()
            else:
                raise TypeError(
                    f"Unexpected format in last intermediate step. Expected a dictionary with 'sql_cmd' key or a parsable string, got: {last_step}")
        else:
            raise TypeError(
                f"Unexpected format in intermediate_steps. Expected a list, got: {type(result['intermediate_steps'])}")

        # 打印原始 SQL 语句
        print("原始 SQL 语句:", sql_cmd)

        # 修正 Oracle 不支持的 FETCH NEXT 语法
        if re.search(r'FETCH (FIRST|NEXT) \d+ ROWS ONLY', sql_cmd, re.IGNORECASE):
            match = re.search(r'FETCH (FIRST|NEXT) (\d+) ROWS ONLY', sql_cmd, re.IGNORECASE)
            if match:
                limit = match.group(2)
                # 将 SQL 查询封装到一个子查询中,然后用 ROWNUM 限制行数
                sql_cmd = re.sub(r'SELECT', f'SELECT * FROM (SELECT', sql_cmd, flags=re.IGNORECASE)
                sql_cmd = re.sub(r'FETCH (FIRST|NEXT) \d+ ROWS ONLY', f') WHERE ROWNUM <= {limit}', sql_cmd,
                                 flags=re.IGNORECASE)
                print("已修正 SQL 语法:", sql_cmd)
        else:
            print("无需修正的 SQL 语法:", sql_cmd)

        # 移除表名和列名中的双引号
        sql_cmd = re.sub(r'"(\w+)"', r'\1', sql_cmd)

        # 移除可能多余的分号以避免 ORA-00911 错误
        sql_cmd = sql_cmd.rstrip(';')

        try:
            # 执行调整后的 SQL 查询
            final_result = db.run(sql_cmd)
            print("执行的最终 SQL 语句:", sql_cmd)

        except Exception as e:
            print(f"执行 SQL 查询时出错: {e}")
            raise e

        context = f"""查询结果: {final_result}\n\n"""

        return context

2.base.py
miniconda3/envs/chat_0.3.1/lib/python3.11/site-packages/langchain_experimental/sql/base.py

3.修改之后我们就可以正常使用数据库查询的工具进行查询

 

六.当我们关掉服务器之后,再次开机的时候,这时候我们需要在启动项目前先将xinference上的大模型和embidding模型启动起来,再次启动项目,否则项目启动起来会报错。

XINFERENCE_HOME=/root/autodl-tmp/xinference XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997 

1.执行完之后我们需要在Xinference上手动将大模型和embidding模型给启动起来。

2.启动之后我们就会有这样的结果

3.启动项目指令如下:

export CHATCHAT_ROOT=/root/autodl-tmp/Langchain-Chatchat/to/chatchat_data
chatchat init
export CHATCHAT_ROOT=/root/autodl-tmp/Langchain-Chatchat/to/chatchat_data
chatchat start -a 

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐