使用大模型 DeepSeek + 向量数据库 FAISS 搭建本地知识库检索系统（全栈实战）

作者：杜有龙
适用人群：AI工程师、大模型爱好者、高校学生、中小企业技术负责人、数字化转型实践者
关键词：#DeepSeek #FAISS #RAG #本地知识库 #大模型 #向量数据库 #语义搜索 #私有部署 #AI工程化 #中文大模型

---

引言：为什么选择 DeepSeek + FAISS？

在生成式 AI 走向“私有化、轻量化、可控化”的今天，越来越多团队希望：

• 在本地或内网部署问答系统，避免数据外泄；
• 利用国产开源大模型，降低合规风险；
• 低成本快速验证 RAG（检索增强生成）效果。

而 DeepSeek（深度求索） 的开源系列（如 deepseek-coder、deepseek-r1）凭借强大的中文理解能力、Apache 2.0 开源协议、支持 128K 上下文，成为国内开发者的首选之一。

搭配 Facebook 开源的 FAISS（Facebook AI Similarity Search） —— 虽非完整数据库，但作为轻量级、高性能、纯内存向量检索引擎，非常适合本地知识库原型开发。

✅ 本文将手把手教你：
从零搭建一个支持中文问答的本地知识库系统，全程离线运行，数据不出内网！

---

一、技术选型对比：为何是 DeepSeek + FAISS？

组件	选项	选择理由
大模型	DeepSeek-R1（7B/14B）	中文强、开源免费、支持长上下文、可本地部署
向量模型	BGE-large-zh-v1.5	智源出品，中文检索 SOTA，Hugging Face 可直接加载
向量存储	FAISS（CPU/GPU）	轻量、高效、无需服务部署，适合单机场景
运行环境	Python + Transformers + vLLM（可选）	生态成熟，社区支持好

🆚 对比其他方案：

• Pinecone/Milvus：需网络/服务，不适合纯本地
• ChatGLM/Qwen：同样优秀，但 DeepSeek 在代码+通用任务上表现更均衡
• Chroma：更易用，但 FAISS 性能更高、控制更细

---

二、环境准备：一键安装依赖

# 创建虚拟环境（推荐）
python -m venv rag-env
source rag-env/bin/activate  # Linux/Mac
# rag-env\Scripts\activate   # Windows

# 安装核心依赖
pip install torch==2.3.0 \
            transformers==4.40.0 \
            faiss-cpu==1.8.0      # 若有 GPU，用 faiss-gpu
            sentence-transformers \
            accelerate \
            bitsandbytes        # 用于 4-bit 量化

💡 硬件建议：

• CPU 模式：16GB 内存可跑 DeepSeek-7B（4-bit 量化）
• GPU 模式：24GB 显存（如 RTX 4090）可流畅运行 14B 模型

---

三、数据准备：构建你的私有知识库

假设你有一份公司内部文档 docs/，包含 .txt 或 .md 文件：

docs/
├── 产品手册.md
├── 报销流程.txt
└── 安全规范.md

3.1 文本分块（Chunking）

为避免上下文过长，需将长文档切分为语义完整的段落：

from langchain.text_splitter import RecursiveCharacterTextSplitter

def load_and_split_docs(dir_path):
    from pathlib import Path
    texts = []
    for file in Path(dir_path).glob("*.md"):
        texts.append(file.read_text(encoding='utf-8'))
    for file in Path(dir_path).glob("*.txt"):
        texts.append(file.read_text(encoding='utf-8'))
    
    splitter = RecursiveCharacterTextSplitter(
        chunk_size=512,
        chunk_overlap=50,
        separators=["\n\n", "\n", "。", "！", "？"]
    )
    return splitter.create_documents(texts)

✅ 分块技巧：按语义边界（句号、段落）切分，避免截断关键信息。

---

四、向量化：将文本转为 FAISS 可检索的向量

使用 BGE-large-zh-v1.5（中文最强开源嵌入模型之一）：

from sentence_transformers import SentenceTransformer

# 加载嵌入模型（首次运行会自动下载 ~1.3GB）
embedder = SentenceTransformer('BAAI/bge-large-zh-v1.5', device='cuda' if torch.cuda.is_available() else 'cpu')

# 对所有文档分块进行向量化
docs = load_and_split_docs("./docs")
texts = [doc.page_content for doc in docs]
vectors = embedder.encode(texts, normalize_embeddings=True)  # 关键：归一化！

⚠️ 注意：必须设置 normalize_embeddings=True，否则余弦相似度计算错误！

---

五、构建 FAISS 索引：高效语义检索底座

import faiss
import numpy as np

# 转为 NumPy float32（FAISS 要求）
vectors_np = np.array(vectors).astype('float32')

# 创建 IndexFlatIP（内积 = 余弦相似度，因已归一化）
index = faiss.IndexFlatIP(vectors_np.shape[1])  # IP = Inner Product
index.add(vectors_np)

# 保存索引（下次可直接加载）
faiss.write_index(index, "faiss_index.bin")

# 同时保存原始文本（用于返回结果）
import pickle
with open("doc_store.pkl", "wb") as f:
    pickle.dump(docs, f)

🔍 索引类型说明：

• IndexFlatIP：精确搜索，适合 <10 万向量
• IndexIVFFlat / IndexHNSW：近似搜索，适合更大规模（本文暂不展开）

---

六、集成 DeepSeek：实现 RAG 问答

6.1 加载 DeepSeek 模型（4-bit 量化节省显存）

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

model_name = "deepseek-ai/deepseek-r1-7b"

quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16
)

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=quant_config,
    device_map="auto",
    trust_remote_code=True
)

6.2 检索 + 生成完整流程

def rag_query(question: str, top_k=3):
    # 1. 问题向量化
    q_vec = embedder.encode([question], normalize_embeddings=True).astype('float32')
    
    # 2. FAISS 检索
    scores, indices = index.search(q_vec, top_k)
    
    # 3. 拼接上下文
    context = "\n".join([docs[i].page_content for i in indices[0]])
    
    # 4. 构造 Prompt（DeepSeek 官方推荐格式）
    prompt = f"""你是一个专业的企业知识助手，请基于以下参考资料回答问题。
参考资料：
{context}

问题：{question}
回答："""
    
    # 5. 模型生成
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    outputs = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.3,
        top_p=0.85
    )
    answer = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
    return answer.strip()

6.3 测试效果

print(rag_query("公司报销需要哪些材料？"))
# 输出示例：
# 根据公司财务制度，报销需提供：1) 正规发票；2) 费用明细清单；3) 部门负责人签字...

---

七、进阶优化建议

7.1 性能优化

• 使用 faiss-gpu 加速检索（10 倍+ 提升）
• 对 DeepSeek 使用 vLLM 推理引擎，提升吞吐
• 向量缓存：对高频问题做 LRU 缓存

7.2 安全与治理

• 在向量化前加入敏感词过滤（如正则匹配身份证、手机号）
• 记录问答日志，支持审计溯源
• 限制最大上下文长度，防止 OOM

7.3 扩展方向

• 前端 Web UI（Gradio / Streamlit）
• 定时增量更新知识库
• 支持 PDF/Word 自动解析（使用 unstructured 库）

---

八、完整项目结构建议

local-rag/
├── docs/                  # 原始知识文档
├── models/                # （可选）本地模型缓存
├── faiss_index.bin        # FAISS 索引
├── doc_store.pkl          # 原始文本存储
├── rag_pipeline.py        # 核心检索+生成逻辑
├── app.py                 # Gradio Web 服务（可选）
└── requirements.txt

---

结语：低成本构建企业级 AI 助手的第一步

通过 DeepSeek + FAISS + BGE 的组合，你可以在一台普通 PC 或服务器上，快速搭建一个完全私有、中文友好、语义精准的知识库问答系统。

这不仅是技术原型，更是迈向企业 AI 智能体的关键一步——未来可扩展为：

• 部门级 Copilot
• IT Helpdesk 自助问答
• 新员工入职培训机器人

下一步行动建议：

1. 将你的 Confluence/SharePoint 导出为文本
2. 按本文流程跑通第一个问答
3. 尝试集成到飞书/钉钉机器人

---

🎁 附：资源链接

• DeepSeek 官网：https://www.deepseek.com
• BGE 模型（Hugging Face）：https://huggingface.co/BAAI/bge-large-zh-v1.5
• FAISS GitHub：https://github.com/facebookresearch/faiss