图片

背景

当我们把AI大模型视作人的大脑时,调用A大模型就如同调用一个人的智慧。将AI大模型人格化,意味着它应该能够理解人类的语言(懂人话)、用人类的语言进行表达(说人话),并直接给出结果。然而,重要的是要认识到,尽管AI大模型可以提供快速的答案,但这些结果并不总是完全准确。

在AI大模型的推理基础上,我们采用了多种技术手段来实现真正的AGI(通用人工智能),这些技术包括Prompt、RAG、Agent、知识库、向量数据库和知识图谱等。这些技术各自有其独特的作用和优势,但同时也相互关联,共同推动着AGI的发展。这些技术到底有哪些区别和联系,下图作了横向对比,接下来我们详细剖析下。

图片

01 大语言模型(LLM)

大语言模型(LLM) 是AI领域的重要支柱,通过深度学习方法利用庞大的文本数据集进行训练,从而具备了生成自然流畅语言文本以及准确理解语言深层语义的能力。这些模型广泛应用于自然语言处理任务,如文本分类、智能问答和人机交互对话等。

过去一年,大语言模型及其在AI领域的应用受到了全球科技界的瞩目。特别是模型规模的显著增长,参数量从数十亿激增到如今的万亿级别,使得模型在捕捉人类语言微妙差异和洞察复杂本质方面更加精准。

随着OpenAI GPT-4o的发布,我们回顾过去一年,大语言模型在多个方面取得了显著进步。这些进步包括高效吸纳新知识、有效分解复杂任务以及图文精准对齐等。随着技术的不断演进和完善,大语言模型将继续拓展其应用边界,为人们带来更加智能化、个性化的服务体验,从而深刻改变我们的生活方式和生产模式。

图片

大语言模型拥有推理能力,TA 是一切应用的基石

02 提示词工程(Prompt)

Prompt技术架构可以视为与大语言模型交互的最原始、最直观方式。这种方式在任务效率上表现出色,因为有效的Prompt能够最大限度地激发模型的最佳性能。之前我们已分享过,Prompt技术是模型效果优化的两条重要路径之一(微调和RAG技术)的共同基础。OpenAI官网也提供了关于优化Prompt的教程,大家可以进一步了解。

从更深层次来看,Prompt更像是一个引导模型展现其内部优秀性能的指南。当模型基于大量数据进行学习时,它会总结出许多in-context-learning的内部规律。一个好的Prompt能够激发这些正确的规则,从而引导模型展现出更好的性能。

在交互方式上,Prompt技术使得大语言模型与人类之间的交互变得极为友好。它就像人与人之间的对话,你说一句,AI回应一句,简单直接,无需对模型进行复杂的权重更新或处理。这种交互方式使得人们能够更自然地与AI进行沟通和交流。

图片

03 检索增强生成(RAG)

RAG(Retrieval-Augmented Generation)技术是一种结合检索与生成能力的知识增强方案,专门用于应对复杂多变的信息查询和生成挑战。在当前大模型时代的背景下,RAG技术巧妙地集成了外部数据源,如本地知识库或企业信息库,为AI大模型赋予了更加强大的检索和生成能力。通过这种方法,RAG技术显著提升了信息查询和生成的品质,使得AI系统能够更准确地理解和回应用户的需求。

图片

RAG技术的核心在于结合先进的向量数据库与大模型的智能问答能力。知识库信息存储在向量数据库中,系统能迅速检索相关片段。这些片段与大模型智慧结合,产生精确全面的回答。此技术极大提高AI处理复杂问题的准确性和响应速度,为用户带来优质高效体验。

总之,RAG 技术就是给大语言模型新知识。

04 函数调用(Fuction Calling)

大模型要实现精确的函数调用(Function Calling)需要理解能力和逻辑能力,理解能力就是对用户的Prompt提示词能够识别意图,然后通过逻辑能力给出需要调用执行的函数,具体流程如下:

图片

1、大模型何时会调用函数 API?

调用函数API 在交互形式上有两种方式:第一是让用户直接选择调用函数,第二是大模型会推理判断要调用的函数 API。

2、大模型怎么Function Calling调用函数 API ?

首先把函数API的元信息(函数名称、函数描述、函数参数等)注册给大模型,让大模型学习函数集合,当用户查询时,大模型根据用户的Prompt提示词选择对应的函数API。

3、函数API谁来具体执行?

大模型根据用户的Prompt请求确定具体的函数API后,由 Agent负责具体的执行。

4、函数API返回的内容咋处理?

Agent把Function Calling函数 API 调用返回的结果返回给大模型,大模型进一步加工处理后返回给用户最终结果。

05 智能体(Agent)

在AI大模型时代,任何具备独立思考能力并能与环境进行交互的实体,都可以被抽象地描述为智能体(Agent)。这个英文词汇在AI领域被普遍采纳,用以指代那些能够自主活动的软件或硬件实体。在国内,我们习惯将其译为“智能体”,尽管过去也曾出现过“代理”、“代理者”或“智能主体”等译法。

智能体构建在大语言模型的推理能力基础上,对大语言模型的 Planning规划的方案使用工具执行(Action) ,并对执行的过程进行观测(Observation),保证任务的落地执行。

图片

举个例子来方便理解

想象一个机器人管家。这个机器人能够理解你的指令,比如“请打扫客厅”,并且能够执行这个任务。机器人管家就是一个agent,它能够自主地感知环境(比如识别哪些地方是客厅),做出决策(比如决定打扫的顺序和方法),并执行任务(比如使用吸尘器打扫)。在这个比喻中,机器人管家是一个能够自主行动和做出复杂决策的实体。

总之,Agent 智能体 = 大语言模型的推理能力 + 使用工具行动的能力。

06 知识库

对企业而言,构建符合业务需求的知识库至关重要。利用RAG、微调等技术,可将通用大模型转变为深度理解特定行业的“行业专家”,服务于企业具体需求。这类知识库适用于多行业,如市场调研、人力资源、项目管理等。

其技术架构分两部分:

一是离线的知识数据向量化,包括加载数据/知识库、拆分文本、Embedding向量化处理,最后将向量化的数据块存储于VectorDB,以便于搜索。

图片

二是在线的知识检索返回

检索:使用检索器从存储中检索与用户输入相关的Chunk。

生成:结合问题和检索到的知识提示词,利用大语言模型生成答案。

图片

总之,知识库是 AI 大模型应用的知识基础。

)

07 向量数据库

向量数据库专注于存储和查询文本的向量化表示,源自文本、语音、图像等数据。相比传统数据库,它更擅长处理非结构化数据如文本、图像和音频。在处理机器学习、深度学习中的向量数据时,其高效存储、索引和搜索高维数据点的能力尤为突出,适用于数值特征、文本或图像嵌入等复杂数据的处理。

总之,知识库的存储载体往往是向量数据库,另外在数据存储和检索上,向量数据库以向量空间模型高效存储和检索高维数据,为 AI 大模型和 Agent 智能体提供强有力的数据支持。

**
**

08 知识图谱

知识图谱是基于实体和关系的图结构数据库,用于表示和管理知识。它采用结构化数据模型存储、管理并显示人类语言知识,通过语义抽取建立实体间的关系形成树状结构。实体如人、地点、组织等具有属性和关系,这些关系连接不同实体。知识图谱揭示知识领域动态发展规律,为学科研究提供参考。在医疗领域,知识图谱支持临床诊疗、数据整合与利用,通过实体识别、关系抽取和数据集训练,以图谱形式展示关键节点和联系,支持精准医疗决策。

图片

与此同时,在智能推荐、自然语言处理、机器学习等领域也具有广泛的应用。尤其在搜索引擎领域,它能够提高搜索的准确性,为用户提供更加精准的搜索结果。

总之,知识图谱本质上是一种叫作语义网络的知识库,即一个具有有向图结构的知识库,其中图的结点代表实体或者概念,而图的边代表实体/概念之间的各种语义关系

09 AGI

AGI作为AI发展的终极愿景,旨在实现智能系统像人类一样理解和处理复杂情况与任务的能力。在此过程中,AI大模型、Prompt Engineering、Agent智能体、知识库、向量数据库、RAG及知识图谱等技术至关重要。这些技术元素相互协作,推动AI技术持续发展,为实现AGI目标奠定坚实基础。

与目前常见的“窄人工智能”(ANI,Artificial Narrow Intelligence)不同,AGI能够处理多种不同的问题,而不仅仅是针对特定任务设计的算法。窄人工智能通常在特定领域内表现出色,例如语音识别、图像识别或棋类游戏等,但它们缺乏跨领域的通用性和适应性。

AGI的关键特征包括:

  • 自主学习:AGI能够从经验中学习,并不断改进自己的性能。
  • 跨领域能力:AGI能够处理多种不同类型的问题,而不仅仅是单一领域。
  • 理解复杂概念:AGI能够理解和处理抽象概念、隐喻和复杂逻辑。
  • 自我意识:虽然这一点在学术界有争议,但一些观点认为AGI可能发展出某种形式的自我意识或自我反思能力。

目前,AGI仍然是人工智能研究的前沿领域,尚未实现。许多研究者正在探索如何构建这样的系统,但存在许多技术和伦理上的挑战。

如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐