本文介绍了如何使用Ollama和AnythingLLM快速简单地在本地部署大模型。首先，指导用户安装Ollama并从Ollama的模型库中选择和下载模型（如llama、qwen、deepseek等）。接着，详细说明了如何配置和使用AnythingLLM以运行已下载的模型。此外，还讨论了在下载模型时可能遇到的问题及解决方案，如网络问题。最后，文章建议用户在模型下载过程中遇到困难时，可以考虑使用离线模型。整个过程操作简单，适合对大模型部署感兴趣的小白和程序员。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

使用ollama + AnythingLLM快速且简单的在部署本地大模型

PS：只要是ollama支持的模型都可以，比如llama，qwen以及最近大火的deepseek

不多说，直接开始

一、安装ollama

ollama官网：https://ollama.com/
下载地址：https://ollama.com/download

打开以后注册并下载即可

安装没有什么好说的，找到自己的系统安装即可，因为我的电脑没有搞虚拟机，所以就直接安装Windows的版本了

二、下载模型并运行ollama

安装ollama以后，通过管理员打开powershell

输入ollama，只要出现下面这些，说明安装成功了

打开ollama的模型的网页：https://ollama.com/library

我们以llm3为例，双击进入

常用的命令有

afromaaaafromaatoaaa

可以看到页面中让执行ollama run llama3即可

一般来说run是用来跑模型的，但是如果本地没有这个模型的话，ollama会自动下载

PS:国内的网络问题不知道有没有解决，下载模型的时候偶尔速度很快，但是很多时候速度很慢以至于提示TLS handshake timeout，这种情况建议重启电脑或者把ollama重启一下(不知道为啥，我同步打开GitHub的时候速度会明显快一些，可能也是错觉)

下载完成以后我们输入ollama list可以查下载了哪些模型

这里我们直接输入ollama run llama3，就可以开始对话了

三、下载并配置AngthingLLM

AngthingLLM官网：https://useanything.com
下载链接：https://useanything.com/download

同样的选择对应的系统版本即可

在使用前，需要启动Ollama服务

执行ollama serve，ollama默认地址为：http://127.0.0.1:11434

然后双击打开AngthingLLM

因为我已经配置过，所以不好截图最开始的配置界面了，不过都能在设置里面找到

首先是LLM Preference，LLM provider选择ollama，URL填写默认地址，后面的模型选择llama3，token填4096

Embedding Preferenc同样选择ollama，其余基本一致，max我看默认8192，我也填了8192

Vector Database就直接默认的LanceDB即可

此时我们新建工作区，名字就随便取，在右边就会有对话界面出现了

此时你就有了自己本地的语言模型了

是不是很简单，费时间的地方其实就在下载模型的时候，本来想用Open WebUI，但是电脑没有搞docker，就用AngthingLLM了，后续有空搞个docker用open webui

如果模型实在下不下来，也可以搞离线模型

Windows系统下ollama存储模型的默认路径是C:\Users\wbigo.ollama\models，一个模型库网址：https://modelscope.cn/models

挺全的，但是说实话，llama3-8B我感觉挺拉胯的，可能英文好一些，中文的话使用不如qwen

读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓