一、为什么要在本地部署大模型而不是都使用在线服务？

1. 数据隐私和安全。

对于律师或其他法律职业人士来说，数据隐私和安全需求是首位的。当他们需要翻译一份包含当事人商业机密的文件时，将这份文件上传到第三方公司提供的在线翻译服务，就意味着当事人的商业机密暴露在了第三方公司的网络之中。这是一个不容忽视的风险，正如三星工程师使用 ChatGPT 泄露机密代码事件所证明的那样。

1. 无网络依赖。

使用在线大型模型需要稳定且快速的网络连接，如果是一些国外公司提供的大模型，我们在国内可能还无法正常访问。相比之下，本地部署的模型则无需担心网络连接问题，能够实现离线使用。这一优势在网络条件较差的情况下尤为突出，例如在高铁或飞机上出差时，我们仍然可以便捷地利用本地大型模型完成工作任务。

1. 自己可控。

通过本地部署，无论是对历史数据的管理还是运行环境的配置，都完全由自己掌控，从而避免了因第三方服务提供商的政策变动、经营异常或暂停服务等外部因素带来的影响。

1. 免费

自己本地部署开源大模型，除了需要一台硬件配置还可以的电脑之外，不需要其他成本。而如果使用第三方公司提供的在线服务，价格往往不便宜。

二、概念介绍

（一）什么是Ollama？

简单来说，Ollama是一个开源的框架，它允许用户在本地环境中轻松设置和运行大型语言模型，如Llama 2、Gemma等，并提供自定义模型创建和多平台支持。

Ollama的主要特点包括其轻量级、可扩展性，以及对初学者或非技术人员的友好设计。它提供了创建定制语言模型和运行多种应用的能力，如文本生成、语言翻译和创意写作等。

（二）什么是Open WebUI？

Open WebUI是一个为大型语言模型（LLMs）设计的用户友好型Web界面，旨在提供直观的聊天界面和响应式设计。它支持Ollama和兼容OpenAI的API运行程序，安装好Open WebUI就可以更方便地调用在Ollama中部署本地大模型，进行对话、图像识别等等工作。

（三）什么是docker？

Docker是一个开源的容器化平台，通过将应用程序及其依赖打包到容器中来实现应用的快速部署和可移植性。安装好docker就可以更方便的部署Open WebUI等项目。

（四）什么是openai-translator？

OpenAI Translator是一个功能丰富的翻译和语言处理工具，适合需要进行跨语言沟通、学习语言、提升文本质量的用户。它可以调用Ollama中部署本地大模型进行文本翻译、文章润色、总结、代码解释等工作。

三、准备工作

提前下载好需要的软件：

1. docker

https://www.docker.com/products/docker-desktop/

1. Ollama

https://ollama.com/download

1. openai-translator（windows用户下载.exe文件，mac用户下载.dmg文件）

https://github.com/openai-translator/openai-translator/releases/tag/v0.3.33

四、操作步骤

（一）安装Ollama：

首先，双击下载好的OllamaSetup.exe文件，按照提示完成安装。安装完成打开后，会出现ollama的图标。

（二）下载大模型：

（根据自己电脑的硬件配置选择，推荐google最新的开源大模型Gemma，如果内存是16g及以下的可以选择gemma:2b，内存在32g及以上的可以选择gemma:7b）

1. 右键windows开始按钮，选择“终端”；（如果是mac电脑，直接点击“终端”即可）

1. 在终端中输入“ollama run gemma:2b”或“ollama run gemma:7b”并按回车，等到模型下载完成。

备注：我们也可以去Ollama网站选择其他想要部署的大模型。模型可根据自己电脑的硬件配置选择，推荐google最新的开源模型Gemma，如果内存是16g及以下的可以选择gemma:2b，内存在32g及以上的可以选择gemma:7b。配置更好的，可以选择参数更大的。（其他模型下载地址：https://ollama.com/library）

（三）安装和使用openai-translator

1. 双击下载好的OpenAI.Translator_0.3.33_x64-setup.exe文件，按照提示完成安装；
2. 安装完成打开后，点击软件界面左下角的⚙️按钮，进入设置页面；

1. 在“默认服务提供商”选项中下拉选择“Ollama（本地模型）”，在下面“API模型”中下拉选择我们刚才下载的模型“gemma 2b”或者“gemma 7b”。

1. 设置好点击保存就可以使用了。下面用了一篇专业论文进行测试：

（四）安装和使用Open WebUI

1. 双击下载好的Docker Desktop Installer.exe文件，按照提示完成安装（一路按照默认选项安装并打开就行）；
2. 右键windows开始按钮，选择“终端”，打开一个新的终端对话框；（如果是mac电脑，直接点击“终端”即可）；

1. 在“终端”对话框复制粘贴如下代码并按回车，安装Open WebUI：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

1. 安装完成后，刚才安装的docker desktop软件界面中会出现“open-webui”这一项目：

1. 在浏览器输入http://localhost:3000/，即可访问Open WebUI，下面是Open WebUI的主界面：

1. 点击网页正上方的选择模型选项，下拉即可选择模型，如果没有出现模型，刷新稍等一会儿应该就会出现了。
2. 接下来就可以和本地部署的ai模型进行对话或者按照自己的工作需求微调了。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。