简介

在已知的数据中学习规律从而建立模型，并且借助更多的数据自动修正、优化模型，最终利用模型解决问题的AI研究方法叫做“机器学习”。机器学习实际上分为两个阶段：在已知数据中学习规律，叫做“模型训练”，即“学习”；将新的数据输入到模型中得出结果，叫做“模型推理”，即“应用”，如图1所示。这个过程和人、动物的“学习”是一致的。

图1 人工智能模型的训练和推理

所有的模型训练工作大致可以分为数据准备、模型搭建、模型训练、模型评估等核心环节，如图2所示。因此，从工作流程看，训练AI模型的难度在数据准备和算法搭建，而训练的速度则决定于算力。只要找到合适的工具，训练常见的AI模型并不困难。如同要旋松一个螺帽，没有相应的工具（钢丝钳、扳手、套筒等）会很难，徒手更是难上加难。随着技术的发展，越来越多的AI开发工具出现，不写代码（无代码）或者仅仅写少量的代码（少代码）就能训练简单的模型。为了表述方便，下面统一用“无代码”指代不写代码和仅仅写少量的代码。

图2 人工智能模型训练的工作流程

一、无代码训练AI模型的技术路径分析

无代码训练模型的工具很多，比如浦育平台、ModelArts、MaixHub和EasyTrain等。实际上在大语言模型的支持下，通过合适的提示词，就能得到直接可用的模型训练代码。但不管通过哪种方式，实际上都是先要生成代码然后训练，只不过有些工具把生成的代码“隐藏”罢了。因此，训练模型始终需要部署底层的AI开发框架。

1.工具介绍——AI模型开发框架知多少

在AI领域，有多种模型开发框架供开发者选择。大部分编程语言都支持机器学习和深度学习，其中Python是最常用的一种。Python中有许多传统机器学习库，如scikit-learn、SciPy和BaseML等。随着神经网络算法的兴起，又出现了如TensorFlow、PyTorch和PaddlePaddle等框架。为了区分，本文我们将机器学习分为“传统机器学习”和“深度学习”来介绍。

1）传统机器学习类

（1）Scikit-learn

Scikit-learn是一个开源的机器学习库，支持监督学习和无监督的学习。它还提供了用于模型拟合、数据预处理、模型选择、模型评估和各种其他实用程序的工具。scikit-learn内置了很多算法模型，可以很方便地调用。以搭建线性回归模型并训练为例，核心代码如下所示。

from sklearn.linear_model import LinearRegression # 从库中导入线性回归模块
from sklearn.model_selection import train_test_split # 从库中导入数据划分模块
model = LinearRegression() # 实例化一个线性回归模型
'''
省略从scv中读取数据到变量x、y中。
'''
# 将数据拆分为训练集和验证集
X_train, X_valid, y_train, y_valid = train_test_split(X, y, random_state=0)
my_model = model.fit(X_train, y_train) # 训练模型

（2）BaseML

BaseML是上海人工智能实验室开发的“XEdu”（可以看成是一个工具箱）中的一款子工具，针对scikit-learn做了进一步的封装，只需几行代码就能实现机器学习模型的训练或应用。比如一个线性回归的模型训练代码如下所示。

from BaseML import Regression as reg # 从库文件中导入回归任务模块
model = reg('LinearRegression') # 实例化线性回归模型
model.load_tab_data( 'data_train.csv') # 载入训练数据
model.train() # 训练模型
model.valid('data_val.csv',metrics='r2') # 载入验证数据并验证
model.save('mymodel.pkl') # 保存模型供应用

第一行代码是根据机器学习的任务导入相应的库，“Regression”模块内置了回归任务的常见算法。第二行是实例化一个模型对象，“model = reg(‘LinearRegression’)”表示指定的算法是“LinearRegression”（线性回归）。用“load_tab_data”方法载入数据集后，用“train”开始训练模型。

使用“load_tab_data”，即可加载CSV格式的数据文件。这里要求数据文件每行一条记录（首行为表头，数据从第2行开始），输入数据（特征）列在前，输出数据（目标或标签）列在后，即最后一列为输出数据，其余列为输入数据，以CSV格式存储。这种格式是最常见的监督学习数据格式，如图3所示。如果数据集和这种格式不一致，则需要用“load_dataset”的方法，这种方法可以更加灵活地载入数据。

图3 “load_tab_data”直接支持的数据集格式

model.load_dataset(data_path,type,x_column,y_column,split,shuffle,scale,show)函数中有许多参数，这里分别介绍：

type：表示X和y的输入格式，可选项为‘csv’、‘numpy’、‘pandas’、‘list’、‘txt’，如type=‘csv’。

x_column：表示特征列，如x_column=[1,2,3,4]。

y_column：表示标签列，如y_column=[5]。

split：是否划分训练集、验证集，默认为True。

shuffle：是否打乱数据，默认为True。

scale：是否对数据进行归一化，默认为False。

show：显示5条数据。默认为True。

2）深度学习类

Tensorflow和PyTorch是迄今为止最受欢迎的两个AI开发框架，都拥有丰富的API、广阔的用户群体，目前也都广泛用于学术研究和商业应用。因为Keras的出现，简化了TensorFlow的开发门槛，更适合初学者。但是Pytorch也支持Keras，并且出现了FastAI以及OpenMMLab之类的工具，同样拥有大量的用户，常见工具如表1所示。

表1 常见的深度学习开发工具（框架）

名称	开发团队	发布时间	功能特点
TensorFlow	谷歌	2015	是很多人进入人工智能领域第一个听到或者接触的开发框架。
Keras	谷歌	2015	Keras则在TensorFlow的基础上发展起来，开发门槛更低，拥有大量的用户。可以把看成是TensorFlow的入门简化版本。
PyTorch	Facebook	2017	PyTorch用于张量计算、自动微分和 GPU加速，深受科研人员的喜好。
飞桨 PaddlePaddle	百度	2016	集核心框架、基础模型库、端到端开发套件、丰富的工具组件、用户社区于一体，是中国首个自主研发、功能丰富、开源开放的产业级深度学习平台。

2022年12月，上海人工智能实验室浦育团队发布了开箱即用的深度学习开发工具MMEdu，引起了中小学教育领域的关注。随后，浦育团队又相继发布了BaseML、BaseNN和XEduhub等工具，与MMEdu合并为XEdu，成为中小学生学习人工智能的必备工具之一。

需要强调的是，谷歌团队在TensorFlow之后发布了TensorFlow.js。借助TensorFlow.js，通过浏览器也能过训练一些简单的模型。浦育平台上借助网页训练模型的，大部分基于TensorFlow.js来实现。但是这种方式训练出来的模型，需要借助第三方工具才能转换为通用的ONNX模型。目前，浦育平台只有“图像分类”模型才可以转换为ONNX。

2.路径分析——无代码训练模型的两种方式

考虑到工具的通用性，本教程选择XEdu的EasyTrain和大语言模型生成训练代码两种方式进行介绍。

1）使用EasyTrain训练模型

EasyTrain是XEdu项目中“EasyDL”系列工具中的一种。顾名思义，就是用来做模型训练的小工具。EasyTrain支持MMEdu、BaseNN和BaseML，能够在网页中生成模型训练代码，也能够在网页端调用底层框架的代码训练模型。

图4 EasyTrain的界面

那么如何获得并使用EasyTrain？这里提供两种方式。第一种方式是使用“XEdu一键安装包”，其内置的EasyDL系列工具中有“EasyTrain.bat”，运行即可。

第二种方式是使用pip安装，使用命令“pip install easy-xedu>=0.2.2”进行安装，即可安装EasyTrain界面，在训练启动时，会自动检查所依赖的python环境，如果缺少对应环境，会给出提示（如运行BaseML生成的代码需要安装BaseML，命令为“pip install BaseML”）。启动EasyTrain同样是使用指令来完成，命令为“EasyTrain”。

需要注意的是，EasyTrain基于Flask框架开发，要求计算机的用户名和计算机名称均不得出现中文，否则无法正常启动。

一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

2）大语言模型生成训练代码

经过测试，文心一言、商量、智谱清言、kimi等国产大语言模型，在代码生成方面效果很不错。如果要得到模型训练方面的代码，则需要明确使用什么工具（如Keras、Pytorch、PaddlePaddle等），要训练的是什么模型，实现什么功能等。要求越具体，得到的代码也会越准确。

因为XEdu是新开发的库，暂时没有加入到大语言模型的训练数据中，需要自行微调。但随着大语言模型的上下文容量加大，RAG（Retrieval-Augmented Generation，检索增强生成）成为一个重要的应用，即把文档嵌入到大语言模型中作为外部信息源。XEdu团队提供了一个基于“扣子”的大模型助手“XEdu小助手”，在kimi的基础上嵌入了文档。即将发布的“极狐驭码”也内置了“XEdu助手”。向“XEdu助手”提问，既可得到相应的回答，还能得到相关的参考项目链接。

图5 “XEdu助手”的问答界面

图6 “XEdu助手”能给出具体的代码

同样，我们也需要注意大语言模型“胡说八道”的问题。在没有嵌入XEdu文档的情况下，如果问BaseNN、BaseML之类的问题，大语言模型可能会随便给出一个看起来像模像样的代码，其实是不能用的。

3.搭建环境——训练模型的准备工作

前面已经强调过，除了TensorFlow.js外，不管用哪一种无代码方式训练模型都需要相应的开发环境支持。搭建训练模型的环境，是最基础的准备工作。

1）本地搭建环境

在本地安装AI模型训练环境，当然要借助pip工具来安装。这里不建议在原生的Python上安装，推荐使用Anconda之类的版本管理，也可以使用Docker镜像。

相对来说，最简单的方式是用“XEdu一键安装包”或者XEdu的Docker镜像。“XEdu一键安装包”中已经包含了Pytorch、MMEdu、BaseNN、BaseML、Scikit-learn等。

XEdu下载方式：https://xedu.readthedocs.io/zh/master/about/installation.html

从服务器端拉镜像的命令为：docker pull xedu/xedu:v3s

2）云算力平台

云算力平台类似于远程的服务器。不管是哪一家云算力平台，也需要安装开发环境。Keras、Pytorch环境虽然比较常见，但因为版本较多往往也不太通用。目前有些云算力平台已经内置了XEdu环境，如浦育、Mo等。

Mo平台：https://momodel.cn/

OpenHydra：https://openinnolab.org.cn/

3）私有云算力平台

有条件的学校可以购买带GPU的算力服务器或者工作站，自行部署环境。比如OpenHydra是一个支持算力分割（将一个算力设备发给多个用户）的开源人工智能教学平台。

二、不写代码训练AI模型的实例

受制于算力和工具，这里选择几个中小学中比较常用的AI模型进行介绍。需要再次强调的是，**即使用大模型生成代码，也需要运行在合适的环境中。**因为XEdu已经内置了常见的环境，再次推荐使用。

1.传统机器学习的模型训练

虽然传统机器学习的算法很多，但Scikit-learn和BaseML中基本上都已经支持。不同的算法适合解决不同的任务。要用机器学习解决问题，首先要了解有哪些算法，并弄清楚这些算法擅长解决哪些问题。为帮助初学者了解这些算法的作用，BaseML的文档中提供了一张《机器学习典型算法一览表》，节选如下。

表1 机器学习典型算法一览表节选

算法名称	适合任务	典型任务	算法解释
线性回归	回归	适用于预测房价、预测销售额、贷款额度等。	就像用直尺在散点图上画一条尽可能穿过所有点的直线，这条直线就能帮我们预测未来的值。
多项式回归	回归	适用于预测房价、预测销售额、贷款额度等。	就像是在一条直线上增加更多的弯曲，使得这条线可以更好地贴合数据点。就像用橡皮筋在散点图上拉出一个曲面，这个曲面就能更好地帮助我们预测未来的值。
支持向量机	分类/回归	能够很好地适应干扰数据和异常值带来的模型误差。适用于文本分类、图像识别等。	想象你有两种颜色的球分布在桌子上，SVM就是用一根棍子（在复杂情况下是一张弯曲的板）尽可能分开两种颜色的球。
决策树算法	分类/回归	适用于客户分级、疾病诊断等。	想象你在做一个选择（比如选择餐馆），你可能会根据一系列问题（离家近不近？价格怎么样？）来决定。决策树算法就是通过一系列问题来达到决策的过程。

1）EasyTrain方式

EasyTrain支持BaseML。BaseML的代码很简洁，但是不同的算法可能有不同的训练参数，这些需要查文档，不需要死记硬背。

2）大模型方式

向大模型“咨询”机器学习的训练代码，需要强调使用某一种算法。最好能明确描述数据集的细节，哪几列是特征，哪列是标签。以下图示是几种不同大语言模型的回答。

2.全连接神经网络模型的训练

全连接神经网络是一种多层感知机构成的基本网络结构，可以处理更复杂的问题。随着隐藏层的增加，神经网络的非线性表达能力也将得到增强。全连接神经网络能同时适用于分类和回归任务，有点像“一招应万变”的必杀技。机器学习中也有个算法叫做多层感知机（MLP），其实就是全连接神经网络。

多层神经网络示意图

1）EasyTrain方式

EasyTrain支持BaseNN。用EasyTrain搭建全连接神经网络，有几个小诀窍。一是下一层输入维度和上一层输出维度要一致；二是激活函数可以都选择“ReLU”，最后一个选“SoftMax”，三是第一层输入维度是特征值数量，最后一层输出是分类的数量。

2）大模型方式

向大模型“咨询”全连接神经网络的训练代码，需要明确使用哪一种框架，如Keras或者PaddlePaddle，也需要描述数据集的细节、路径，以及分类的数量，以确保生成的代码可以直接使用。当发现代码运行报错，要将错误信息发给大模型。大模型会根据错误反馈重新给出新的代码。

3.图像分类模型的训练

图像分类是深度学习中最常见的计算机视觉任务，核心算法为卷积神经网络。卷积神经网络由图灵奖获得者杨·立昆（Yann LeCun）教授提出，随后在各方面广泛应用。2012年辛顿团队夺冠的AlexNet，则是卷积神经网络的代表作之一。经过多年发展，除了图像处理之外，语音识别、自然语言处理等领域也都离不开卷积神经网络。

1）EasyTrain方式

EasyTrain支持MMEdu。MMEdu的分类任务在数据集上有限制条件，仅仅支持标准的ImageNet。需要安装ImageNet格式制作数据集，然后即可使用EasyTrain生成代码然后训练。MMEdu的图像分类模块（MMEduCls）支持的算法有LeNet、MobileNet、ResNet18、ResNet50等。不同的算法适合不同的任务，比如LeNet适用于灰度图像。训练结束后会自动提示“是否转换为ONNX模型”。

2）大模型方式

向大模型“咨询”搭建卷积神经网络训练图像分类模型，需要明确使用哪一种开发框架，如Keras或者PaddlePaddle，最好也能确认使用哪一种SOTA模型。同时需要指定数据集的格式和路径，以及分类的数量，尽可能确保生成的代码可以直接使用。当发现代码运行报错，要将错误信息发给大模型。大模型会根据错误反馈重新给出新的代码。

4.目标检测模型的训练

1）EasyTrain方式

目标检测模型的训练和图像分类模型训练几乎一致，区别在于数据集的格式。MMEdu的目标检测任务选择coco数据集作为目标检测数据集的标准格式，如果手头的数据集是另一种格式（如VOC、yolo），需要使用类似BaseDT之类的工具来转换。

2）大模型方式

向大模型“咨询”目标检测模型的训练代码，需要明确数据格式、数据集存放路径、检测几个类别的目标以及具体的目标名称等。

三、如何系统的学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

01.大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

02.大模型 AI 学习和面试资料

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】