一、需求定义

这一初始阶段集中在从业务角度理解项目的目标和要求,然后把理解转化为模型能力的定义和一个初步执行计划。不仅要有整体技术研判力(可行性、技术难度、关键技术点),还要有业务洞察力,可以定义出可执行有价值的好问题。

img

⚠️ 注意:AI产品经理在本阶段要特别注意模型能力边界和模型类型确定。

✳️ 案例:

这里说的模型类型除了回归、分类、聚类、序列之外,还要基于具体业务考虑其他情形, 比如在线还是离线,因为如果目标客户比较注重数据安全,可能就会要求私有化部署,不允许连接外网调用模型接口。AI产品经理在需求分析阶段明确模型基础要求,也方便工程师在后续模型预研及成本分析方面提前有所考虑。

关于模型能力边界。请看这一条业务需求“系统自动抽取合同签订日期、中标通知书通知日期并进行时序性校验,合同签订日期不能早于中标通知书通知日期”, AI产品经理需要将此条业务需求的实现分解成先由模型执行抽取任务后,再由系统(平台)进行时序性比较。

因为不同类型模型可执行的下游任务不同,仅以自然语言处理任务层级举例,如下图,我们这里提到的模型能力边界指的是第三次,即信息抽取、情感分析、问答系统、机器翻译和对话系统等。

img

二、模型预研

需求确定之后,AI产品经理需要和工程师进行沟通,要判断目前积累的数据和沉淀的算法,是否可以达到我们的业务需求。以及对原始数据的初步理解,发掘值得关注的数据子集以形成对隐藏信息的假设。

img

⚠️注意: 在这个环节中,可能还需要根据算法工程师的预估,对上一阶段的需求内容进行调整。

✳️ 案例: 此阶段往往需要AI产品经理跟算法工程师经过多轮沟通,根据业务目标及原始数据质量的预估,确定模型预研的可行性等问题。

比如以智能文档分析(IDP)系统举例,因为文档类型及业务规则的多样性往往需要多个模型共同完成一项业务需求,比如对一份合同的审核既需要对合同基本信息的抽取(如甲方、乙方、签订日期),也需要对合同中建设内容的相似性进行判断,还需要对合同中的表格数据进行分析。

这就需要AI产品经理与工程师多次沟通,确定模型融合等解决方案的设计。

三、数据准备

数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。“数据准备”阶段往往会占用整个工程60%以上的时间。 产品经理基于对业务的理解,帮助工程师判断哪些数据集更具备代表性,以及明确数据来源、数据质量处理措施。

!](https://i-blog.csdnimg.cn/direct/805861f4f2ad407c8afae0a1c85461e9.png)

⚠️ 注意:“数据质量”问题除了数据模式层面,还要关心应用场景下的数据质量问题,应用场景相关的数据质量问题,与研究问题的范畴和业务上下文有关,通常不容易发现,有一定规律但不存在通用的方法。

四、模型构建

AI产品经理基于对需求和业务的理解,配合算法工程师进行数据集的准备、模型训练、参数调优等等,及时跟进模型的目标优化,针对突发问题做出调整和决策。

img

⚠️注意: 前面有提到“数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。”算法工程师们花费在特征工程建立上面的时间,基本上占整个模型构建的 60%。AI产品经理在此阶段要尽量结合业务经验预判、保证特征的稳定性。

五、模型宣讲

产品经理组织业务及算法相关同事一起参与,算法同事帮忙说明使用了什么算法和选择这个算法的原因,这个模型选择了哪些重要特征,训练的样本,以及算法同学的测试方案与结果。AI产品经理要有目的的引导业务了解算法逻辑,并可以用非技术语言跟领导及客户解释清楚模型逻辑。

流程:无

⚠️注意:此阶段主要对特征的来源,训练样本的合理性以及测试结果是否符合业务预期,是否合理进行评估预判。

六、模型验收

在模型评估环节,产品经理需要做的是,根据业务需求挑选合适的测试样本,请算法同学进行测试,并且提交测试结果。最后,再根据模型宣讲和测试的内容编写模型验收报告。

img

⚠️注意: 在不同场景下,由于我们的业务目标不同,对模型的要求不同,对模型统计性指标的关注点也不会相同。AI产品经理需要明确知道针对不同的AI模型对应不同的评估指标,并根据业务需求提出模型验收要求。

✳️ 案例: 模型的评估主要包括三个部分:统计性、模型性能和模型稳定性。

统计性指标指的就是模型输出结果的覆盖度、最大值、最小值、人群分布等指标。以模型覆盖度为例,它表示模型可以覆盖人群的百分比, 它的计算公式是:模型的覆盖度= 模型可以打分的人数 / 需要模型打分的人数。

覆盖度越高,代表模型可以打分的人数越多,也就是说模型可以评估更多人。如果模型覆盖度过低,即使它的性能表现很好,在某些业务场景下模型也不可用。

模型性能和稳定性评估:分类模型的性能评价指标主要包括:混淆矩阵、KS、AUC 等。回归模型的性能评价指标主要包括:MAE(平均绝对误差)、MSE(均方误差)、RMSE(均方根误差)、R 方等。

具体指标的介绍及分析有很多资料介绍,这里不再赘述哦。

如何转行/入门AI产品经理 ?

🤔越来越多的人开始转行AI产品经理,毕竟大行情不是太好,对于刚毕业的研究生,想转行的互联网人,AI产品经理,确实是一个不错的方向,我在大厂做了多年的AI产品经理,还是想给大家一些经验和方向⏩

🔥AIGC在行业大火,AI产品经理到底要学哪些内容,和算法工程师有哪些区别,转行AI产品经理要学哪些东西,以下是整个学习思路和方向👇

1️⃣AI产品经理全局学习
2️⃣python系统学习
3️⃣机器学习&深度学习
4️⃣热门AI产品竞品分析
5️⃣AI产品设计学习
6️⃣AI产品0-1实操项目经验
7️⃣AI产品求职&面试

💎以上7点,看起来简单,内部内容其实很多,每一个篇章,展开都有夯实且丰富的内容,需要深度学习。

在这里插入图片描述

👉AI产品经理大模型视频和书籍PDF合集👈

观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

👉获取方式:

😝文章篇幅有限,详细资料有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐