差之毫厘，谬以千里：破解“差差差差差差差”的潜藏密码

本文详细介绍了AI产品经理的工作全流程包括需求定义、模型预研、数据准备、模型构建、模型宣讲与验收及业务开发上线等环节。

与传统产品经理不同AI产品经理需理解算法模型知识与算法工程师紧密协作特别关注特征工程和模型评估。

文章通过薅羊毛用户筛选、用户流失预测等案例展示了各阶段工作内容和

注意事项强调了数据质量、特征选择和模型评估对产品成功的重要性。

详解AI产品经理工作全流程原创 小王子与月季 向上的AI产品经理

AI产品经理工作全流程概览AI产品经理工作全流程中与普通产品经理的区别主要是多了算法模型部分包括模型预研、数据准备、模型构建、模型宣讲、模型验收协作的对象相对普通产品经理也多了算法工程师。

需求定义需求定义主要要定义清楚以下几点

做什么?

为什么要做有什么收益和价值

业务预期目标、上线期限为了方便理解我们以开发一套筛选薅羊毛用户的产品进行举例说明。

项目背景团队发现负责的项目数据统计有些异常细查之后发现存在夜间偷数据的情况大致行为路径如下淘宝上买一批手机号注册新账号。

通过自动薅羊毛的方式新手礼包、每日签到、周任务等获取免费券等资源。

夜深人静的时候使用免费券或积分批量下载数据。

亡羊补牢犹未晚矣。

我们决定开发一套筛选薅羊毛用户的产品彻底堵住这个缺口。

做什么开发一套筛选薅羊毛用户的产品。

具体设计大概思路如下在领取新手礼包或周任务奖励时需要用户绑定手机号薅羊毛时简单卡一下以免影响正常的用户体验。

在使用券进行下载操作时判断是薅羊毛用户的概率并根据概率高低分成 正常、疑似、高危 三类。

针对“疑似”用户就触发 极验 或 验证码校验 等逻辑。

针对高危用户就锁定账号并在激活时要求绑定微信避免再出现大量偷数据的情况。

为什么要做有什么收益和价值减少公司做活动发放福利时被薅羊毛让福利触达给有效的用户。

业务预期目标、上线期限离线/实时模式支持实时判断所以应该定义为实时模型。

覆盖率期望该模型的覆盖率为100%面向所有用户。

倾向尽可能找出所有羊毛党追求高“召回率”可以接受一定程度的误报。

宁可错杀一千不可放过一个。

上线期限双十一前得上线离现在还有半年时间。

模型预研AI产品经理把需求同步给算法工程师算法工程师需判断目前积累的数据和沉淀的算法是否可以达到业务需求。

如果现有数据不满足需求要么增加埋点补齐数据要么想办法获取目标数据要么替换成其他类似数据。

如果算法支持度不够可能需要调整需求内容以便达到更适配的效果。

以该项目为例实时模式的话可能会对原业务的响应速度有一定影响所以最后调整为离线模型每天定时处理前一天的用户数据。

数据准备对于算法同学而言他只能根据现有的数据分析哪些特征对于模型有用但是AI产品经理对业务理解更深通过判断哪些数据、哪些特征对模型提升有帮助把自己想到的要点和技术沟通得到更完善的数据集再动手去获取数据。

比如该用户是否主要在夜间活动操作频率是否过高短时间内同一台终端是否登录过多个用户用户是否触发过新手引导尽可能准确的找到羊毛党用户的特征对模型质量的提升会有极大的帮助。

获取数据时主要分为以下三类有时也可与其他公司联合建模

内部业务数据如果以前业务有相关数据那么我们可以从以前业务保留的数据中选取使用如果当前没有相关数据而我们有相关业务可以获得数据我们通过增加埋点的方式将数据留存。

跨部门数据其他部门数据或统一的中台数据这些数据需要我们根据公司的数据管理规范流程提取在数据提取的时候注意筛选有效数据。

外采数据根据我们的需求向外部公司购买数据。

我们需要了解市场上不同公司都可以提供什么数据比如极光、友盟提供的是开发者服务所以他们可以提供一些和App相关的用户画像比如运营商可以提供上网流量、话费等相关数据。

进行外采数据需要注意两点外采公司的资质审核、采集数据的合法性需要考虑数据安全和消费者隐私保护。

模型构建模型构建的具体流程如下

模型设计模型设计阶段我们需要考虑该选择什么样的算法目标变量应该怎么设置、数据源应该有哪些、数据样本如何获取是随机抽取还是分层抽样。

a.算法选择于其需求定义模型需要计算出用户是薅羊毛用户的概率并根据概率高低分为正常、疑似、高危三类最终技术同学决定采用逻辑回归算法来实现该需求。

逻辑回归算法具有计算速度快、可解释性强的优点适用于解决需求中的多分类问题而且还可以对用户“为什么封号”的质疑有较强的解释性。

b.定义目标变量及抽取数据样本在模型设计阶段最重要的就是定义模型目标变量以及抽取数据样本。

不同的目标变量决定了这个模型应用的场景以及能达到的业务预期。

样本是用来做模型的基础。

在选取样本的时候你需要根据模型的目标、业务的实际场景来选择合适的样本。

必须要考虑季节性和周期性的影响。

另外还要考虑时间跨度的问题。

建议你选择近期的数据并结合跨时间样本的抽取来降低抽样的样本不能描述总体的这种风险。

特征工程所有模型的输入都是数量化的信息用向量、矩阵或者张量的形式表示的信息所以我们需要通过某种方式把各种类型的数据转化成数量化的信息这个过程就是特征工程。

特征工程是模型构建过程中最重要的部分如果我们可以挑选到足够优质的特征不仅可以提升模型性能还能降低模型的复杂度当选择了优质的特征之后即使你的模型参数不是最优的也能得到不错的模型性能你也就不需要花费大量时间去寻找最优参数了从而降低了模型实现的复杂度。

大幅简化构建过程。

数据和特征决定了模型的上限而模型和算法只是逼近这个上限而已。

以薅羊毛项目为例我们可以通过用户是否在夜间活动、操作频率、历史订单、完成活动速度、同一台终端是否登录多个账号等一系列特征来表达是薅羊毛用户的可能性这就是建立了薅羊毛用户的特征工程。

我们可以通过这些特征来判断用户的可疑程度。

特征过程包括以下四个流程

数据清洗数据清洗主要是算法工程师要做的工作数据预处理的重要环节主要是对数据进行重新审查和校验检查数据一致性、处理无效值和缺失值等。

来解决这些数据可能存在的数据缺失、有异常值或无效值、数据不均衡比如前面部分数据表现好后面部分数据表现不好、单位不一致等问题。

对数据缺失算法工程师可以通过删除缺失值或者补充缺失值的手段来解决它。

对于数据不均衡的问题因为数据偏差可能导致后面训练的模型过拟合或者欠拟合所以算法工程师取数据时需要考虑均衡问题。

特征提取从原始数据中提取有用的特征将其转化为一组更具代表性和可解释性的特征。

特征提取的目的是减少原始数据的维度提高数据的表达能力帮助算法进行更好的完成任务。

一般提取出的特征会有 4 类常见的形式分别是数值型特征数据、标签或者描述类数据、非结构化数据、关系型数据。

**数值型特征**如消费金额、好友人数、浏览页面次数等相关的业务操作数据、运营数据。

一般来说会首先提取主体特征再提取其他维度特征。

**标签或描述类特征**如有房、有车、高付费用来打标签。

**非结构化特征**如内容评论需要判断是否有负面情绪。

非结构化数据一般存在于 UGCUser Generated Content用户生成内容内容数据中。

提取非结构化特征的一般做法就是对文本数据做清洗和挖掘挖掘出在一定程度上反映用户属性的特征。

**关系型数据特征**如通讯录、收获地址、商品分享一般分享给亲朋、LBS位置信息 等维度数据。

比如说在京东购物时你和一个人在同一收货地址上如果这个收货地址是家庭地址那你们很可能就是家人。

特征选择特征在选择时主要有覆盖度、IV 值信息价值、稳定性等指标。

LV值指的是表示特征对目标预测的贡献程度LV值有限定条件一是面向的任务必须是有监督的任务二是预测的模型必须是二分类模型。

生成训练集和测试集算法同学为了给模型训练做最后的准备需要把数据分成训练集和测试集他们会使用训练集来进行模型训练会使用测试集验证模型效果

模型训练模型训练是通过不断训练、验证和调优让模型达到最优的过程。

就是要找到一个划分条件决策边界使得准确率拟合最高的同时兼顾稳定性泛化性能。

这里涉及几个名词需要理解a、决策边界那么怎么达到最优呢就是要绘制一条比较好的决策边界。

决策边界就是在符合某种条件做出某种选择的条件根据这个条件可以将结果进行划分。

比如说下午600不写完这篇博客我不吃饭那么写完了就去吃没写完就不吃。

这个条件就是我们说的决策边界。

决策边界分为线性决策边界和非线性决策边界。

下图中图1为线性决策边界图

图3为非线性决策边界。

决策边界曲线的平滑程度和算法训练出来的模型能力息息相关。

曲线越陡峭模型的测试精度越准确可以理解为不是一刀切但是越陡峭的曲线模型越不稳定。

b、拟合与泛化模型的“最优”指的是模型拟合能力和泛化能力的平衡点。

拟合能力模型在已知数据上训练集表现的好坏泛化能力模型在未知数据上测试集表现的好如果想让模型有足够好的拟合能力就需要构建一个复杂的模型对训练集进行训练但是模型越复杂就会越依赖训练集的数据就越可能出现训练集的表现很好但在测试集上表现差的情况泛化能力比较差这种情况叫做“过拟合”。

如果想让提高模型的泛化能力就要降低模型复杂度减少对训练集的依赖但如果过度降低复杂度又可能导致“欠拟合”的情况。

过拟合模型把数据学习的太彻底甚至把噪声数据的特征也学习到了就导致不能很好的识别未知数据模型泛化能力下降。

训练集表现很好但是测试集很差。

读的是“死书”并没有真正掌握书里的精髓自然就无法很好的应用了。

产生过拟合的原因一般有特征过多模型复杂度过高样本数据无法代表预定的分类样本噪音干扰过大等。

欠拟合模型不能很好的捕捉数据特征不能很好的拟合数据。

在训练集的表现就很差需要继续努力“学习”。

产生欠拟合的原因一般有模型复杂度过低、特征量过少等。

c、交叉验证算法工程师就这样不断的调整模型参数、训练再用交叉验证的方式逐渐找到拟合能力和泛化能力的平衡点这个平衡点就是我们训练模型的目标。

交叉验证一种评估机器学习模型性能的有效方法可以用于选择最佳模型参数、模型选择以及避免过拟合等问题。

包括简单交叉验证、留出交叉验证、自助交叉验证等方法。

如把测试数据进行进行封箱处理后随机对一些分箱测试结果取平均值。

模型验证经过复杂的模型训练我们终于得到了一个所谓的“最优解”但是怎么证明这个最优解就是真正的最优解呢我们需要模型验证阶段来确认这个“最优解”的真假。

模型验证一般通过模型的性能指标和稳定性指标来评估。

模型性能就是模型预测的准确性。

分类模型性能评估分类模型的预测结果是具体的分类一般使用召回率、F

KS、AUC等评估指标来判断分类模型的性能。

回归模型性能评估回归模型的预测结果是连续值一般使用方差和MSE等评估指标来判断回归模型的性能。

模型稳定性指的是模型性能可以持续多久一般使用PSI指标来评估模型的稳定性。

PSI指标指模型稳定性指标或称为客情稳定性指标PSI越小越好如果PSI

25说明稳定性很差。

综上模型验收环节AI产品经理需要知道常用的性能指标与稳定性指标并且知道其合理的范围。

AI产品经理对模型验证环节格外关注需要深入理解评估指标、计算逻辑并能根据指标的数据判断模型效果是否达标。

模型融合为了提升模型的准确率和稳定性有时会同时构建多个模型再把这些模型集成在一起确保模型有更优的整体表现。

比如薅羊毛项目这种分类模型可以用最简单的投票方法来融合票数最多的类别就是最终的结果。

回归模型的融合主要用算术平均或加权平均。

分类模型的融合主要是取数据值最大的如Blending和stacking,bagging和bossting。

模型融合的一些基本方法如下感兴趣可进一步查资料了解。

在模型融合的过程中产品经理需要考虑好成本问题。

模型宣讲与验收模型构建完成后产品经理需要组织技术宣讲训练好的模型介绍内容如下使用的什么算法为什么选这个算法选用了哪些特征。

训练集、测试集的大致情况。

模型的测试结果。

是否达到了预期哪些指标未达预期未达预期的原因是什么。

宣讲之后产品经理需要对模型进行评估和验收该环节也非常重要至于如何选择合适的评估指标后续章节会详细介绍。

业务开发并上线验收通过之后技术会把模型部署到线上并按之前和业务开发同事约定的接口提供能力。

业务开发完成相应功能后和模型接口联调通过就可以进入常规的走查、测试、上线流程了。

需要注意的是模型上线后还需要持续监控模型的效果若运行一段时间后发现模型效果有明显衰减就需要分析原因并针对性的升级模型。

《AI产品经理宝典》

AI产品经理的工作流程原创 慕渊他爹 毅筋经在当今的互联网时代用户流失是每一家互联网公司都无法忽视的重大挑战。

以我之前公司苏宁的电商平台为例新用户增长逐年放缓而老用户的流失却持续不断这无疑给业务带来了巨大的压力。

面对这样的困境作为产品经理尤其是AI产品经理我们该如何有效地降低用户流失率提升用户粘性下面我想通过一个在苏宁参与过的关于预测用户流失的AI项目带各位小伙伴深入了解一个AI产品从筹备到上线的完整流程包括每个环节的角色分配、工作职责以及他们的具体产出。

当然我所讲述的上线流程是基于苏宁特定业务场景和经验

总结而来的可能并不完全适用于所有公司。

但无论如何我们做事的底层逻辑和核心原则都是相通的。

【业务背景与挑战】在电商平台的激烈竞争中用户流失成为了一个不容忽视的问题。

我们公司曾面临这样的困境每月老用户的流失数量远超过新用户的增长。

为了扭转这一趋势我们决定开发一套AI产品用于预测并预警可能流失的用户同时采取针对性措施进行挽留。

【精准定义产品需求】当决定启动一个AI产品项目时首要任务是与业务方紧密合作共同确定产品目标和范围。

这一合作对象可能来自运营团队也可能是业务部门具体取决于产品是面向消费者ToC还是企业用户ToB。

通过沟通交流我们能够明确业务方的核心诉求与期望比如产品上线的时间节点、预期的市场影响等。

细化需求以预测用户流失项目为例我们的业务伙伴是运营团队。

项目的核心目标是通过算法精准识别出具有高流失风险的用户群体并通过定向发放优惠券等策略进行召回。

我们设定的KPI是通过干预措施使这部分用户的流失率相较于未干预群体降低5%。

技术规划在技术层面我们根据运营团队的工作节奏决定将模型设计为离线模式按月更新。

这意味着每月初模型将基于最新数据预测出当月的流失风险用户。

同时为了确保模型的全面性和实用性我们设定了100%的覆盖率目标即模型需能够覆盖业务线上的所有用户。

文档记录所有这些关于模型更新周期、运行模式、覆盖率等关键要求都被详细记录在需求文档中。

【技术预研与需求调整】在AI产品的生命周期中技术预研是确保项目顺利推进的关键步骤。

预判可行性与算法工程师的沟通核心在于对需求的可行性进行预判。

这要求产品经理不仅要深刻理解业务需求更要具备一定的技术素养以便准确传达需求细节并引导算法团队评估现有数据与算法是否足以支撑业务目标的实现。

这一过程中产品经理需细致询问当前的数据积累是否充足数据的维度和质量是否满足模型训练的高标准若答案不尽如人意便需立即启动数据筹备的应急预案。

数据筹备数据是AI项目的基本要素。

即便算法需求初步得到满足数据准备的工作仍然不能遗漏。

产品经理需要凭借业务理解的能力协助算法团队从海量数据中筛选出最有价值的部分确保数据既全面又精准。

特别是对于垂直业务线而言产品经理的专业知识显得尤为关键。

需求调整技术预研的另一大挑战在于根据算法的反馈灵活调整需求。

例如当发现新用户因数据缺失而无法被算法有效评分时简单的坚持原有覆盖率目标显然不切实际。

此时产品经理需要迅速响应基于新老用户的实际比例重新计算并设定合理的覆盖率指标确保需求既符合技术实际又能最大化业务效益。

【数据准备挖掘业务价值】数据准备是AI产品开发的关键环节。

我们基于业务的理解来协助算法团队筛选出具有代表性的数据集。

比如说我们发现用户客诉及相应的处理情况与流失率密切相关因此特别为算法团队准备了相关的客诉数据。

这种业务洞察与数据准备的结合确保了模型能够捕捉到最重要的特征。

由于数据的多样性和来源的广泛性我们的获取方式也需灵活多变。

总的来说数据可以分为三大类别内部业务数据、跨部门集团内数据以及外部采购数据。

捕获内部业务数据内部数据作为我们最直接的业务反馈如订单数据、访问日志等是构建AI模型的基石。

这些数据通常可以直接从数据仓库中获取。

然而在实际操作中我们可能会遇到数据缺失的情况。

此时作为AI产品经理需要敏锐地洞察数据需求提出明确的数据留存需求。

例如通过增加埋点来捕获用户行为数据等为模型提供更全面的输入。

获取跨部门数据跨部门集团内数据涵盖了其他部门的业务数据以及统一的中台数据。

这些数据对于构建全局视角的AI模型至关重要。

在获取这些数据时需要遵循所在公司的数据管理规范按流程进行提取。

同时AI产品经理需要具备相应的业务理解能力能够准确判断哪些数据对模型构建具有价值从而确保数据的有效性和针对性。

外部数据采购当公司内部数据无法满足建模需求时外部数据的采购便成为了一个重要的选项。

在采购外部数据时不仅要关注数据的丰富性和准确性更要确保数据的合规性和安全性。

因此与第三方公司的合作必须经过公司法务的严格审核以避免潜在的风险。

【模型构建、宣讲与验收】数据准备完成后就会进入到模型构建的阶段。

虽然产品经理不直接参与模型构建但了解整个流程对于评估项目进度至关重要。

模型构建涵盖了模型设计、特征工程、模型训练、模型验证以及模型融合等多个步骤每一步都至关重要共同决定了模型的最终性能。

尽管AI产品经理不需要投入到模型构建的具体技术细节中但深入了解这一流程对于评估项目进度、与算法团队高效协作至关重要。

后续我会专门写一篇文章来进行详细讲解这里为预告

模型宣讲模型构建完成后AI产品经理需要组织算法工程师阐述所选算法的原理、优势以及特征选择、建模与测试样本的考量。

特别是对于流失预测模型需明确其主要特征、建模样本并重点评估测试结果是否贴合业务需求。

例如当面对流失预测模型的测试结果时我们可能会发现模型召回率、KS值均达标但模型覆盖度低于预期。

此时需结合业务实际若业务侧仅需针对部分流失用户进行挽留操作那么当前的覆盖度或许已经足够了。

这类问题正是模型宣讲环节需重点关注与评估的。

模型验收模型宣讲之后AI产品经理还需对模型进行全面评估验收从产品经理的视角判断模型是否满足上线标准。

比如在预测流失用户的项目中我们应重点关注模型的准确率即模型预测的用户在一定周期后是否确实发生流失。

如果模型准确率不佳导致优惠券错配至无流失意愿的用户将造成营销预算的严重浪费。

因此模型验收环节需确保模型性能符合业务期望。

【工程开发与产品上线运营】模型通过验收后进入工程开发阶段。

工程开发与模型构建并行在工程开发阶段我们通常会与算法模型的构建同步进行。

算法团队负责模型的研发而工程团队则根据算法的输入输出和API接口进行系统开发两个团队紧密协作确保工程开发与模型构建的无缝对接。

工程测试验收工程开发完成后产品会进入测试验收阶段。

测试团队会全面检测系统的功能和性能一旦发现任何问题都会及时提交给工程团队进行修复。

最后产品经理会进行走查验收确保产品达到上线标准。

产品上线与A/B测试产品上线后为了评估效果我们会进行A/B测试对比AI方案与传统方案的表现。

通过量化数据更准确地了解AI产品带来的效果提升同时关注产品定义阶段的指标和目标是否达成。

持续监控与优化AI产品经理的工作并不仅限于产品上线。

在上线后我们还需要持续监控产品的数据表现特别是模型的效果。

由于模型效果会随时间逐渐衰减因此我们需要定期分析数据找出衰减的原因并根据实际情况启动模型的迭代更新以保持产品的最优效果。

谈谈AI产品经理的产品开发流程叶秋 产品刘本文以智能文档审阅系统IDP和工业互联网数字孪生—故障预测为例介绍AI产品经理在产品开发全流程过程中每一阶段的工作内容、工作流程及

注意事项并结合具体案例方便对AI产品经理感兴趣的同学予以了解。

文中尽量避免使用特征向量、归一化、RNN等专业词汇可放心阅读。

需求定义内容这一初始阶段集中在从业务角度理解项目的目标和要求然后把理解转化为模型能力的定义和一个初步执行计划。

不仅要有整体技术研判力可行性、技术难度、

关键技术点还要有业务洞察力可以定义出可执行有价值的好问题。

流程注意AI产品经理在本阶段要特别注意模型能力边界和模型类型确定。

案例这里说的模型类型除了回归、分类、聚类、序列之外还要基于具体业务考虑其他情形比如在线还是离线因为如果目标客户比较注重数据安全可能就会要求私有化部署不允许连接外网调用模型接口。

AI产品经理在需求分析阶段明确模型基础要求也方便工程师在后续模型预研及成本分析方面提前有所考虑。

关于模型能力边界。

请看这一条业务需求“系统自动抽取合同签订日期、中标通知书通知日期并进行时序性校验合同签订日期不能早于中标通知书通知日期”AI产品经理需要将此条业务需求的实现分解成先由模型执行抽取任务后再由系统平台进行时序性比较。

因为不同类型模型可执行的下游任务不同仅以自然语言处理任务层级举例如下图我们这里提到的模型能力边界指的是第三次即信息抽取、情感分析、问答系统、机器翻译和对话系统等。

自然语言处理任务层级

模型预研内容需求确定之后AI产品经理需要和工程师进行沟通要判断目前积累的数据和沉淀的算法是否可以达到我们的业务需求。

以及对原始数据的初步理解发掘值得关注的数据子集以形成对隐藏信息的假设。

流程注意在这个环节中可能还需要根据算法工程师的预估对上一阶段的需求内容进行调整。

案例此阶段往往需要AI产品经理跟算法工程师经过多轮沟通根据业务目标及原始数据质量的预估确定模型预研的可行性等问题。

比如以智能文档分析IDP系统举例因为文档类型及业务规则的多样性往往需要多个模型共同完成一项业务需求比如对一份合同的审核既需要对合同基本信息的抽取如甲方、乙方、签订日期也需要对合同中建设内容的相似性进行判断还需要对合同中的表格数据进行分析。

这就需要AI产品经理与工程师多次沟通确定模型融合等解决方案的设计。

数据准备内容数据和特征决定了机器学习的上限而模型和算法只是逼近这个上限。

“数据准备”阶段往往会占用整个工程60%以上的时间。

产品经理基于对业务的理解帮助工程师判断哪些数据集更具备代表性以及明确数据来源、数据质量处理措施。

流程注意“数据质量”问题除了数据模式层面还要关心应用场景下的数据质量问题应用场景相关的数据质量问题与研究问题的范畴和业务上下文有关通常不容易发现有一定规律但不存在通用的方法。

案例“数据异常”也许是被忽略的一些“正常场景”。

【业务背景】风电机组大部分采用同步变桨在正常情形下三个桨距角应该非常接近。

因此在变桨驱动系统异常研判中常常会将三个桨距角的不一致性如角度差或短期时序相关度作为一个重要特征。

【数据现象1】如下图所示某个风电机组在2013年8月9日21:45—21:47的表现。

三个桨距角的初始值都在

8

5°左右然后三个桨距角逐步变为0°。

控制电路重启造成三个桨距角的大差异【业务解读】这个过程实际上是调试过程中变桨控制系统逐个重启造成的。

在2013年8月9日21:45:40左右第一个变桨控制电路进行了人工重启然后依次对第二个、第三个进行了重启。

【对数据准备的启发】对于关键数据、关键结果要做必要的数据探索画图或者看统计分布数据中包含的内容超过我们的“预设”和“专家经验”。

模型构建内容AI产品经理基于对需求和业务的理解配合算法工程师进行数据集的准备、模型训练、参数调优等等及时跟进模型的目标优化针对突发问题做出调整和决策。

流程注意前面有提到“数据和特征决定了机器学习的上限而模型和算法只是逼近这个上限。

”算法工程师们花费在特征工程建立上面的时间基本上占整个模型构建的 60%。

AI产品经理在此阶段要尽量结合业务经验预判、保证特征的稳定性。

案例磨煤机堵磨检测。

【数据特征】磨煤机堵磨研判几小时内电流持续上升伴随入口风量下降。

预将入口风量作为特征数据预测磨煤机堵磨。

【业务经验】入口风量影响因素太多测量稳定性差不应作为主要研判依据多台磨煤机共用一个管道它们的入口风量存在强耦合。

模型宣讲内容产品经理组织业务及算法相关同事一起参与算法同事帮忙说明使用了什么算法和选择这个算法的原因这个模型选择了哪些重要特征训练的样本以及算法同学的测试方案与结果。

AI产品经理要有目的的引导业务了解算法逻辑并可以用非技术语言跟领导及客户解释清楚模型逻辑。

流程无注意此阶段主要对特征的来源训练样本的合理性以及测试结果是否符合业务预期是否合理进行评估预判。

案例无

模型验收内容在模型评估环节产品经理需要做的是根据业务需求挑选合适的测试样本请算法同学进行测试并且提交测试结果。

最后再根据模型宣讲和测试的内容编写模型验收报告。

流程注意在不同场景下由于我们的业务目标不同对模型的要求不同对模型统计性指标的关注点也不会相同。

AI产品经理需要明确知道针对不同的AI模型对应不同的评估指标并根据业务需求提出模型验收要求。

案例模型的评估主要包括三个部分统计性、模型性能和模型稳定性。

统计性指标指的就是模型输出结果的覆盖度、最大值、最小值、人群分布等指标。

以模型覆盖度为例它表示模型可以覆盖人群的百分比它的计算公式是模型的覆盖度 模型可以打分的人数 / 需要模型打分的人数。

覆盖度越高代表模型可以打分的人数越多也就是说模型可以评估更多人。

如果模型覆盖度过低即使它的性能表现很好在某些业务场景下模型也不可用。

模型性能和稳定性评估分类模型的性能评价指标主要包括混淆矩阵、KS、AUC 等。

回归模型的性能评价指标主要包括MAE平均绝对误差、MSE均方误差、RMSE均方根误差、R 方等。

具体指标的介绍及分析有很多资料介绍感兴趣的同学可以查一下这里不再赘述。

工程开发、测试验收模块与传统互联网没有区别这里不再过多介绍。

此外对于在线模型在上线运营后需要对模型评估指标及特征持续性关注可建立简单的监测系统定时监查。

小白AI产品经理的工作流程有什么不同青子 青子的读书笔记“AI产品经理工作流程的6大关键步骤是设定产品目标、进行技术预研、需求分析、产品设计、参与研发流程、持续产品运营。

”大家好我是青子正在努力寻求产品经理进阶。

如果你也在探索产品经理的进阶之路关注我来跟我一起学习成长吧。

这是我的

读书笔记。

我要读的第一本书是《人工智能产品经理 AI时代PM修炼手册》。

今天阅读了

–人工智能产品经理工作流程。

人工智能AI , artificial intelligence后续都称为AI。

01 设定清晰的目标目标定义阶段的检查清单如下1用户/客户痛点分析–场景描述说明用户/客户具体的业务或需求场景是什么如果产品功能投入使用用户将在该场景中哪个流程环节里使用他们当产品没有问世之前用户/客户都使用什么样的替代方案替代方案在多大程度上满足了用户/客户的需求2用户/客户痛点分析–痛点来源用户/客户的痛点来源是自身还是来源于外界的压力为什么存在这种压力痛苦链条是什么3用户/客户痛点分析–痛点全方位剖析该痛点涉及的面有多广是普遍问题还是个别问题该痛点对应的需求是否高频该痛点是否符合政策导向或者是否合规用户/客户愿意为此痛点买单吗他们愿意付出多少成本来解决这个痛点感觉到痛的人是否有采购决策权4市场竞争市场规模有多大产品在市场上的主要竞争对手有谁各自的竞争优势是什么市场占有率如何市场上是否已经有占有率比较高的产品其具有什么样的优势相比于竞争对手我们的优势是什么用户/客户选择我们的理由是什么02 技术预研主要包括领域内的技术基本现状和趋势、领域内的前沿技术、常见技术逻辑、判断技术切入点。

详细解释见书中关于AI人脸识别的技术预研举例。

03 需求分析和产品设计AI产品设计****失败的常见原因1技术驱动产品设计技术驱动产品设计即我有什么样的技术就做什么样的产品。

但是事实上用户不会在乎产品是否使用了深度学习技术更不在乎产品训练了多少条的数据用户只在乎产品帮助他解决了什么问题解决这个问题付出的代价是否可以被接受。

2忽略用户期望产品很可能只解决了用户在整个体验流程中的某一个环节的细小问题对于整体的效率和体验的提升极其有限结果就造成了用户期望过高而以失望告终的糟糕体验。

当这种产品被投放到市场后很可能会导致用户对公司的品牌信任度大幅降低。

3单点突破带来的价值有限与用户付出的成本不成正比如果产品只能带来单点突破只在某个具体的场景中发挥了价值而没有形成整体解决方案那么将很难产生长久的价值。

例如绝大多数的家庭机器人的使用场景仍然相对单一并没有形成刚需仅仅依靠语音识别取代触碰式交互远远不能满足用户的复杂需求。

4一味追求底层技术而忽略了用户体验的优化例如一些广告推荐系统不会考虑用户的感受反复推荐用户买过的或者浏览过的隐私产品这不仅让用户感觉尴尬而且会有一种被侵犯隐私的感觉。

AI产品常见设计原则1少即是多原则AI时代产品的目标包括提供个性化精准服务提升效率和准确率提升用户体验等。

例如一款电商平台的智能交互搜索引擎为了提供搜索框提示、实时预测、个性化搜索、推荐等多重功能底层技术使用了深度强化学习、在线学习、自然语言理解、知识图谱等多种复杂技术。

可无论背后的技术原理如何复杂对于用户来说其看到的只是一个搜索框而已。

少即是多的原则就是要将用户在使用产品时的负担降到最低。

2从微观到宏观逐步深入产品需要从微观到宏观逐步满足用户需求当某个功能得到了用户普遍认可后再继续第二个功能只有这样才能占领用户心智才能逐渐被用户信任。

这跟传统产品经理从MVP版本做起从

再从1-N的设计思路是一致的。

3放宽世界有效整合资源AI产品经理应具备宽阔的视野不仅要学会找到算法和用户需求的交叉点而且要有意识的去修炼自己的软硬件技术整合能力、跨行业技术融合能力、交叉文化理解和创新能力等。

4同理心一款成功的产品往往不是依据用户明确提出的需求而是更多的去响应用户还没有表达出来的需求。

同理心要求用大多数用户的认知看待自己设计的产品放下自身的经验、体验和用户站在一起。

这点说起来容易做起来却很难合理制定需求优先级1根据需求的价值和研发部署的复杂程度对每个需求进行评估。

2使用卡诺模型对每个需求进行评估。

3相似组分类法首先团队成员进行头脑风暴尽量将能想出来的需求写在卡片上然后团队一起将每个卡片按照内容相似度进行分组并给每个组起好名字。

最后团队共同为每个组进行投票打分选出优先级最高的组和这个组里优先级最高的卡片。

4加权得分法通过对不同需求进行多维度打分横向对比综合加权得分将得分最高的需求作为最高优先级。

如何系统的学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。

但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。

这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。

我在一线互联网企业工作十余年里指导过不少同行后辈。

帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】

大模型风口已至月薪30K的AI岗正在批量诞生2025年大模型应用呈现爆发式增长根据工信部最新数据国内大模型相关岗位缺口达47万初级工程师平均薪资28K数据来源BOSS直聘报告70%企业存在能用模型不会调优的痛点真实案例某二本机械专业学员通过4个月系统学习成功拿到某AI医疗公司大模型优化岗offer薪资直接翻3倍

大模型 AI 学习和面试资料1️⃣ 提示词工程把ChatGPT从玩具变成生产工具2️⃣ RAG系统让大模型精准输出行业知识3️⃣ 智能体开发用AutoGPT打造24小时数字员工熬了三个大夜整理的《AI进化工具包》送你✔️ 大厂内部LLM落地手册含58个真实案例✔️ 提示词设计模板库覆盖12大应用场景✔️ 私藏学习路径图0基础到项目实战仅需90天第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。

大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-

5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。

快速开发一个完整的基于 agent 对话机器人。

掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。

为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。

到此为止大概2个月的时间。

你已经成为了一名“AI小子”。

那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。

硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。

天道酬勤你越努力就会成为越优秀的自己。

如果你能在15天内完成所有的任务那你堪称天才。

然而如果你能完成

% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

污视频免费app-污视频免费应用