软件定义汽车中的 MLOps:集中式平台方法
扫描二维码
随时随地手机看文章
软件定义汽车 ( SDV ) 是指汽车设计的一种新范式,其中车辆的功能和特性主要由软件而不是传统的硬件组件定义和控制。
在 SDV 中,软件更新可以动态改变和增强车辆功能,从而形成更加灵活、适应性更强的汽车生态系统。
软件定义汽车中的 MLOP
MLOps(机器学习操作)涵盖旨在简化和自动化生产环境中机器学习模型整个生命周期的管理和部署的实践、工具和方法。
与 SDV 的相关性
SDV 严重依赖 ML 模型来执行关键功能,例如自动驾驶、预测性维护、用户个性化等。
这些模型的有效管理不仅重要,而且对于维持 SDV 的车辆性能、安全性和可靠性至关重要。
MLOPs 平台、不同方法以及如何实现?
我们将研究 ML 平台的范围、构建平台的方法以及如何使用讨论的方法之一来构建平台。
MLOPs 平台
一个整体的软件平台,可提高运输、监控和管理 ML 模型生命周期的生产力和可扩展性,从而促进 SDV 内的功能。
集中式与分散式
MLOP 平台可以集中化,在一个中心位置管理所有有助于促进功能的 ML 模型。
它还可以由各个功能团队进行分离和构建,并缩小管理范围,仅管理与该功能相关的模型。
我们将深入研究用于管理 ML 模型的集中式 ML 平台以及构建该平台所需的条件。
为 SDV 构建整体 ML 平台需要什么
我们需要考虑以下组件来构建一个集中式 ML 平台,有效管理有助于 SDV 内的功能的 ML 模型。
数据工程
组织倾向于在企业级建立团队来帮助管理训练和开发机器学习模型的数据需求。
ML 平台应具有完善的实用程序来跟踪训练 ML 模型所需的数据沿袭,例如数据提取、数据转换和用于训练当前模型的最终数据集。良好跟踪的数据沿袭可以帮助使用该平台的功能团队深入了解用于训练模型的数据点,从而改进模型以有效地帮助该功能。
通常的做法是采用 API 优先的方法将企业级数据管理团队集成到平台中。
模型开发
尽管平台无法控制模型的开发方式,因为功能团队将负责协调该方面,但平台的最佳利益是向功能团队提供标准化的方法/模板,以收集以下笔记本源跟踪、训练集 id、验证集 id、测试集 id、预处理 id、后处理 id、模型 id 和生成的模型版本作为实验、设备类型和模型创建 id 的一部分。
该平台还可以标准化模型开发时所需的工件,以便稍后在模型部署期间使用。
从模型开发的角度收集上述所有信息在模型管理/监控阶段非常有用。
模型验证/治理
一旦模型开发完毕、测试完毕并准备部署到车辆上,MLOPs 平台应该提供一个接口来验证它,然后才能通过部署所需的框架/实用程序发布它。
在将模型部署到车辆之前,适当的基于审批工作流的治理模型对于审查该模型至关重要。
如果模型在部署前经过治理流程,这对 ML 平台来说非常有利。它还为组织内部处理模型建立了标准。
模型部署
这是平台的核心;这是轮胎与道路接触的地方。所有上述步骤构建并设置了平台,使其处于一个非凡的位置,可以轻松处理模型。
前面步骤中采用的标准化技术将对所有模型进行水平设置,并有助于减少差异性,同时开发服务将模型纳入平台并使用各种实用程序和框架将它们部署到车辆上以部署软件。
该平台应能够提取、跟踪和管理已上传的部署模型,并轻松与车辆部署实用程序和框架集成。同样,在这种情况下,API 优先方法是首选方法。
模范 OP
一旦模型上传部署,就可以在对其执行操作时应用几件事。
如果部分上传导致平台无法处理模型,平台应该能够检测到它们并进行相应的处理。
如果模型上传后未能通过验证/治理过程,平台应该能够处理这个问题。
模型已上传并准备部署。在这种情况下,平台应该能够评估模型在车辆中运行所需的软件,并根据软件准备情况、版本兼容性和其他此类因素做出相应的决策。
如果模型通过了上述所有标准并被部署,则平台应该能够将其移动到已处理的模型特征,以从模型的部署和未来操作中收集更多见解。
模型监控
当 ML 模型部署到车辆上时,应该特别强调模型监控,因为这对于它们的正常运行非常重要。
该平台应开发实用程序,帮助计算使用 ML 平台部署的每个模型的数据/概念漂移。可以通过开发一个框架来计算漂移,该框架使用汇总的车辆报告并定期将其与与模型相关的阈值分数进行比较。
如果不满足阈值标准,则会向模型/特征所有者发送通知。
重新训练/回滚/杂项功能
模型 OP 和监控有助于为功能团队提供仪表板和视图,以便他们可以就模型再训练、模型回滚以及与在车辆内操作模型相关的其他几个功能做出决策。
该平台应该能够处理可能发生的各种情况,例如,维护平台中的版本数量,以便能够在需要时轻松获取适当的版本;如果新部署的版本出现意外的性能损失,则回滚到以前执行的模型版本;影子部署关键功能的较新版本;将模型部署到预定义的车辆子集而不是整个车队。
集中式 MLOP 平台对 SDV 的优势
从上述方法可以看出,MLOPs平台通过标准化将模型部署到车辆软件所需的MLOPs功能,有助于加快价值实现时间,从而提高整体效率。
以下是此方法的优点的概述
· 帮助构建可重复使用的工作流程/管道
· 提高功能/产品团队之间的一致性和生产力
· 为与 ML 模型相关的所有 ML 相关功能/操作提供一个中心位置。
· 降低车辆集成障碍和所需的专业知识。
构建一个用于管理与软件定义汽车相关的 ML 模型的尖端 ML 平台还有许多其他优势。
本文有助于启动有关 SDV 的思考过程以及模型管理如何对其成功至关重要。