在开发人员平台中驱动AI创新

传统的内部开发人员平台(IDP)改变了组织如何管理代码和基础架构。通过通过CI/CD管道和基础架构(IAC)等工具标准化工作流程，这些平台可以快速部署，减少手动错误以及改进的开发人员体验。但是，他们的重点主要是运营效率，通常将数据视为事后的想法。

在当今的AI驱动景观中，这种遗漏变得至关重要。尽管传统的IDP在管理基础架构方面表现出色，但在可扩展和兼容的AI创新所需的基础元素方面，它们缺乏：

· 治理：确保数据符合政策和监管标准通常是手动或孤立的努力。

· 可追溯性：如果不是完全缺少，则跟踪数据谱系和跨工作流程的转换是不一致的。

· 质量：验证数据以确保可靠性和AI准备就绪，缺乏自动化和标准化。

为了应对这些挑战，必须将数据提升到IDP中的一流公民。数据优先的IDP超出了IAC，直接嵌入治理，可追溯性，质量和策略(PAC)为平台的核心。这种方法将传统的自动化转变为一个综合框架，该框架将数据工作流与基础架构一起运行，从而使数据产品成为代码(DPAC)。

该体系结构支持诸如开放数据产品规范(ODP)和开放数据合同(ODC)之类的框架，该框架标准化了数据产品的定义和消耗方式。

尽管r esource标识符 (RIDS)对于实现可追溯性和互操作性至关重要，但数据领先的IDP的核心位于元中元中，它提供了可扩展和兼容的数据生态系统所必需的结构，规则和上下文。

数据优先的方法：扩展自动化

模板和食谱是关键技术，它使IDP能够获得高水平的抽象并使系统景观组成。

配方是一种参数化的配置IAC，它定义了如何在平台内提供，部署或管理特定资源或工作负载。食谱是定制的，可以重复使用以适合特定上下文或环境，从而确保标准化，同时允许特定用例的灵活性。

模板是为开发人员形成“黄金路径”的一组食谱。用于流，API或文件的架构设计模式，例如数据摄入模式，该模板会在交付平面中创建一个清单，该清单是构建，验证和执行的。

数据优先的IDP将“数据产品”规范添加为组件，资源，因此将其添加到IDP的配方;这可能是ODP和ODC的参数化版本。

软件的生命周期和管理要比数据成熟得多。 DPAC的概念在改变这一点方面有很长的路要走。它使数据管理的成熟度与完善的软件工程原理保持一致。

DPAC通过将数据视为可编程，可执行的资产，将数据管理转换，从而使其生命周期与经过验证的软件开发实践保持一致。通过弥合数据和软件之间的成熟差距，DPAC使组织能够以自信，治理和敏捷性扩展数据驱动的操作。随着IAC彻底改变基础设施，DPAC准备重新定义我们如何管理和信任数据。

数据市场是一个组件，资源和食谱，它可能依赖于其他服务，例如可观察性，数据质量服务和图形数据库，它们也是CI的组件，并且是CI的一部分/CD管道。

治理和工程基线

治理和工程基线可以通过PAC通过编程方式管理，版本化和强制执行的政策编码。通过将治理规则和工程标准嵌入机器可读格式(例如YAML，JSON，REGO)中，合规性是自动化的，并且跨资源一致性。

· 治理政策：治理规则定义了合规性要求，访问控制，数据掩盖，保留政策等。这些确保组织和监管标准始终如一地应用。

· 工程基线：基线建立了针对基础架构，应用程序和数据工作流的最低技术标准，例如资源配置，管道验证步骤和安全协议。

骑行的作用

尽管Meta-Metadata驱动数据优先的IDP，但通过为所有与数据相关的资源提供独特的参考来删除其原理。 RIDS确保该体系结构支持整个生态系统的可追溯性，质量和治理。

1. 促进血统：RIDS是数据产品，存储和计算资源的独特参考，允许外部工具追踪依赖性和转换。

2. 简化可观察性：这允许在整个景观中跟踪对象。

示例骑行格式

RID：：：：<版本>

· 数据产品RIF：RID：客户交易：数据产品：ERP-A：V1.0

· 储藏室RED：RID：客户交易：存储：S3-Bucket-A：V1.0

集中管理和联合责任与社区合作

数据优先的IDP平衡了集中管理，联合责任和社区合作，以创建一个可扩展，适应性和合规的平台。集中式治理为一致性和控制提供了基础，而联邦责任则使域名团队创新并拥有其数据产品的所有权。整合社区驱动的方法会导致动态发展的框架，以满足现实世界的需求，利用集体专业知识来完善政策，模板和食谱。

集中管理：一致性的基础

集中式治理定义了全球标准，例如合规性，安全性和质量规则，并管理关键基础设施，例如独特的RIDS和元数据目录。该层提供了能够分散执行的工具和框架。

标准化政策

使用PAC对全球政策进行了整理，并将其集成到工作流程中以进行自动执法。

联合责任：左翼授权

责任和问责制被委派给域团队，使他们能够自定义模板，定义食谱并更接近其来源。这种左翼方法可确保在生命周期的早期使用依从性和质量，同时保持灵活性：

· 自助服务工作流：域团队使用自助工具来配置资源，并在后台自动应用策略。

· 护栏内的自定义：团队可以调整中央模板和政策以适合其上下文，例如针对特定领域的要求扩展治理规则。

· 实时验证：自动反馈确保不遵守提早标记，从而减少错误并促进问责制。

社区合作：动态和适应性治理

环境鼓励合作根据现实需求和见解发展政策，模板和食谱。这个分散的创新层可确保平台保持相关和适应性：

· 贡献和反馈：域团队通过版本控制的存储库或拉请求提出新的食谱或提出政策改进。

· 迭代改进：跨域社区审查和完善贡献，确保与组织目标保持一致。

· 认可和激励措施：激励团队分享最佳实践和可重复使用的工件，从而促进协作文化。

自动化作为推动器

自动化可确保在整个平台上始终应用治理和标准，从而防止随着时间的推移偏差。政策和骑行是通过编程管理的，实现了：

· 大规模合规：新政策是无缝集成，及早验证的，并且没有手动干预。

· 可衡量的结果

扩展编排并添加治理引擎

数据优先的IDP扩展了编排引擎以自动化以数据为中心的工作流程，并引入了治理引擎，以动态执行合规性和维护标准。

编排增强功能

· 策略集成：在工作流程期间验证治理规则(PAC)，阻止不合规的部署。

· 资源意识：使用RIDS追踪和执行血统，质量和合规性

· 数据A UTOMATION：自动化架构验证，元数据富集和谱系注册。

治理引擎

· 集中策略：将合规性规则定义为PAC，并自动应用它们。

· 动态执行：监视和补救措施不合规，以防止从标准中漂移。

· 实时反馈：在部署过程中为开发人员提供可行的见解。

这些发动机一起通过将治理嵌入工作流程，自动化可追溯性并随着时间的推移维护标准来确保主动合规，可扩展性和开发人员的能力。

业务影响

1. 大规模治理：元米达塔和ODC确保合规规则在所有数据产品中都嵌入并执行。

2. 提高生产率：黄金路径减少认知负荷，使开发人员能够更快地提供质量或依从性的情况。

3. 信任和透明度：ODP和RIDS确保数据产品可追溯和可靠，从而促进利益相关者信任。

4. AI-Ready生态系统：该框架可以通过减少数据准备和商品化数据，并使用所有为解决方案增添价值和弹性的信息来实现可靠的AI模型培训和操作。

数据优先的IDP成功取决于Meta-Metadata，这为治理，质量和可追溯性奠定了基础。在ODP和ODC等框架的支持下，并通过RIDS进行操作，该体系结构降低了开发人员的复杂性，同时满足业务对可扩展，合规性数据生态系统的需求。数据优先的IDP准备通过嵌入智能抽象和模块化来为下一代AI驱动的创新提供动力。