NVIDIA 发布保障代理式 AI 应用安全的 NIM 微服务

AI 智能体有望成为能够完成各种任务的“知识机器人”，提升全球数十亿知识工作者的生产力。为了开发 AI 智能体，企业需要解决信任、物理安全、网络安全以及合规性等关键问题。

全新 NVIDIA NIM AI Guardrail 微服务是 NVIDIA NeMo Guardrails 软件工具系列的一部分。这些可移植且经过优化的推理微服务可帮助企业提高生成式 AI 应用的安全性、精准性和可扩展性。

这些微服务围绕 NeMo Guardrails 为核心编排。NeMo Guardrails 是 NVIDIA NeMo 平台的一部分，该平台用于 AI 的管理、定制和防护。NeMo Guardrails 可帮助开发者在大语言模型 (LLM) 应用中集成和管理 AI 护栏。行业领导企业 Amdocs、Cerence AI 以及劳氏公司 (Lowe’s) 等都在使用 NeMo Guardrails 保护 AI 应用的安全。

开发者可以使用 NIM 微服务构建更加安全、可信的 AI 智能体。这些智能体会参考特定语境准则做出安全、适当的回答，并且加强了对越狱企图的抵御力度。它们可被部署在汽车、金融、医疗、制造、零售等行业的客户服务中，提高客户的满意度和信任度。

在这些全新微服务中，有一项专为审核内容安全而构建，并使用 Aegis 内容安全数据集 (Aegis Content Safety Dataset) 进行训练，后者是同类中质量较高的人工注释数据源之一。该数据集由 NVIDIA 整理并拥有，已在 Hugging Face 网站上公开发布。该数据集包含超过 35000 个经过人工标记的数据样本，这些样本针对 AI 安全和绕过系统限制的越狱企图进行标记。

NVIDIA NeMo Guardrails 使 AI 智能体处于正轨

AI 正在迅速提高各种业务流程的生产力。在改变客户服务方面，它可使解决客户问题的速度加快至高 40%。然而，为了扩展用于客户服务的 AI 和其他 AI 智能体，需要有安全的模型防止有害或不当的输出结果，并确保 AI 应用在规定的参数范围内运行。

NVIDIA 为 NeMo Guardrails 引入了三项全新的 NIM 微服务，可帮助 AI 智能体在大规模运行的同时保持受控行为：

● 内容安全 NIM 微服务：防止 AI 生成有偏见或有害的输出结果，确保回答符合道德标准。

● 话题控制 NIM 微服务：将对话聚焦在经过审核的话题上，避免离题或不当内容。

● 越狱检测 NIM 微服务：增加对越狱企图的防护，帮助在对抗性场景中保持 AI 的完整性。

由于“一刀切”的方法无法有效保护和控制复杂的代理式 AI 工作流，通过应用多个轻量级专业模型作为护栏，开发者可以弥补在只采取较为通用的全局策略和保护措施时可能出现的漏洞。

小语言模型(例如 NeMo Guardrails 系列中的模型)的延迟较低，即使在资源有限或分布式环境中也能高效运行，因此是扩展 AI 应用的理想选择，用于医疗、汽车、制造等行业，以及医院或仓库等场所。

行业领导者与合作伙伴使用 NeMo Guardrails 保障 AI 安全

NeMo Guardrails 现已向开源社区开放，帮助开发者通过编排多项 AI 软件策略(称为 rail)提高 LLM 应用的安全性和可控性。它与 NVIDIA NIM 微服务一同组成了一个强大的 AI 系统构建框架，可在不影响安全和性能的情况下进行大规模部署。

全球领先的传媒企业软件与服务提供商 Amdocs 正在使用 NeMo Guardrails 实现更加安全、准确、符合语境的回答，增强 AI 驱动的客户交互。

Amdocs 技术集团总裁兼战略主管 Anthony Goonetilleke 表示：“像 NeMo Guardrails 这样的技术对于保障生成式 AI 应用的安全至关重要，能够帮助 AI 安全、道德地运行。我们正在通过将 NVIDIA NeMo Guardrails 集成到我们的 amAIz 平台，增强该平台的‘可信 AI’功能，保障代理式体验的安全性、可靠性和可扩展性。这使服务提供商能够安全、放心地部署 AI 解决方案，为 AI 的创新和卓越运营树立了新标准。”

Cerence AI 是一家专为汽车行业提供 AI 解决方案的公司。该公司正在使用 NVIDIA NeMo Guardrails 来帮助其车载助手在其 CaLLM 系列大语言和小语言模型的支持下提供符合语境的安全交互。

Cerence AI 产品和技术执行副总裁 Nils Schanz 表示：“Cerence AI 依靠 NVIDIA 安全、高性能的解决方案为我们的车载助手技术提供助力。使用 NeMo Guardrails 可以帮助我们为汽车制造商客户提供可信的情境感知解决方案，并作出明智、严谨且无幻觉的回答。此外，NeMo Guardrails 还可以针对我们汽车制造商客户的需求定制，帮助我们过滤有害或不友善的请求，防止我们的 CaLLM 系列语言模型向终端用户提供意外或不当的内容。”

领先的家居装饰零售商劳氏公司 (Lowe’s) 正在利用生成式 AI 来巩固其店员的专业知识。通过提供更全面的产品知识，这些工具使店员能够回答客户的问题，帮助他们找到合适的产品来完成项目，并为零售创新和客户满意度树立新的标准。

劳氏公司数据、AI 和创新高级副总裁 Chandhu Nair 表示：“我们一直在寻找方法帮助员工为客户提供超出预期的服务。通过最近部署的 NVIDIA NeMo Guardrails，我们能够保证 AI 生成回答的安全性与可靠性，将对话强行限制在相关和适当的内容范围内。”

为进一步加速零售业 AI 应用开发和部署中 AI 安全保障措施的采用，NVIDIA 最近在 NRF (National Retail Federation) 展会上宣布，适用于零售购物助手的 NVIDIA AI Blueprint 整合了 NeMo Guardrails 微服务，为数字购物创造更加可靠、可控的客户交互。

咨询行业的领导者 Taskus、Tech Mahindra 和 Wipro 也正在将 NeMo Guardrails 集成到其解决方案中，以便为企业客户提供更加安全、可靠、可控的生成式 AI 应用。

凭借自身的开放性和可扩展性，NeMo Guardrails 可集成由领先的 AI 安全模型和防护提供商组成的强大生态系统，以及 AI 可观察性和开发工具。它支持与 ActiveFence 的 ActiveScore 集成，以防止对话式 AI 应用中出现有害或不当的内容，并提供可视化、分析和监控功能。

Hive 以 NIM 微服务的形式提供适用于图像、视频和音频内容的 AI 生成内容检测模型。通过使用 NeMo Guardrails，该公司可轻松地将其模型集成到 AI 应用中并进行编排。

AI 可观测性平台 Fiddler 可轻松与 NeMo Guardrails 集成，增强 AI Guardrails的监控功能。端到端 AI 开发者平台 Weights & Biases 正在现有 NIM 集成组合的基础上，通过增加与 NeMo Guardrails 微服务的集成来扩展 W&B Weave 的功能，以此提升生产中的 AI 推理能力。

NeMo Guardrails 提供用于 AI 安全测试的开源工具

NVIDIA Garak 是一款由 NVIDIA Research 团队开发的用于 LLM 和应用漏洞扫描的开源套件。开发者可以使用它测试安全保障模型和其他 rail 的使用效果。

借助 Garak，开发者通过评估数据泄露、提示注入、代码幻觉、越狱场景等问题，发现使用 LLM 的系统中所存在的漏洞。通过生成包含不当或不正确输出结果的测试用例，Garak 可帮助开发者发现并解决 AI 模型中的潜在弱点，提高模型的稳健性与安全性。

可用性

NVIDIA NeMo Guardrails 微服务以及用于编排 rail 的 NeMo Guardrails 和 NVIDIA Garak 套件现已向开发者和企业开放。开发者可以按照此教程，开始使用 NeMo Guardrails 为 AI 客服智能体构建 AI 护栏。