OpenStack社区全票通过 国内首个开源智能运维项目Venus转正

北京2021年9月22日 /美通社/ --

眼睛大大明察秋毫
卡通小鸟优雅轻巧
工具虽小但绝对能搞定大事儿
一个关注细节的“卡哇伊”啄木鸟形象
这就是Venus

近日，这款身材虽小却蕴藏大能量的智能工具传来好消息！作为浪潮云海针对OpenStack平台在日志存储、检索、分析等方面的需求而实力推出的日志管理项目，Venus以全数赞成票通过了OpenStack社区TC团队的审核，成为国内贡献OpenStack社区且在智能运维领域的首个正式项目。 

贡献社区的Venus究竟是什么？

概括来说，Venus主要还是取决于大规模部署条件下，针对OpenStack平台在日志存储、检索、分析等方面的核心需求，可以做到一站式满足日志采集、清洗、索引、分析、告警、可视化、生成报告等，帮助运维人员快速检索问题，掌握平台的运行健康度，并在未来计划引用机器学习算法，快速定位IT故障及根因，提高运维效率以及平台管理的水平。

具体来说在检索工作上，Venus主要提供了简单易用的检索方式，可以做到检索一切日志数据，定位日志上下文；在分析上主要实现日志关联、字段数值统计，提供多场景、多维度的可视化分析报表；告警层面则将搜索转化为主动告警，实现海量日志中错误的“大海捞针”；定位是主要通过建立知识图谱和调用的链式关系，结合算法实现故障的快速定位。

以下是基于浪潮云海自研OpenStack Dashboard（浪潮云海自研的OpenStack Dashboard已贡献到木兰社区，感兴趣的小伙伴可以到社区下载集成，功能完善且操作简易。）集成Venus的两个典型示例，可参考：

示例1：在云平台上的虚拟机创建操作未成功，怎样迅速定位到问题呢？

a.找到创建操作的请求ID，并通过此跳转到虚拟机创建调用链页面。

b. 系统可以展示整个调用过程，做到清楚定位到整体调用链错误日志的位置。

示例2：当云平台出现错误日志时，如何将其转化为告警来提醒运维人员呢？

a. 运维人员收到的日志告警信息如下：

b. 运维人员可以进一步成功检索错误日志的详细信息和统计信息。

表现亮眼的Venus，整体的技术架构如何？

浪潮云海技术研发团队表示，Venus以Fluented+Elasticsearch为基础，深度挖掘日志数据、固化运维的场景并提供认证的通用接口，例如：

采集层：开发了基于Fluented的采集任务，针对OpenStack、操作系统、平台服务等日志开发了读取、过滤、格式化、发送等插件，而且用户可以按需配置。

存储层：采集并格式化后日志索引至Elasticsearch集群中，ES提供副本机制。即使在某些服务器宕机后仍能正常工作，提高数据可用性，同时存储层也有Mysql作为分析结果的存储。

Venus_api：api服务主要进行简单的业务处理，提供更简洁更全面的认证接口。将上层调用转化为底层Elasticsearch查询，并对查询的多维度索引数据进行简单处理，同时将结果返回。

Venus_manager：内部定时任务模块，开发了可配置的定时任务，包括数据清理任务、日志分析任务、日志告警任务、调用链分析任务等核心业务处理任务。

展现层：Venus已开发Horizon插件并且提供统一接口对接第三方系统。

关于Venus的未来，期望可以如此

一直以来浪潮云海通过对开源开放技术的攻坚，突破开源版本在性能、大规模管理能力方面的瓶颈，秉承“源于开源、馈于开源”的理念，助力业界共同构建开放统一的智能基础设施。

Venus项目旨在打造一个开放的OpenStack日志管理平台，集合广大用户在日志领域的需求和实践，提供各场景日志分析并集成算法和知识图谱实现故障的快速定位，构建完备的日志运维场景，所以Venus模块会随OpenStack的Yoga版本发布第一个正式的Release，未来的重点工作将会涉及：

• 开发典型错误日志告警任务，开发关键词告警任务
• 开发Venus的Horizon展示插件，开发至少3个日志分析页面
• 优化基于Kolla-ansible的部署方式和基于Devstack的部署方式
• 错误场景模板化并且总结更多的典型错误日志模式