Google Kubernetes机器学习工具包Kubeflow发布0.1版
扫描二维码
随时随地手机看文章
摘要:在Kubernetes日渐成为各大基础架构环境都要支持的公用工具时,其应用也逐渐在各个领域发酵,而该工具能调度庞大规模容器集群的能力,也相当适合与机器学习、大数据等应用场景结合。
在Kubernetes日渐成为各大基础架构环境都要支持的公用工具时,其应用也逐渐在各个领域发酵,而该工具能调度庞大规模容器集群的能力,也相当适合与机器学习、大数据等应用场景结合。而近日,由Google自家推出的Kubernetes机器学习工具包Kubeflow终于发布了0.1版。 Google表示,虽然该项目仅成立5个多月,但是目前在GitHub上,已经有超过3,000名用户收藏该项目,“而在GitHub平台的关注热度,Kubeflow目前已经到达前2%了。”
而Kubeflow项目中,共依赖三个核心功能,让用户更容易在Kubernetes集群上执行机器学习应用。首先,Kubeflow支持开源项目JupyterHub,而JupyterHub项目,让工程师可以创建用户共同访问的窗口(Hub)。同时,还能让开发者除了可以使用不同程序语言,同步进行机器学习应用开发,加速项目协作速度。
再者,就是TensorFlow训练控件(TensorFlow Training Controller),依据任务性质,开发者可以同时针对分布式、非分布式的TensroFlow应用,部署相对应的集群资源。只要完成一次性设置,用户可以就指定该应用,所需要的CPU、GPU资源。最后是TensorFlow Serving容器,让企业可以将训练完毕的TensorFlow模型,搬迁至Kubernetes环境中执行。
而新发布的0.1版,除了上述核心功能外,也开始扩大支持周边的开源机器学习生态系统工具。像是整合Argo项目,这款主打容器原生的workflow引擎,可以在任何Kubernetes集群上运行外,该工具在资源调度上的自由,也比VM或是其他传统服务器环境更高。同时,利用容器技术,Argo将每个单一workflow,定义成单一容器执行,如此一来,企业就可以使用Kubernetes执行高密度的运算工作,像是数据处理、机器学习等任务。
另外一款工具则是开源机器学习部署平台Seldon Core,让机器学习模型可以部署于Kubernetes上运行。而Seldon Core的目标,要让数据科学家可以用任何工具包、程序语言创建机器学习模型。现阶段该工具的支持模型,包含以Python为基础的TensorFlow、Sklearn,还有Spark、H2O、R等知名模型。此外,Seldon Core也让机器学习模型可支持REST、gRPC,让用户可以更简单地集成相关企业应用。
不仅如此,Kubeflow 0.1版还有许多有意思的新功能、新特色。例如,它也开始实验性地支持深度学习框架Caffe2,让这款框架也能在Kubernetes上执行,或是改善TensorFlow的训练性能、利用身份验证功能增进安全性,以及加强复杂数据流管理等。而Google也已经预告,Kubeflow 0.2版将在今年夏季时发布。除了要简化初始设置工作、加速集成其他应用外,还想要支持更多不同的机器学习框架,例如Spark、XGBoost、Sklearn等。