IBM四大Power解决方案“进击”大数据

大数据中有“黄金”如今已经成为公认的事实，但从浩瀚的大数据中找出“黄金”却并不简单。“工欲善其事，必先利其器”，工匠要做出一件漂亮的作品，一套趁手的锯刨凿钻必不可少，而对于应用大数据来说，一套有效的IT基础架构能大大简化大数据落地的过程，在这方面，IBM有着独到之处。

11月21日，IBM在上海召开的Power大数据论坛上展示了四类基于Power Systems的大数据解决方案，分别面向静态大数据处理、实时大数据处理、数据仓库和数据集市。这些解决方案的特点是硬件上均采用IBM Power平台，具有高性能、高可靠、高吞吐等特点，并且集IBM咨询、服务、硬件、软件为一体，以应用为导向，面向不同类别的企业大数据应用。

不同的大数据需要不同的“提炼”方式

云计算方兴未艾，大数据又快速兴起，如今，大数据已经成为最为炙手可热的新兴产业。“中国大数据市场未来5年将以51.4%的速度增长”，IBM大中华区副总裁及系统与科技部Power Systems总经理侯淼先生介绍说，据IDC预测，中国大数据技术与服务市场将从2011年的7760万美元增长到2016年的6.16亿美元。

侯淼先生指出，在行业方面，大数据应用已经从电子商务、互联网、快消品等行业向金融、政府、公共事业、能源、交通等行业扩展;而从应用场景来看，大数据应用已经从用户上网行为分析拓展到电力安全监控系统、舆情监控等等。

IBM大中华区副总裁及系统与科技部Power Systems总经理侯淼先生

对于企业而言，大数据带来了新的机会。“大数据与分析能够帮助企业实施创新，成为行业领导者”，侯淼先生表示，大数据与分析能够从“获取、扩大和保留客户、改善IT经济效益、优化运营和减少欺诈、管理风险、转型财务流程、创建新业务模式”等方面为企业带来新的价值，故而大数据与分析能够成为当前企业所面临的一种“颠覆性”力量。

IBM系统与科技部大中华区Power Systems产品总监李红女士将大数据比喻为新型“石油”，未经加工的石油没有什么价值，而加工过的石油才能助力世界。同样，如果大数据不能有效地加工处理、分析，数据就还将是数据，不会产生任何的价值。“大数据需要充分的提炼才能真正服务于客户，实现价值”，李红女士强调说。

“多样性是大数据的一个典型特征，对于不同的大数据类型，需要不同的系统对它进行提炼，但作为大数据及分析平台必须要有整体的视角对各类大数据进行统一管理，避免掉入孤岛陷阱，最终获得完整数据价值”，李红女士表示，面向不同大数据类型，大数据应用可分为静态批量大数据处理、实时大数据处理、数据仓库整合、数据集市构建四类，IBM面向这四类应用都有着专门的解决方案。

四大Power解决方案进击大数据

大数据的分布式结构让更多的观点认为“x86+Hadoop”是承载大数据的最佳平台，但IBM有着不同的观点，IBM所展示的四类大数据解决方案均基于Power Systems平台，IBM认为，Power平台更加适合大数据分析：

“Power系统采用Power7+处理器，每处理器核心具有四个线程，可以同时进行计算，对并发计算有天然的支持;高吞吐，大数据要求I/O和内存带宽，Power7+具有非常大的内存和I/O带宽，这也是沃森超级计算机成功的关键;对应用的优化，Power7+提供了高度优化的JVM，更适合大数据应用需求”，李红女士介绍了Power硬件平台适合大数据应用的三大优势。

IBM Power静态大数据解决方案基于IBM天合应用服务器(PowerLinux)和GPFS-FPO或HDFS并行文件系统，再上面是Platform Symphony管理软件、InfoSphere BigInsight分析工具或开源Hadoop，形成软硬一体化的解决方案。“Symphony是同类中最佳的MapReduce执行方案，对计算密集型大数据应用优势明显;BigInsight在Hadoop框架上增加了IBM独特的技术优势，如安全管理和工作流等，并融入了IBM独特的数据分析、机器学习和文本数据分析挖掘等技术。”

IBM系统与科技部大中华区Power Systems产品总监李红女士介绍大数据方案

李红女士特别提到了GPFS-FPO并行文件系统，它支持1000个节点，支持远程复制、支持大规模的水平扩展，支持Symphony和BigInsight，并且经过多家数据库厂商认证。对于需要先行排序的Sort操作，提供2~3倍Hadoop性能，对于文件检索等查找工作，提供17倍开源Hadoop的效率，是一个更加适合大规模应用的并行文件系统。

大数据应用并不仅仅是静态的，还包括GPS、医疗检测分析、天气预报、金融交易等实时数据分析，为此，IBM提供了Power流数据解决方案，同样基于天合应用服务器和GPFS-FPO并行文件系统。“实时大数据处理对内存要求高， Power对大内存的支持非常符合;实时性大数据应用中有大量数据在流动，对网络带宽要求高，这方面Power也有天然优势”，李红女士表示。

数据仓库是最传统的数据应用类型，是文本型关系型数据库分析，比如经营分析系统。在数据仓库方面IBM也有着完善的解决方案。李红女士介绍说，IBM Power系统采用集中式架构，具有强大的向上扩展能力，为OLTP和OLAP应用提供了性能保障;Power平台的RAS特性更加适合数据库所要求的苛刻可靠性;DB2 PureScale能够实现对Power集中式架构的进一步增强，性能及可靠性大幅提高。

在数据集市方面，李红女士介绍了IBM独有的DB2 BLU加速器技术。BLU加速器采用内存列式计算方式，能够动态移动无用数据，这就降低了硬件平台的内存要求;无需解压就能使用压缩数据，更加快速高效。“DB2 BLU+Power的组合，报告和分析能够快8~25倍，在一些十余年测试中可能高达1000倍;客户测试结果达到10倍存储空间节省。”

李红女士认为，IBM Power平台大数据解决方案的优势还表现在技术的传承和完整性方面：“Power传承了以前的数据仓库、数据挖掘、数据集市、业务数据库的优势，和以前的系统链接可以做平滑无缝的链接，还可以拓展新的需求，如开源的、非结构化数据、流数据分析等，都可以集成到新的方案里。IBM提供的不光是一个硬件，是一整套的解决方案。”

IBM大中华区副总裁及系统与科技部Power Systems总经理侯淼先生认为，IBM Power平台的另一大优势是长期的投入和对客户的承诺，今年，IBM联合谷歌、NV等厂商成立了OpenPower联盟，并宣布投入10亿美金投入Linux和Power平台的开源创新，推出基于PowerLinux的天合应用服务器，并在北京成立Power Systems Linux中心，这些投入为IBM Power大数据解决方案提供了有力支撑。

IBM大数据方案电信行业显身手

电信运营商每天要处理大量的数据，有着天然的大数据“金矿”，故而电信成为中国最早涉足大数据分析应用的行业之一，北京电信正是一个典型的例子。据介绍，北京电信有着丰富的“数据资产”，通过判定用户的使用习惯实现精准的定向营销、制定符合用户习惯的资费政策，或者通过用户兴趣爱好提供有针对性的网络便利性服务，成为北京电信新的利润增长点。

北京电信选择了基于IBM PowerLinux天合应用服务器的大数据解决方案建立了大数据分析平台，实现了独立的DPI流量即席查询功能，并开展了有针对性的内容与应用推荐营销。负责北京电信大数据平台搭建工作的北京信合运通科技有限公司华北大区技术总监徐振介绍说，相比9台x86服务器，4台PowerLinux服务器在测试中每核加载速度是x86内核的11.18倍，每核处理能力是x86内核的9.63倍。Symphony提供了可视化界面，简化了人员的操作。

北京信合运通科技有限公司华北大区技术总监徐振

IBM大数据方案的表现获得了徐振的认可，他表示，PowerLinux是性能与成本平衡的硬件平台，GPFS-FPO并行文件系统要更加成熟可靠，Symphony更加适合计算密集型应用。

PowerLinux天合应用服务器是IBM Power家族中一条独特的产品线，将PowerLinux服务器、Linux操作系统、VAD(增值分销商)合作伙伴的软件打包在一起，形成以应用为导向的解决方案。据侯淼先生介绍，天合应用服务器获得了中国市场的肯定，获得了高速增长，今年第三季度的销售额达到上半年的一倍。

“沃森”：认知计算揭开新篇章

在IBM的大数据框架中，著名的“沃森”超级计算机是其中一个特别的系统。众所周知，诞生于2011年的“沃森”在美国电视节目《危险边缘》中战胜了人类，成为人工智能发展史上里程碑似的产品。IBM系统与科技部Power Systems全球实验室服务总监Ian Jarman先生表示，“沃森”是全新的认知计算的代表，在大数据浪潮的推动下，“沃森”也将有着新的角色。

IBM系统与科技部Power Systems全球实验室服务总监Ian Jarman先生介绍“沃森”

IBM“沃森”实际上并不神秘，它基于90台Power750服务器，具有2880颗 Power7内核，具有500GBps芯片带宽、15TB内存——看上去和它和很多超级计算机没有什么不同。但Ian强调，“沃森”与众不同的地方在于它是一种全新的“认知系统”，能够分析和理解人类语言，演示类似于人类的准确性，运行速度比人脑更快、维度更高。

“沃森”的问世标志着一个“认知计算”时代的来临，Ian解释说：“回顾过去100年中计算机的发展历史，可以分为三个阶段，第一个是列表式，第二个是编程式，第三个叫做认知计算，沃森是其中的代表。沃森的独特之处是能够理解自然语言，人类的交流，并以证据为基础，作出最好的选择。另外一个特点是适应和学习，能够进行人机对话，能够进行学习，对结果进行修改和改进。”

“沃森”的这种能力正好符合大数据及分析的需求，Ian先生介绍说，过去“沃森”的应用仅限于电视节目或者实验室，就像一个“演示系统”，随着大数据应用需求的推动，“沃森”的应用领域更加广泛，如今已经应用于医疗、金融、呼叫中心的服务。“德克萨斯有一个癌症中心，沃森在其中对医生提供建议，以助于治疗复杂的疾病和癌症。”

“沃森”能够从不同的信息来源采集数据并进行提炼，通过证据得出正确的结论，并能够进行认知和学习，Ian先生认为这代表了大数据应用的发展方向：“沃森不只是一个应用，它在推动计算机或者是信息技术的发展。借助非结构信息管理架构(UIMA)平台，沃森可以和Hadoop 、InfoSphere 、Symphony结合起来，提供更好、更有价值的结论。所以我们认为沃森作为认知计算的一个代表，代表着我们大数据的未来。”

目前“沃森”主要应用在三个领域：医疗、金融和呼叫中心。未来，“沃森”将会应用在更多的领域。Ian先生介绍说，为此IBM推出了一个“沃森”生态系统，向ISV提供技术、工具和API编程接口，已进行认知应用的自助服务培训、开发和测试，希望借助云服务和访问工具，利用沃森帮助合作伙伴开发他们的认知计算软件及系统。

另外，IBM建立了一个“沃森”内容库，供应商可以为沃森提供内容，包括通用和专用的信息，如医疗保健等。Ian预计在未来通过生态系统，沃森能够帮助其他的行业研发新的业务和应用，如旅游和零售，因为这些行业有着大量的数据，有着潜在的应用需求。