新闻大数据的增值应用

 新闻大数据借助于领域词表、大数据和人工智能技术，将杂乱无章的新闻条目数据按照领域词表自动重新聚类，并在聚类的基础上，进行数据重组和集成，形成具有较大价值的专题数据，提供给机构和读者。

新闻大数据是报社的制胜法宝

互联网媒体对传统报社构成了较大冲击，经济效益显著下滑，读者数量也急剧减少。报社赖以生存的新闻报道已经被今日头条、手百等互联网媒体所取代，读者通过手机百度等媒体就可以全面了解当前热点、新闻、时政等新闻内容，导致报社读者大量流失，读者的流失又直接导致了广告商投入和报纸销量的减少。

针对互联网媒体的冲击，报社也投入了大量资金以应对日趋恶化的经营环境，例如，建立新闻网站、移动新闻客户端、融媒体建设等。但大多收效甚微，主要原因是——虽然新闻的生产方式、经营方式已经数字和互联网化，提高了新闻的生产和传播效率，但是其经营的内容没有改变，依然是售卖新闻模式，该模式同手机百度等媒体相比，缺乏内容竞争力，读者自然就不买账了。

不过，报社也有其自身的竞争力。以参考消息为例，参考消息完成了自1953年至今所有参考消息版面的数字化加工工作，加工后的数字内容以PDF、数据库、XML等多种方式存储，为大数据增值服务提供了数据支撑。参考消息大数据集中体现了中国自建国以来，国外媒体对中国外交、经济、政治、民生等方面的报道及观点，其承载的文化内容和历史内涵都是不言而喻的，对研究中国国情及发展历程具有很大的文献情报价值，对图书馆、机构、社会组织、企业、读者都有较强的内容吸引力，也是今日头条、手百等媒体不能给予读者的内容。

大数据增值应用有哪些技术内容?

大数据增值服务涉及到数据的感知与采集、数据的存储、数据的挖掘分析与重组、数据的展现与交互技术。

数据的感知与采集是获取并对数据进行预处理的技术。例如，新闻机构一般都以数据库方式存储新闻条目，这就需要系统能够识别数据库存储的新闻条目，并按照预定规则对新闻条目预处理后，进入到大数据存储系统。再如，利用爬虫技术从新闻网站采集新闻条目，并按照预定规则对采集的新闻条目预处理后，进入到大数据存储系统。

大数据的存储技术非常重要，直接关系到大数据增值服务系统的响应和运算能力，从系统的响应和运算能力考虑，传统的关系型数据库存储、数据集中式存储技术已不能满足大数据的存储与数据运算需求。需要运用新的数据存储和运算技术，以满足不断增长的数据存储需求和高并发数据的运算能力。

新闻大数据的增值服务主要是对新闻数据进行挖掘和重组，对机构和读者提供数据检索和专题数据服务。例如，某机构要组织“记录潍坊，见证历史”活动，可以通过新闻大数据系统挖掘潍坊发展过程中涉及的热点、大事件、政策、民生变化等新闻条目，并按照时间线和热点、大事件、政策、民生进行排序和归类，生成专题数据，活动参与者可以通过浏览器、手机浏览专题数据。再如，对潍坊文化、历史感兴趣的读者都可以通过检索和专题数据来感知潍坊。

数据的展现和交互技术直接影响用户使用大数据服务的体验，也影响到大数据服务的传播和推广。面向机构提供大数据服务时，系统可以部署到机构内部(大数据镜像服务)，也可以部署在云端，并提供标准或者个性化的检索与阅读页面，机构读者可以在机构内部和外部通过移动终端(微信小程序)、PC浏览器访问大数据服务;面向读者提供服务时，充分考虑到新闻机构已有的系统建设，提供数据服务接口，为新闻机构已有系统提供数据获取服务。

大数据增值应用实现需要的核心技术

大数据服务首先要解决大数据的存储与高并发运算需求。大数据的特征是高价值的海量数据、数据来源渠道众多、适合于数据的挖掘和重组、支持高并发运算。基于大数据的上述特征，采用传统的数据集中式存储和关系型数据库技术已经不能满足大数据服务需求，需要采用新的存储和数据库技术。

大数据服务宜采用分布式存储以提高大数据的存储扩展能力。考虑到大数据硬件建设成本和便捷的扩展性，服务器应采用价格低廉的普通PC服务器，每台PC服务器通过网络连接，工作互相不受干扰，数据存储到自身的硬盘上，当需要扩展数据存储时，直接在网络中加入PC服务器即可。所有接入存储网络的PC服务器在分布式操作系统的控制下，自动保存数据的多个副本到不同的PC服务器，以提高数据的容错性，可以在不同服务器之间直接拷贝和复制数据，保持各服务器的负载平衡。

系统应用分布式基础架构Hadoop技术，硬件可以基于普通PC 服务器，存储基于服务器自带的本地硬盘，操作系统采用Linux。上述基础架构拥有较高的存储扩展能力和内在的故障容错能力以及数据保障机制，可以降低每TB数据的处理成本，为大数据处理提供技术和性价比支撑。数据库采用Hbase，HBase是一个分布式的、面向列的开源数据库。利用HBase和Hadoop技术，可在廉价PC 服务器上搭建大规模结构化存储集群。

大数据服务宜采用云计算以提高大数据的运算能力，运算能力包括检索、数据挖掘、重组能力。由不同PC服务器组成的分布式存储系统可以构建云计算，利用PC服务器自身的运算能力，对自身存储的数据进行运算，每台PC服务器的运算结果汇总后，返回给数据请求者。

利用Hadoop的MapReduce技术，可以控制多台PC服务器完成数据的并发运算。例如，读者在前端的一个检索请求，会触发MapReduce发起云计算，MapReduce将调用多台PC服务器参与运算，然后将每台服务器的运算结果汇总并返回给检索系统。