-
基于Hadoop的卡口，百度路况等海量数据分析研判平台研究设计
摘要:利用卡口数据、百度路况数据等海量交管数据,基于Hadoop中间件平台对海量数据分析研判平台进行了研究与设计。针对卡口数据、百度路况数据等海量数据特点,结合基于Hadoop平台的数据挖掘技术,解决了异构数据实时存储分析、复杂网络环境下数据丢失、重复等问题,实现了中间件平台的设计及海量数据分析研判平台总体框架设计,有效提高了大粒度、长周期数据的深度挖掘能力和数据处理存储效率,满足对数据深度挖掘、数据碰撞和应用的需求。
摘要:利用卡口数据、百度路况数据等海量交管数据,基于Hadoop中间件平台对海量数据分析研判平台进行了研究与设计。针对卡口数据、百度路况数据等海量数据特点,结合基于Hadoop平台的数据挖掘技术,解决了异构数据实时存储分析、复杂网络环境下数据丢失、重复等问题,实现了中间件平台的设计及海量数据分析研判平台总体框架设计,有效提高了大粒度、长周期数据的深度挖掘能力和数据处理存储效率,满足对数据深度挖掘、数据碰撞和应用的需求。
