怎样选择一个合适的大数据框架

来自四面八方的数据席卷而来，将我们裹挟进去。。随着数据每两年翻一番，数字宇宙正以飞快的速度追赶物理宇宙。据估计，到2020年，数字宇宙将达到44泽塔字节——其数字位的数量相当于宇宙中恒星的数量。

数据还在不断增加，我们压根无法摆脱。为了消化这些所有的数据，市场上的分布式系统越来越多。在这些系统中，Hadoop和Spark经常作为直接竞争对手相互竞争。

在决定这两个框架中哪个更适合你时，我们需要根据几个基本参数对它们进行比较。

Spark的速度非常快，已经优于Hadoop框架。它在内存和磁盘上的运行速度分别比Hadhoop快100倍和10倍。此外，它对100 TB数据的排序速度是Hadoop的3倍。

Spark如此之快是因为它处理内存中的所有东西。由于Spark的内存处理，它提供了对营销活动、物联网传感器、机器学习和社交媒体网站数据的实时分析。

然而，如果Spark和其他共享服务在YARN上运行，它的性能可能会下降。这可能导致RAM内存泄漏。另一方面，Hadoop则很容易处理这个问题。如果用户倾向于批处理，Hadoop要比Spark高效得多。

底线：Hadoop和Spark都有不同的处理方法。因此，是继续使用Hadoop还是Spark完全取决于项目的需求。

Facebook及其与Spark框架的过渡之旅

Facebook上的数据每秒钟都在增长。为了处理并利用这些数据，Facebook使用了分析技术。为此，它利用了以下几个平台：

Hive平台来执行Facebook的一些批量分析。

用于自定义MapReduce实现的Corona平台。

对于基于ansi - sql的查询，很快就会占用内存。

上面讨论的Hive平台在计算上是“资源密集型”的。所以，维护它挑战巨大。因此，Facebook决定改用Apache Spark框架来管理他们的数据。今天，Facebook通过集成Spark为实体排名系统部署了一个更快的可管理管道。

Spark的安全性问题仍在不断发展，因为它目前只支持通过共享（密码身份验证）进行身份验证。Apache Spark的官方网站也声称，“因为存在许多不同类型的安全问题，Spark并不一定能保护所有的数据。”

Hadoop则具有以下安全特性：Hadoop身份验证、Hadoop授权、Hadoop审计和Hadoop加密。所有这些都与Hadoop安全项目集成，如Knox Gateway和Sentry。

底线：在Hadoop与Spark的安全大战中，Spark的安全性比Hadoop稍差。但是，在与Hadoop集成Spark之后，Spark可以使用Hadoop的安全特性。

首先，Hadoop和Spark都是开源框架，因此都是免费的。两者都使用普通服务器，运行在云上，并且似乎有一些相似的硬件需求：

那么，如何在成本的基础上进行评估呢？

请注意，Spark使用大量RAM在内存中运行所有数据。考虑到RAM的价格高于硬盘，这可能会影响成本。

另一方面，Hadoop是磁盘绑定的。这样，就能够节省购买昂贵RAM的成本。然而，Hadoop需要更多的系统来分发磁盘I/O。

因此，在比较Spark和Hadoop框架的成本参数时，必须考虑它们的需求。

如果需求倾向于处理大量的大型历史数据，Hadoop是继续使用的最佳选择，因为硬盘空间的价格要比内存空间便宜得多。

另一方面，当我们处理实时数据的选项时，Spark可以节省成本，因为它使用的硬件少，能以更快的速度执行相同的任务。

底线：在Hadoop与Spark成本之争中，Hadoop的成本肯定更低，但当企业不得不处理更低数量的实时数据时，Spark是很划算的。

Spark框架最大的USPs之一是它的易用性。Spark为Scala Java、Python和Spark SQL（也称为Shark）提供了友好而舒适的api。

Spark的简单构建块使编写用户定义函数变得很容易。此外，由于Spark支持批处理和机器学习，因此很容易简化数据处理的基础设施。它包括一个交互式模式，用于运行带有即时反馈的命令。

Hadoop是用Java编写的，在编写没有交互模式的程序时，是编写程序绊脚石。虽然Pig（一个附加工具）使编程更容易，但它需要一些时间来学习语法。

一句话：在Hadoop与Spark的“易用性”之争中，两者都有自己的用户友好方式。然而，如果我们必须选择一个，Spark更容易编程并包含交互模式。

Apache Hadoop和Spark有可能实现协同关系吗？

是的，这是非常有可能的，所以我们推荐它。让我们详细了解一下它们如何协同工作。

Apache Hadoop生态系统包括HDFS、Apache Query和HIVE。让我们看看Apache Spark如何使用它们。

Apache Spark和HDFS的合并

Apache Spark的目的是处理数据。但是，为了处理数据，引擎需要从存储中输入数据。为此，Spark使用HDFS。（这不是唯一的选择，但却是最流行的选择，因为Apache是它们背后的大脑）。

Apache Hive和Apache Spark的混合

Apache Spark和Apache Hive是高度兼容的，它们可以一起解决许多业务问题。

例如，假设一个企业正在分析消费者行为。现在，该公司需要从各种来源收集数据，如社交媒体、评论、点击流数据、客户移动应用程序等等。

企业就可以使用HDFS存储数据，Apache hive作为HDFS和Spark之间的桥梁。

为了处理消费者数据，Uber结合了Spark和Hadoop。它使用实时交通状况来提供特定时间和地点的司机。为了实现这一目标，Uber使用HDFS将原始数据上传至Hive，并使用Spark处理数十亿个事件。

Hadoop vs Spark：赢家是……

虽然Spark快速易用，但Hadoop的安全性、巨大的存储容量和低成本的批处理能力更胜一筹。从两个选项中选择一个完全取决于项目的需求。两者的结合将产生一个不可战胜的组合。