18143453325 在线咨询 在线咨询
18143453325 在线咨询
所在位置: 首页 > 营销资讯 > 行业动态 > 问:Spark从何而来?Spark相比于Hadoop MapReduce设计上有什么样的优势?

问:Spark从何而来?Spark相比于Hadoop MapReduce设计上有什么样的优势?

时间:2022-02-20 16:12:01 | 来源:行业动态

时间:2022-02-20 16:12:01 来源:行业动态

其实Spark出现就是为了解决上面的问题。先说一些Spark的起源,它来自 2010年Berkeley AMPLab,发表在HotCloud上的Spark是一个从学术界到工业界的成功典范,也吸引了顶级VC Andreessen Horowitz的注资。在2013年,这些大牛(包括Berkeley系主任,MIT最年轻的助理教授)从Berkeley AMPLab出去成立了Databricks,引无数Hadoop大佬尽折腰。

Spark是用函数式语言Scala编写的,Spark简单说就是内存计算(包含迭代式计算、DAG计算、流式计算 )框架。之前MapReduce因效率低下,经常被大家诟病,而Spark的出现让大家感觉很清新。 Reynod 作为Spark核心开发者,介绍说Spark性能超Hadoop百倍,算法实现仅有其1/10或1/100。在去年的Sort benchmark上,Spark用了23min跑完了100TB的排序,刷新了之前Hadoop保持的世界纪录。

关键词:设计,优势

74
73
25
news

版权所有© 亿企邦 1997-2022 保留一切法律许可权利。

为了最佳展示效果,本站不支持IE9及以下版本的浏览器,建议您使用谷歌Chrome浏览器。 点击下载Chrome浏览器
关闭