02 被遗忘的

时间：2022-04-19 14:27:01 | 来源：行业动态

时间：2022-04-19 14:27:01 来源：行业动态

随着时间发展，Hadoop的概念逐渐泛化。一开始只有HDFS和Mapreduce，然后是一个以HDFS和YARN为基础的平台，再之后是一个包含Spark、Hive、Hbase等几十个项目和子项目的生态，最后，甚至又带上了以Hadoop为基础的商业公司，如Cloudera、Hortonworks、MapR等。

这种泛化有个坏处，那就是一旦出现负面新闻，大家往往分不清该怪谁。

比如作为一种技术，Hadoop肯定有其时效性。就像Mapreduce，虽然计算能力强大，但一切都是先Map再Reduce的抽象程度实在太粗鲁，以至于理念上很快就被Spark、Flink等这种更先进的技术打败了。与之相似的，还有HDFS和YARN，从技术上说，前者不如云存储方便，后者不如K8S灵活，都有被取代的风险。

于是有人便开始宣称Hadoop已死，然后又说，因为Hadoop已死，Cloudera也不行了。典型的用狭义概念做总结，用广义概念做推导，就像偶尔看到汽车超过了一辆绿皮车，就立马得出铁路运输已死，公路运输是未来一样。

然而这种暴力论断却非常有市场。

尤其是2019年，这年Hadoop三个主要的独立供应商过的都不大好。MapR裁员，苦寻几个月金主后卖给了HPE。Cloudera合并了Hortonworks，合并后Q1财报略不及预期，然后股价暴跌，CEO离职。往日的Hadoop三巨头，似乎已是英雄末路。

这时不少人纷纷站了出来，用Mapreduce的问题论断Cloudera，表示它将不出所料的要玩完。

如果这时你搜索Hadoop is，输入栏会自动补齐 dead。

于是一个魔幻的现象出现了，一边是Hadoop已死，独立供应商要完，一边各大云厂商却在拿Hadoop疯狂赚钱。据分析师测算，2018年单AWS的EMR就产生了2.5亿美金的营收，而该产品介绍就是Hosted Hadoop framework。而这并不是孤例，除AWS的EMR外，谷歌云有Dataproc，Azure有HDInsight，阿里云有E-MapReduce，云计算四巨头，全都把托管Hadoop放到了自己大数据产品的首页，这显然不是已死的技术该享受的待遇。

Cloudera的心情，大概就像开头说的种一年菜最后都被鸟收割了一样。

它当然解释过，但没什么效果。另外其实它很早就开始淡化自己是Hadoop供应商的概念了，比如和O'Reilly合办的Strata大会，以前叫Strata Hadoop，2017年之后便把Hadoop字眼拿掉，改叫了Strata Data Conference。

只不过这一切几乎没有人听，就像自己已经被大家遗忘掉一样。

当然，Cloudera无论如何肯定面临着一些问题，而且远比技术问题复杂。

在合并之前，Cloudera和Hortonworks有各自不同的产品线，有各自不同的思路，Cloudera主打开源引擎加商业周边，Hortonworks主打全开源。所以合并后的第一个问题便是产品线怎么整合，原有客户怎么迁移。它Q1的财报里提到不少客户推迟了续费，主要就是这个原因，大家都在等。

但这个问题最多只算近忧，Cloudera真正的远虑，则是前面提到的公共云厂商。

云在吞噬一切，包括大数据，它们不止有托管的Hadoop，还有自研的替代产品。所以逻辑会变成这样，它们会用托管Hadoop鲸吞开源市场，然后用自研替代品蚕食Hadoop。比如AWS里的Redshift，从场景上基本可以看成是Hadoop Hive的替代方案，但2018年营收约4亿美金，远超Cloudera。而且这个逻辑对所有开源厂商都成立，几乎成了开源软件的公地悲剧。2018年，在怒斥云厂商为吸血鬼而收效甚微之后，Redis和Mongo两家公司直接修改了开源协议，不再允许云厂商提供托管服务。

不过Hadoop用的是Apache协议，修改起来比较困难。但针对近忧远虑，Cloudera也给出了自己的答案。

那就是CDP。