Hadoop和Spark正在变成传统遗留技术
时间:2022-04-19 15:54:01 | 来源:行业动态
时间:2022-04-19 15:54:01 来源:行业动态
Hadoop在大数据分析领域发挥的作用正在逐渐消失。Hadoop市场的增长前景趋于平缓,这也成为Cloudera和Hortonworks在2018年合并的主要原因。
Hadoop的核心用例正在逐渐缩小到面向非结构化数据的分布式文件系统、用于批量数据转换的平台、大数据治理存储库和可查询的大数据存档。
2019年,Hadoop将试图把应用范围扩展到在线分析处理、商业智能、数据仓库以及其他开源项目覆盖的领域。今年年底,很多企业大数据环境将开始逐步淘汰Hadoop,即使Hadoop重点瞄准的数据湖,也更倾向于采用分布式对象存储、流计算平台和大规模可扩展的内存集群。
即使作为Hadoop替代品问世的Apache Spark,在许多以TensorFlow为中心的AI环境中也开始变成一项遗留技术。这一趋势通过数据提取/转换/加载进入到Spark的部署领域就可以看到,而且随着Schema on Read架构(将数据的处理推迟到从数据库读出后)的出现,这种趋势可能会有所放缓。