什么是数据网格(data mesh)?
时间:2022-03-05 04:10:01 | 来源:行业动态
时间:2022-03-05 04:10:01 来源:行业动态
正如我们之前报道的那样,数据网格(data mesh)是ThoughtWorks公司的技术总监 Zhamak Dehghani在2018年提出的一系列概念和原则。她发起这项运动是因为她的客户一些世界领先的公司已经在占据主导地位的数据架构上投入了巨资,可是这些架构并没有带来期待中的回报。
在工作中,她深入了解了为什么她的客户的投资没有产生预期中的效果。她的主要结论是,试图将我们的数据强制转换为单一单体架构的流行做法从根本上来说其实是一种限制。
数据网格背后最深刻的思想之一是数据架构应该围绕着具备领域情境的业务线来组织。跨职能的集中式团队扮演了高度技术化并且高度专业化的角色,而这是阻碍我们实现数据理想的关键障碍。
下面是数据网格最重要的四个原则:
- 业务领域应该拥有数据从端到端,而不是必须通过一个集中式的技术团队;
- 自助服务平台是架构方法成功的基础,其中,数据应该在整个组织和生态系统中可发现,并且是可共享的;
- 产品思维是数据网格理念的核心换句话说,数据产品将推动下一个数据时代的成功;
- 数据产品的构建必须考虑到治理和合规性的问题,而且应该是自动化并且是联合式的。
上述的第三条是最重要,但也是最难理解的一条。在过去十年里,关于数据价值的绝大多数讨论都集中在使用数据创建可操作的见解方面:数据知会人类,帮助他们做出更好的决策。我们认为,对于二十一世纪20年代来说,这是数据成功转换的必要但不充分条件。换句话说,如果终极游戏是获得更好的洞察力,我们会将其视为报告的一种重要的延伸,但是这种延伸只是一种进化。相反,我们相信构建能够货币化的数据产品是一个更为有趣(而且是现在就可以实现)的目标。这些产品可能可以直接降低成本,或者是能够产生新的收入这一点更为重要。
数据网格的概念还有很多,如果你想了解更多的信息,网络上这方面的资源非常多,还有围绕着数据网格形成的整个社区。但是我们想在这里帮助你了解一些基础概念。
数据网格与工具无关
另一个值得注意的点是,在观察 Zhamak 的工作时,她会有意避开围绕特定工具进行的讨论,对于有些人来说,这有点令人沮丧。这种情绪很好理解,因为我们都喜欢有具体的产品和公司作为参考。这是一把双刃剑,一方面,这种做法很好,因为数据网格设计的初衷就是要独立于所选择的工具取得成功。可是另一方面,一些人则会随意歪曲数据网格的概念,大肆推销他们的解决方案,并且声称这些解决方案可以完成任务,但实际上,这只是营销的噱头,而不是现实。