从 “海思事件” 观国产数据库之崛起
时间:2023-03-13 10:26:01 | 来源:电子商务
时间:2023-03-13 10:26:01 来源:电子商务
本文作者:极数云舟 张冬洪,技术琐话受权转载。
导语:近日,一篇华为海思总裁何庭波致内部员工的邮件将海思推上了舆论的风口浪尖,一时被网友们疯转,霸屏好几天。跟华为掌门人任正非一样低调、少接受媒体采访的海思总裁何庭波也被大肆宣传,如今家喻户晓,成为新网红。作者作为国内数据库从业者,从关注 “海思事件” 的发展看国产数据库的现状,有感而发,个人愚见,不妥之处请手下留情。
芯片崛起,振奋民心
事件起因是美国当地时间 5 月 15 日,美国商务部工业与安全局(BIS)将华为列入所谓 “实体清单” 的决定。紧接着华为发布了致员工的一封信,信中称,“对此,公司在多年前就有所预计,并在研究开发、业务连续性等方面进行了大量投入和充分准备,能够保证在极端情况下,公司经营不受大的影响。”,“华为反对美国商务部工业与安全局(BIS)的决定。这不符合任何一方的利益,会对与华为合作的美国公司造成巨大的经济损失,影响美国数以万计的就业岗位,也破坏了全球供应链的合作与互信”。
紧接着,17 日凌晨 2 点,华为海思总裁何庭波发表了致员工的一封信,信中称,“公司多年前做出了极限生存的假设,预计有一天,所有美国的先进芯片和技术将不可获得”,而华为 “为了这个以为永远不会发生的假设,数千海思儿女,走上了科技史上最为悲壮的长征,为公司的生存打造‘备胎’”。
何庭波在信中说:“今后的路,不会再有另一个十年来打造备胎然后再换胎了,缓冲区已经消失,每一个新产品一出生,将必须同步 ‘科技自立’ 的方案。” ,“今天,是历史的选择,所有我们曾经打造的备胎,一夜之间全部转‘正’!”,“前路更为艰辛,我们将以勇气、智慧和毅力,在极限施压下挺直脊梁,奋力前行!滔天巨浪方显英雄本色,艰难困苦铸就诺亚方舟。”
正是这封邮件将海思推上了舆论的风口浪尖,之所以被网友们疯转,我想大概有这三方面的原因:
1、邮件内容气势磅礴、铿锵有力,鼓舞、激励人心
2、华为海思麒麟芯片崛起、一夜转 “正”,为国产芯片正名,激发国民爱国情节的自然流露
3、 美国政府近期的一系列的举措,包括扣押孟晚舟、加征 25% 的关税以及上述提到的将华为列入 “实体清单” 的行为,不得人心,国人疯转也是以自己的方式声援华为,表达对美国举措的不满。
华为从 2004 年就开始布局芯片的研究,经历了漫长的十年。2014 年,海思手机芯片终于开始进入主流市场。2017 年,华为手机全球出货量大约为 1.53 亿部,有 7000 万部手机使用了海思处理器,海思手机芯片也逐渐突围。全球知名的市场研究机构 DIGITIMES Research 发布了 2018 年全球前 10 大无晶圆厂 IC 设计公司(Fabless)排名,根据排名榜单显示,2018 年全球 IC 设计产值同比增长 8%,达到了惊人的 1094 亿美元,再次创下了历史新高,而华为海思成为了全球前十大芯片设计公司中增长速度最快的芯片公司,全球排名第五,营收高达 75.73 亿美元。华为海思麒麟芯片,以麒麟 980 为代表(处理器基于 ARM 架构,使用了 7nm 的工艺设计;CPU 端使用八核心设计,GPU 使用的是 Mail-G76 MP10;仅次于同期苹果 A12、高通骁龙 855 处理器)已广泛应用于华为 Mate20 系列、P30 系列等手机上,已经成为了华为高端旗舰手机指定专用芯片,或许消费者们(包括我)仅仅知道海思芯片只是一款手机芯片,但事实上,海思芯片目前不仅仅运用在手机上,同时还被广泛应用于 5G 网络、网络路由器、物联网等领域。除此之外,华为海思还生产基站、基带、服务器处理器芯片等芯片。
- 华为基站端有 “天罡芯片”,性能更强、体积更小,单芯支持 64 路通道,200 兆运营商的频谱带宽。
- 华为基带芯片有 “巴龙 5000”,最高 3.5G的上传速度,6.5G 的下载速度。
- 华为服务器处理器有 “鲲鹏 920”,其中性能超过业界 25%,功耗低于业界 30%。
5 月 18 日,华为技术有限公司总裁任正非接受媒体采访时,也表示:即使高通和其他美国供应商不向华为出售芯片,华为也 “没问题”,因为 “我们已经为此做好了准备”。华为海思芯片已酝酿二十余年,各项技术水平接近或赶超国际水平。相信这也是任总说此话时的信心和底气的来源。
不管发展态势如何,我都祝福和支持华为!我也钦佩任总的高瞻远瞩和居安思危。芯片已然正名转正,国产数据库的崛起又将何去何从?
重度依赖,苦 “外” 久已
国产数据库发展现状,我们从晓军老师去年总结的 “国产数据库发展现状分析” 也能看出一些端倪,这里我做一些精简总结和大胆补充。
起步晚,市场被巨头垄断
国外数据库发展历史已经很悠久了,关系型数据库的起步可以追溯到上个世纪七十年代,IBM公司的研究员E.F.Codd在题为《大型共享数据库数据的关系模型》的论文中提出了数据库的关系模型,为关系型数据库技术奠定了理论基础。关系型数据库的发展历史大致如下图:
(原创图,作者经验有限,列举不全,有不妥之处,请联系修改)从上图我们可以看到,国产数据库起步于上世纪九十年代,较国外的数据库要起步晚。截止到现在,国内企业核心数据库系统依然被国外数据库巨头所垄断,包括 Oracle、Sybase、Informix、DB2 等,这些系统确实在功能、性能、稳定性和成熟度等方面比国产数据库有较大的优势,而且也经历了市场的考验,尽管价格非常昂贵,但是由于历史遗留的使用现状,和国产数据库的发展现状给企业的信心不足,一些企业不得不继续沿用,要改变,还有很长一段时间的路要走。(注:我作为乙方为客户提供服务的时候也跟他们交流过,他们不是不想替代,是替代的成本和风险,无法预计,国产数据库需要时间进行验证;替代的成本和风险主要在于:1、业务架构和代码需要修改调整,操作起来复杂、不可控。2、没有成型的工具体系实现异构数据库间的数据平滑迁移。3、由于语义语法上的差异,能对标巨头数据库的国产数据库少,迁移风险太大。4、就算能迁移,迁移完成后的维护人员的经验、知识体系、数量和成本都是潜在的问题。)
技术创新不足,没能赢得企业信赖
我国数据库刚开始起步时大多以大学和科研机构为主,国产数据库发展有两条路径:一种是完全自主研发,以达梦数据库、人大金仓为代表;另一种是引进数据库源代码,以神舟通用、南大通用、华胜天成、星瑞格等为代表。这些数据库发展了近40年,之所以没能占据国内大部分市场的根本原因是技术创新不足,没有核心亮点和优势,追求大而全,而忽略了产品的稳定性、可用性,在稳定性和性能上也没有达到企业关键核心业务系统的要求,最终没能赢得企业信赖。并且生态环境差,成型应用少,合作开发商少,研发力量薄弱。而对于通过引进源代码的企业来说,他们引进的源代码的数据库市场效应是有限的,在技术发展日新月异的年代,各种业务应用场景五花八门,如果没有突破性的创新、升级和优化,这套系统的底层不再先进,是否满足新型业务的需求?不好评论。但是一尘不变,我们是否可以怀疑它到底能走多远,与世界先进水平之间的差距是扩大还是缩小?我想时间能证明一切。
政策扶持力度小,人才储备不足
中国数据库软件这个市场,从80年代末一开始,就是伴随着改革开放的自由竞争市场,政府基本没有对国产数据库品牌的扶植和保护。虽然也为一些科研机构或企业提供一些科研经费和政府补贴,但是扶持力度小,不足以使得商业化的数据库公司跟数据库巨头们去较量。而且我们的高校对专业人才储备体系建设也不健全,学习的数据库理论知识太过陈旧,脱离了实际需求,造成了人才知识体系和职场需求的断层。随着数据库产业的发展,政府部门也较少的发挥协调统筹的作用,召集数据库领域的专家们制定新教程、开设新课程、建立新认证体系和制定数据库行业的一些标准等。
新型产业发展迅猛,数据库巨头受排挤
互联网和移动互联网的兴起,“去 IOE” 成潮流作为 IT 人,相信很多人都听过 “去 IOE”,那么什么是 “IOE” 呢?这里不得不普及一下 “IOE” 这个词,它是 IBM 小型机、Oracle 数据库和 EMC 存储设备的简称,IOE 几乎是全世界大公司的 “黄金搭档”。国内的银行、通信、能源、金融、证券等这些不差钱的行业很喜欢用,原因是在那个时代,IOE 稳定可靠(在现在也是),又能装点门面,还能与国际接轨。这些传统大企业的业务规模变化稳定,IOE 足够支撑日常业务需求,公司本身又有足够的 IT 预算,所以它们去 IOE 的动力不足。
直到互联网公司的崛起,互联网和移动互联网业务的增长不再是传统公司线性增长模式,(直观感受,比如阿里的 “双 11”)。激增的服务器需求让它们尝试用具有定制化能力的x86 服务器替代 IBM。于是乎,由 Google、Amazon 和 Facebook 等互联网巨头在国外掀起了去 IOE 的浪潮,首先从去 “I” 开始了。到 2012 年的时候,国内的阿里也举起去IOE 的大旗,在国内名噪一时。看上去四个字很轻松,但是,去 IOE 经历了从去 I 到 E,再到 O 的过程,普遍选择的方案是用 x86 通用服务器、开源数据库 MySQL 以及分布式存储(注意:这里许多还是用的国外的产品)。数据库是这个组合中相对最难去掉的,替代成本也最高,因为商业数据库是一个比较封闭的体系。
阿里的这一波去 IOE 的浪潮,很快就从互联网企业蔓延到了传统企业,虽然多数传统企业的观念转变和技术积累仍旧缓慢,但是由于去 IOE 也需要比较高的技术储备和门槛,他们没有抗拒这个潮流,而是选择接受和顺势而为,许多开源、低成本、定制化、扩展性等互联网业务特点已经被广泛接受。随着云计算的迅猛发展,不仅是传统企业,就连 IOE 企业本身也在寻求主动转型,推出云端的新产品和服务,希望从硬件厂商转型为服务提供商。2016 年 4 月,传统 IT 服务商 SAP 牵手阿里云,就是出于这个逻辑,让生态合作成为一种主流趋势。
云计算如火如荼,开源数据库面临生存问题随着云计算的迅猛发展,尤其是国内公有云厂商一路高歌猛进,新型互联网产业由于云计算的技术储备和先发优势的门槛,它们没有选择租赁数据中心,自建服务,而是纷纷拥抱云厂商,利用云计算的计算力来满足业务爆发式扩张的需求。据全球知名的调研机构Gartner 近期的调查显示,全球公有云服务市场将从 2018 年的 1824 亿美元增至 2019年的 2143 亿美元,增幅达 17.5%。中国公有云服务终端用户支出将在 2022 年超过 1.1 千亿元人民币。Gartner 预测,2019 年年底之前,超过 30% 的技术提供商新增软件投资将从 “云优先” 转变为 “云唯一”。到 2022 年云服务行业的市场规模与增幅将会是整体 IT服务增幅的近三倍。这一些列的数据显示,云是大势所趋,创新型企业选择公有云无不道理,如此庞大的市场需求,就需要公有云头部厂商完善技术生态体系和服务支撑体系。公有云厂商要满足客户的需求,解决客户的上云的成本和技术门槛问题,那么他们将开源数据库引入公有云技术体系,为客户提供无缝迁移的服务,由于是开源数据库,而且也不需要为此支付费用,何乐而不为?这势必会引起开源数据库开发者或其背后的公司的不满。所以它们只好纷纷选择修改开源数据库的软件协议,以此来约束无限膨胀的公有云厂商的野蛮使用。比如:
- 2018 年 8 月,Redis labs 将 Redis 模块从 AGPL 迁移到将 Apache v2.0 与 Commons Clause 相结合的许可证
- 2018 年 10 月,MongoDB 宣布其开源许可证从 GNU AGPLv3 切换到 Server Side PublicLicense (SSPL)
- 2018 年 11 月,图数据库 Neo4j 产品副总裁 Philip Rathle 宣布,从 Neo4j 3.5 版本开始,企业版将仅在商业许可下提供,不再在 GitHub 上提供源代码。
- 2018 年 12 月,Confluent 宣布修改其平台部分组件的开源许可,从 Apache 2.0 切换到 Confluent Community License,Kafka 是 Apache 软件基金会的一部分,它将继续使用 Apache 2.0 许可,此次修改方案只会影响到由 Confluent 维护的开源组件。
这样的例子很多,这里不再一一列举。总之,探索新出路、新发展模式,科技自立,是国产数据库崛起的唯一出路。
注:了解云计算的发展历程,推荐看下何凯铎老师写的《激荡十年:云计算的过去、现在和未来》
市场萎缩,战略重组2019年5月7日,相信这天是Oracle中国区研发中心(CDC)同学们悲欢交加的日子,从1989年开始进入中国市场的,也是第一家进入中国的世界软件巨头Oracle公司要退出中国了,在许多人看来风光无限、梦寐以求的工作岗位,一个电话会议就葬送了,Oracle宣布裁掉整个CDC共1600人。许多中国员工联手举横幅表示反抗和不满,然而然并卵。那么我们不仅要问了,为什么要裁员?各种缘由,我们不得而知,但是有两个理由我们可以猜想到:一是市场萎缩,各种成本开支高昂(虽然对于Oracle来说不算什么),受财政收入的影响;二是Oracle要全力进军云计算,一切都要为云业务让路,所以之前收购来的业务和开发团队都要进行重组。也有人说是Oracle不愿意帮助中国培养更多更出色的工程师(注:哈哈,虽然这个理由有点牵强,不过,不少从Oracle出来的大牛现在活跃在中国各大互联网企业中,是数据库领域的一代中流砥柱)。这件事情的背后,我们也要为国产数据库打气加油了,国产数据库中兴之日可待!
齐头并进,全面发展
政策扶持
从国际环境来看,经济贸易摩擦时有发生,每每因核心知识产权而受制于人,这进一步凸显了我国从国家层面支持发展相关高端技术行业的必要性和紧迫性,必将加大国内对国产化和信息安全的重视程度,这势必会给国内坚持自主研发和创新的企业带来难得的发展机遇,特别是掌握核心技术、提供安全可控产品的企业将会在未来有更多的市场发展空间。
从国内环境来看,国内在自主可控和信息安全领域持续加强政策支持和产业投入,并且随着网络强国战略、信息安全战略、大数据战略等国家战略的推进,对数据的开发利用需求增大,数据库作为核心数据存储的关键载体,是信息产业的基础技术,出于信息安全的角度,国产数据库必将获得青睐。
上面这些对国产数据库厂商是利好的消息,但是这并不能提升用户的使用信心啊。是的,我们也发现中国信通院发起和组织各大互联网公司以及传统企业的专家们,制定了很多标准的白皮书,如:《金融分布式事务数据库白皮书和技术标准》、《关系型云数据库白皮书和技术标准》等,为客户使用和选用数据库提供了技术指导,从某个层面给他们使用国产数据库带去了信心和力量。
创新驱动
从业务形态看,随着我国信息化进程的加快以及互联网技术的广泛应用 , 大数据、云计算、物联网、5G 通信等信息产业的日益成熟 , 数据库作为支撑信息产业的基石 , 遇到了良好的发展机会 , 实现了质的飞跃 , 极大缩小了国产化数据库与国外数据库技术的差距。
从硬件发展看,随着超高速网络的普及和超高性能存储的出现,例如 40GB 以上的 InfiniBand 高性能计算网络,RDMA 远程直接数据存取技术,3D X Point 高速存储芯片和非易失性内存,以及操作系统用户态存取协议。大大提升了数据库的基础设施能力,这对未来面向先进计算中数据库的形态提出了新的可能性。
从数据库技术变革看,在 NewSQL 领域,出现了两种典型数据库系统,一种是以分布式事务思想为代表的,如:PingCAP 的 TiDB,一种是基于云原生思想为代表的,如:阿里云的 PolarDB、极数云舟的 ArkDB。前面提到了云计算,这里着重说下云原生数据库。为什么云原生数据库更有优势呢?相比于传统商业数据库所面向的是传统硬件,例如小型机、大型机、存储设备,扩展性依赖硬件本身的能力,扩展的天花板很低,弹性伸缩的效率很差。而相比于一般的分布式数据库厂商,大都采取分区等伪分布式方法,国际上仅有 Google 等极少数据公司具备真正跨区域的分布式数据库能力。而云原生数据库,把扩展能力分别推到计算层和存储层单独扩容,计算能力伸缩不影响存储,存储能力伸缩不影响计算,把分布式的要求分别放在无状态的计算节点,和底层多区域多副本的存储节点,天然具备跨区域分布式能力。利用公有云或自建私有云的云计算能力,能更好的提供弹性数据库服务。
产教结合
随着产业升级和工业 4.0 建设对人才的迫切需求,由于教育体制的历史原因和新技术层出不穷,学校教授的知识已过陈旧,造成人才断层,具有实践技能的人才已成为企业发展最迫切的需求,人才是企业的核心竞争力之一。校企合作也日益成为主要的人才培养方式,产业优势资源的引入,将加强院校专业建设方面的成效和人才输出的效能,促进行业的稳健进步。正是看到了有这样的问题存在,极数云舟利用自身在数据库、大数据领域的专业优势,联合鼎利教育集团签署战略合作协议,双方资源共享,优势互补,将在人才培养、教研共建、师资培养、专业建设和就业指导服务等方面展开广泛合作。
同样, 我们也看到不少国产数据库厂商,一方面在努力迭代和完善数据库产品,另一方面也开展技能培训认证,不论是从哪个出发点来说,对企业是经营效益来源的一部分、也是为宣传和推广自己的产品以及储备更多专业的人才,弥补前面开始时提到的人才的空缺,同时对社会来说增加了就业机会和提高了专业人才的技能和就业竞争力,为国产数据库储备专业人才。
多变支持
1、随着国产数据库的健康发展、以及国家安全可靠和自主可控政策的支持,许多企业愿意对国产数据库做更多的尝试,甚至在核心业务上使用国产数据库,我们从达梦数据库 5 月 8 日的发布会上,也可以看到,达梦数据库已覆盖公安、电力、铁路、航空、审计、通信、金融、海关、国土资源、电子政务、应急救援等军口、民口 30 多个行业领域。TiDB 的相关负责人也曾说有 2000 家企业在尝试试用或使用。
2、投行对数据库产业的关注和支持力度也在加强,这离不开国产数据库几代人的努力,让他们看到了未来和信心,如 18 年 9 月,巨杉数据库宣布完成由嘉实投资领投的 C 轮融资,DCM 和启明创投跟投。同月,新型分布式关系型数据库公司 PingCAP 也宣布完成 5000 万美元 C 轮融资,由复星、晨兴资本领投,华创资本、云启资本、经纬中国等多家投资机构跟投。祝贺。
3、传统的企业也在积极寻求转变,或者产业升级,由于在数据库领域的积累沉淀不足,它们积极拥抱国产数据库厂商进行合作,或是产品的引入,或是直接战略入股合作。比如:紫光云和深信服这样的企业。
产业生态
全球知名的调研机构 Gartner CIO 研究总监陈勇曾公开说过:“未来企业的竞争不是产品的竞争,而是生态的竞争”。
2016 年 4 月,传统 IT 服务商 SAP 牵手阿里云,提供云端的新产品和服务。
时隔三年的 2019 年 4 月 19 日,在国产数据库领域深耕 40 余年的达梦数据库选择了和同类同质数据库创新企业极数云舟合作,签署了面向未来的全面战略合作伙伴关系的协议书。从发布会公布出来的信息,看到这样一段描述:当今的数据库市场,风云变幻,技术日新月异 , 竞争激烈,不仅对于初创公司,对于主流的老牌数据库企业,同样有压力,有挑战,更有机遇。如何形成合力,变压力为动力,化挑战为机遇,不断提升品牌竞争力,并寻求更大的发展路径,是当前国内数据库企业普遍面临的问题。竞争催生合作,在全球化竞争的态势和安全可控国情需求背景下,国产化数据库企业间垮领域的合作,互通有无,将成为一种新的发展趋势和新业态。合作企业之间通过资源共享、整合配置、价值链接的合作,将给双方共同参与更大规模的竞争添加助力。极数云舟与达梦数据库两大优势数据库品牌的联袂合作,给彼此未来的发展注入了新的发展能量和空间,在未来取得 1+1大于 N 的价值提升,是彼此缔结这一长期战略合作协议的目标和憧憬。
是啊,产业生态,链接价值、互惠共赢,形成合力,难道不是竞争力的体现吗?
社区组织
作为国内社区组织的一名积极份子,我欣喜地看到国内技术同行们为数据库、国产数据库所作出的大量努力,比如有:中国 MySQL 用户组、Redis 中国用户组、PostgreSQL 中文社区、MongoDB 中文社区、中国 Oracle 用户组、TiDB 开源社区等等,它们自发性的组织线上线下技术沙龙、论坛和技术大会,还从技术文章、源码贡献、工具建设、技术论坛、技术博客和技术书籍等方面不遗余力,保留和传承了大量的珍贵的经验资料。深刻地影响了一代又一代数据库人,我自己也是受益者之一。
最后,我们也希望国家能够宣传和支持国产化数据库,让大型企业愿意相信和尝试国产数据库的能力,当然我们也非常希望国家能呼吁投行、媒体、院校更多的关注和扶持国产数据库品牌,让企业都能用得起、用得好国产数据库产品,减少对传统国外厂商的依赖。
国产数据库之崛起,正扬帆起航,让我们一起自由的掌舵吧!张冬洪,极数云舟对外合作部总监、技术专家,Redis 中国用户组主席,中国计算机行业协会开源数据库专业委员会执行秘书长,中国计算机学会专业会员,中国 MySQL 用户组主席团成员,安可数据库论坛联合创始人,阿里云 MVP、腾讯云 TVP,前新浪微博数据库主管、主要负责微博平台、手机微博、话题、红包飞、开放平台、私信、以及内容管控等项目的数据库产品运维和服务保障,亲历多个核心系统的优化改造以及诸多热点事件的业务保障工作。
Photo byJan Antonin Kolar on Unsplash