什么是计算存储,它为什么重要?
时间:2022-03-06 22:48:01 | 来源:行业动态
时间:2022-03-06 22:48:01 来源:行业动态
所谓的计算存储就是让存储设备更加智能,可以直接在存储数据的地方进行数据处理。这种方法减少了大量数据向外部处理设备的传输,同时带来了无数个的好处,包括减少时延和带宽使用、提高安全性和节能。换句话说,数据处理的工作负载将直接在存储控制器本身上进行。
对于许多机器学习或分析应用程序、以及物联网和边缘计算的其他用例来说,计算存储的应用对于它们在实现实时处理方面的要求至关重要。以物联网的用例来看,随着物联网设备部署数量的加速,这些设备也迅速产生大量原始且非结构化的数据。由于物联网设备部署遍布世界各个角落,传感器日趋复杂,将所有数据传输到云数据中心进行存储和处理不仅非常昂贵,而且是一种浪费,因为并非所有获取的数据都会能带来价值。
举个例子,一个大型停车场的监控摄像头系统记录了每辆汽车的车牌号和进出时间,以便对停车时间进行计费,同时也确保安全。这个案例里面重要的信息之一是车牌号码,而无论汽车是否进入或离开停车场,将所有大图像或视频流传输到远端服务器进行图像处理是非常低效的做法。
应用了计算存储之后,每个摄像头都将视频或图片传输到本地的存储盘内,然后盘内自带的计算功能就能直接识别出车牌号码。通过在存储盘上直接进行机器学习和图像识别,并且只将从原始数据中提取的有价值信息车牌号码和进出场时间,传输给远端服务器,计算存储极大地提高了信息处理的效率,减少网络带宽的浪费。此外,如果停车场中有多个摄像头,每个摄像头都有多个存储盘,那么摄像头越多,存储盘就越多,因地制宜的计算也就越多。如此一来,整个信息处理系统就变得更高效且可扩展性更高。
计算存储还能在其他应用场景也施展威力,例如:
- 数据库加速:直接在数据上执行操作
- 卸载:直接在数据上进行压缩/加密/编码/重复数据删除等
- 内容分发网络(CDN):轻松实现非常本地化的内容分发
- 人工智能/机器学习:直接从海量数据中生成洞察
- 边缘计算:一个运行Linux的计算存储盘(Computational Storage Drive, CSD),自身就是一个独立的小型服务器
- 图像分类:直接在数据存储的位置进行元标记
- 视频:对大型图像、视频、多媒体文件进行本地处理分析,以提取有价值的信息
- 运输/车载:直接处理交通工具中存储的遥测数据
传统的存储盘内的数据必须从设备端传输到服务器,才能借助服务器内的计算单元进行数据处理分析,这样的做法不仅需要额外的时间、精力、带宽和时延,同时增加了数据泄露的风险在数据传输的过程中可能发生未经授权的访问。
同时,如果这些系统与服务器连接的回程线路,其带宽有限或价格昂贵,那么计算存储更能进一步显着降低总拥有成本(TCO)。额外的好处包括: