智能时代产生海量非结构化数据
时间：2022-03-17 06:09:01 | 来源：行业动态
时间：2022-03-17 06:09:01 来源：行业动态
信息技术的飞速发展，特别是移动互联网应用、数据智能挖掘技术的快速发展，使众多相关行业面临业务数据量指数级增长的趋势。例如：智能手机的普及，使移动手机用户可以随心所欲拍摄高清照片、视频以记录自己生活的点滴，并可以方便地把影音资料存储在云端，这类新的生活习惯必然产生大量数据。再如，中国公共安全领域的"雪亮工程"等关系国计民生视频监控项目的开展，使得公共安全视频监控覆盖范围从原来的城市中心地带扩展到了乡村，这也将产生大量的数据。而在互联网 商业领域，对用户信息的掌握，更成为互联网企业生存的根本，之前大量不需要存储的用户网络浏览轨迹等中间信息，如今由于成为大数据分析的数据来源，也需要进行数据存储。
面对各种海量数据、尤其是海量非结构化数据的存储需求，传统数据存储方式在成本和性能两个维度均已无法满足。
传统存储方式之一是使用本地文件系统存储数据，而由于其架构所限制，控制器一般为一台，即本地操作系统主机和生产业务共用CPU及内存等系统资源，所以在实际操作中大多仅仅能扩展至几个TB的可用容量，这和"海量"存储的需求相差甚远。
另外一种把计算和存储分离的集中式存储方案--NAS方案亦差强人意。NAS属于外部集中式存储方案，架构扩展性相比本地文件系统有较明显优势。其控制器一般为两台至多台，在数据规模稍微"大"一点的业务场景，用户往往使用NAS存储方案。但NAS在海量数据时代到来之前已经存在，当初设计时重点考虑的并非是"海量"非结构化数据的存储，所以在大多数生产环境中都是采用双控设备，如果数据量增大，一般做法是再配置一套而已。这样的处理方式使得用户的生产环境形成大量数据孤岛，且单套NAS由于其软硬件设计架构的局限性，在实际项目中的容量扩展往往不超过100~200TB，即使双控系统，一般对外最多也只能提供4GB/s带宽，因此其容量与性能均无法匹配海量数据时代的存储要求。
在线咨询
