当前的问题和解决思路
时间：2022-04-03 22:57:01 | 来源：行业动态
时间：2022-04-03 22:57:01 来源：行业动态
目前主要问题是越来越大的需处理数据量与传统低速存储的矛盾。
要解决这一问题，在本文开头的概述中我们提到需要更高性能的介质配合网络和CPU，以提升节点的性能并打造可扩展的系统，应对日益增长的数据需求和性能要求。因此，福建电信探索通过25G网络及 RoCE 技术，实现高效的分布式数据解决方案，解决当前数据仓库的性能问题。
首先需要解决的是存储的架构问题。在资源池化的大环境下，传统存储肯定无法继续使用。出于海量数据本身的需求，为优化不同节点对存储的并行访问性能，使用分布式存储来解决问题是一个较好的思路。在分布式存储系统中，如何提升存储的远端访问性能，进而提升分布式存储整体效率，这是一个挑战。从协议的角度，可以使用iSER或NVMF等基于RoCE的访问技术；从网络的角度，更好利用网卡的卸载特性、以太网交换机的低延时、零丢包特性和先进的流控机制，能有效提高网络效率并降低TCO，进一步提升分布式存储的性能和效率。
其次，对于使用哪种存储介质能满足高性能存储的要求，笔者认为NVMe SSD拥有较好的随机读写性能。且可以选择U.2接口的NVMe SSD，可支持热插拔，也可根据需要实现RAID，以满足存储的高可靠性要求。由于单块NVMe SSD的读写就需要高于20Gb/S的带宽，25GE网络成为满足存储IO需求的起步配置。
然后，对于解决容量问题的需求，解决的思路是使用高速的NVMe SSD作为缓存，在之后使用大容量的硬盘来存储冷数据，这样通过智能缓存加速IO读写，同时通过海量硬盘实现大容量。
在既定的分布式架构下，存储性能的关键在于如何实现存储访问的加速。这个技术可以分为两个方面，一方面是保证远端存储和本地存储有近似的IO性能，另一方面是怎么样通过硬件卸载来保证CPU不被过度占用进而影响存储性能。之前提到的基于RoCE的网络技术能非常好的实现这个存储访问的加速。
除上述问题之外，由于是分布式架构，网络如何保证数据的完整性也是非常重要的。
这里需要交换机和网卡端的配合来实现端到端的流控机制。如果硬件本身的可靠性和可用性都非常高，这也是对系统性能的一个有力保证。
采用以Mellanox为代表的高带宽低延迟智能网络和RDMA/RoCE技术能加速数据传递和高效无损无疑是构建分布式存储网络的关键之一。
在线咨询
