快速云：云计算资源管理浅析

时间：2023-03-13 03:20:01 | 来源：电子商务

时间：2023-03-13 03:20:01 来源：电子商务

摘要：云计算是基于互联网的相关服务地增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。而云计算资源管理作为云计算服务的基本条件，近些年更是引起了业界广泛的研究。本文就云计算的资源管理做了简要分析，其内容包括云计算的资源分类、云计算资源管理的目标、云计算资源管理的关键技术三方面。通过本文的分析，希望对云计算资源管理的研究者提供一个清晰的研究思路，加深对这一领域的理解。

关键词：云计算；虚拟化技术；资源管理；调度策略

中图分类号：TP391 文献标识码：A DOI：10.3969/j.issn.1003-6970.2015.02.021

0 引言

云计算其核心是将某一或某几个数据中心的计算资源虚拟化之后，向用户提供以租用计算资源为形式的服务。简单地讲，就是将很多位于同一地点或不同地点的计算机集合起来为企业或个人用户提供各种服务。云计算的概念一经提出，便因其低费用和高资源使用效率方面的突出优点，而备受各大IT企业的推崇。云计算的高可靠性需要完善的安全管理机制和资源监控机制；云计算的高扩展性需要资源管理系统支持各种异构资源；云计算服务的低成本需要资源管理系统有效的组织起大量廉价的PC，并且需要高效的资源调度分配策略来提高系统的使用效率。所以云计算的资源管理在很大程度上决定了云计算要提供的服务质量，是云计算需要解决的核心问题之一。

1 云计算资源管理概述

通常情况下，计算机科学中的“资源”包括硬盘存储器、内存、各类接口控制器以及网络连接等硬件设备资源，还包括程序、数据文件、系统组件等软件资源。由于软件通常在设计好并被部署在设备上之后更改的难度较大。因此通常在“资源管理”中的“资源”为系统的硬件资源。通过对这些资源在实际应用中起到的作用，可以将其抽象为“计算资源”、“存储资源”和“网络资源”。

“计算资源”，即在特定计算模型之下，解决特定问题所要消耗的资源。常见的衡量指标包括计算时间，即解决特定问题所需要花费的步骤数目；及内存空间，即解决该问题所需要的最小内存空间。其中前者最为常见。通常决定“计算资源”的因素主要是和等具有运算能力的处理器。

“存储资源”通常指存储数据文件的能力，即存储空间的大小。决定“存储资源”的因素主要是磁带、硬盘和内存等存储设备。

“网络资源”通常包含两种意义。一是指多个计算机系统通过通信设备与软件所形成连接；二是保存在互联网或者各种局域网上的数据资源。决定“网络资源”大小的因素通常包括交换机、路由器、光纤、网络软件等等。常见的指标包括带宽、误码率等等。

云计算资源包含两大类，一类是指物理计算机、物理服务器以及前两项与必要的网路设备和存储设备形成的物理集群。另一类是通过虚拟化技术在物理计算实体上生成的虚拟机以及由多个虚拟机组合形成的虚拟机群。作为一种大规模分布式环境，云计算拥有的资源类型和数量都是极为巨大的，为了尽可能地在供需不平衡的市场中以有限资源来满足更多用户的需求，通常会要求通过资源管理来实现。

2 云计算的资源管理目标

在云计算中心集群规模日益庞大的今天，如果不能提升整个系统的管理能力，就无法充分利用系统资源，云计算的各项优势也就无从谈起。只有采用优秀的系统管理策略、方法与工具，才能令云计算中心的性能上一个台阶。云计算资源管理主要有如下几个目标：

（1）自动化：自动化就是指整个系统在尽量少甚至完全不需要人工干预的情况下，自动完成各项服务功能，以及资源调度、故障检测与处理等等功能；

（2）资源优化：云计算中心需要通过多种资源调度策略来对系统资源进行统筹安排。资源的优化通常有三种目标：通信资源调优、热均衡、负载均衡；

（3）简洁管理：由于云计算中心需要维护的集群设备成百上千，而各种虚拟资源更是数不胜数，为了提高运维效率，降低人力劳动强度，因此需要以一种简洁的方式对所有系统资源进行管理；

（4）虚拟资源与物理资源的整合：虚拟资源是在物理资源上实施虚拟化技术后产生的。虚拟化技术能够令一台服务器主机同时运行若干操作系统即其承载的应用而不互相干扰。因此动态地对虚拟资源进行管理显得尤为重要。

3 云计算资源管理关键技术

云计算系统资源管理可以分为资源监控和资源调度两部分。

（1）系统资源监控

资源监控指的是对系统的运行状况的记录，按照时间可以分为实时和非实时两种，按照监控方式可以划分为主动监控和被动监控两种。系统资源的实时监控是指系统需要记录每时每刻的运行状态；而非实时监控则是指每过一个时间间隔对系统运行状况进行记录或者由某个事件触发记录行为。主动监控是指中心节点主动向各个节点发送消息询问当时的系统运行参数；而被动监控则是指各个节点向中心节点发送消息主动汇报当时的系统状况。考虑到监控给系统带来的负载，云计算环境多采用非实时被动监控方式，即各个节点每过一个时间间隔向中心节点发送消息汇报相关系统参数。

Hadoop提供了一个名为chukwa的系统资源监控解决方案，该方案由Yahoo开发。是一个开源的应用于监控大型分布式系统的数据收集系统，其构建在Hadoop的HDFS和MapReduce框架之上。chukwa可以展示用户的作业运行时间、占用资源情况、剩余资源情况、系统性能瓶颈、整体作业执行情况、硬件错误以及某个作业的失败原因。chukwa提供了采集数据的Agent，由Agent采集数据通过HTTP发送给Cluster的Collector，而Collector将数据存入Hadoop中，并定期运行MapReduce来分析数据，将结果呈现给用户。chukwa架构如图1所示。

Nagios是一款高效的开源的网络监视工具，能有效监控windows、Linux和Unix主机的状态、网络服务等等。Nagios支持自动日志回滚功能，并能够实现对主机的冗余监控，同时还能够预先定义一些处理程序，使之能够在发生相应故障的时候进行及时处理。

Ganglia是一个高性能计算环境中的可扩展分布式监控系统。在Ganglia中，XML作为数据描述方式、XDR用于数据传输以及RPDtool用于数据展示。Ganglia被设计用于检测数以千计的节点性能，如CPU、内存和硬盘的利用率，以及I/O负载和网络流量。

（2）系统资源调度

所谓资源调度指的是在一个特定的环境中根据一定的资源使用规则，对以分布式方式存在的各种不同资源进行组合以满足不同资源使用者需求的过程。调度策略是资源管理的最上层技术，主要是确定调度资源的目的以及当资源供需发生冲突的时候如何满足所有立即需求时的处理策略。

调度资源的目的有几种分类：最大化满足用户请求、最大化资源利用、最低成本和最大化利润率等。根据这些目的，云计算负载均衡调度策略与算法可以分为性能优先和经济优先两类。

· 性能优先

云计算采用虚拟化技术和大规模的数据中心技术，将分散的资源抽象为“资源池”为用户提供基础设施租赁和各种平台服务。数据中心需要对分散的物理设备进行资源整合，以一种屏蔽底层细节的方式向用户提供服务。因此云计算数据中心面临的首要问题就是共享资源与动态分配管理虚拟资源。系统性能是一种衡量动态资源管理结果的天然指标。优秀的动态资源管理策略与算法能够以最小的开销使得分散的各种资源像一台物理主机一样进行协同工作。通常系统性能指标包括平均响应时间、资源利用率、任务的吞吐率等等。在云计算中性能优先主要包括如下三种策略：

先到先服务（first-come-first-service）：该策略可以最大限度地满足单台虚拟机的资源需求。Hadoop默认采用先到先服务的策略进行任务调度。先到先服务的优点是简单和低开销。所有来自不同用户的任务请求都提交到唯一的一个队列中。它们将根据优先级和提交时间的顺序被扫描。具有最高优先级的第一个任务，将被选中进行处理。但是先到先服务策略的缺点是公平性差。在有大量高优先级的任务的情况下，那些低优先级的任务很少有机会得到处理。

负载均衡：负载均衡策略是指使所有物理服务器（CPU、内存、网络带宽等）的平均资源利用率达到平衡。Chris Hyser等人通过对系统资源进行监控并计算当前利用率，将用户分配到资源利用率最低的资源上。该策略能够为用户提供一个较好的服务质量，但是降低系统资源的利用率。张栋梁、谭永杰也对云计算中负载均衡优化模型做了详细的阐述。

提高可靠性：该策略保证各资源的可靠性达到指定的具体要求。业务可靠性与物理设备的可靠性（平均故障时间、平均维修时间等）直接相关，还包括停电、停机、动态迁移等造成的业务中断将影响业务的可靠性。在一定前提下，尽量减少虚拟机迁移次数，还需要统计虚拟机迁移对可靠性造成的量化影响。

· 经济优先

由于云计算系统诞生的初衷就是降低成本，而且公有云及混合云将在一个开放市场中进行商业运营，因此经济模型在资源调度问题中是一种解决方法。资源提供者即资源提供商，能够通过提供资源并得到相应的收益。在这种情况下，越来越多的分布式资源就会汇聚到云计算资源市场中来，可供选择的各类资源就越多。这样，云服务使用者就能获得性价比更高的服务，并且云资源提供商们亦可以获取最大的收益。通过阅读文献得到一下几种策略，以下是对各种机制及算法的描述：

（1）基于智能优化算法：Mario Macias和Jordi Guitart等人主要关注了云计算服务提供商供给竞争性价格的问题，提出了一个基于遗传算法的价格模型。基于遗传算法的价格模型包含三个元素：定义染色体、评估染色体和染色体的选择与繁殖。但此价格模型也存在缺陷：遗传算法的运行效率较低、收敛速度慢、遗传稳定性不太好。

（2）基于经济学定价：Ishai Menache Asuman Ozdaglar Nahum Shimkin着重于最大化长期社会收益目标，该收益等于被执行任务的资源利用率和减去依赖于负载的操作成本。其系统模型可以共享计算能力，并且个人用户的任务请求将会被连续提交。当来自不同用户的任务到达后，每个任务会分得一定的服务资源。依据一些资源分配协议，到来的任务必须被处理并完成。否则，系统模型将会拒绝接受一些即将到达的任务，这些任务将会离开而得不到任何服务。而Dusit Niyato和Athanasio V.Vasilakos等研究了多个云资源提供者的协作行为，提出了异构协作博弈模型。首先，给出一组云提供者和一个资源和收益共享的资源池。并且开发了随机线性编程博弃模型可以处理不确定用户的随机请求，随机线性编程模型是合作的核心；其次，分析了云资源提供者协作模式的稳定性。但是此模型并未充分考虑公共云用户的服务质量（QoS），忽略了公共用户的服务体验。

（3）基于指标调度策略：Tim Pueschel等人引入了一个可以在随机需求的情况下预测收益和获得的利用率模型。基于策略的决策模型的目标是让服务提供者的收益最大化，必须的信息包括即将到来的服务请求和服务价格，每一个任务的真实请求和可用能力。收益最大化问题可以归纳为整数规划问题，也是个优化问题。第一类：先来先服务策略（FCFS）被用于基准，任何即将到来的任务被接受，如果那里有足够的可用能力，这是一个简单类型的系统；第二类：基于价格的策略。任务接入具体化为云提供者的最大化收益活动，他们引入一个基于策略的方法，可以自治决策过程。他们的随机请求成功的新机制控制模型可以帮助云提供者最大化收益，但是此模型并未充分考虑价格分布和各种资源请求。

（4）基于博弃论的双向拍卖：Wei-Yu Lin等人通过使用一个二次价格机制实现动态拍卖来解决云计算资源的分配问题。基于该算法云服务提供商（Cloud Computing Service Provider，CCSP）可以确保合理的收益以及高效的资源分配。云服务提供商有两个任务：运行时间监测和向用户分配相应的资源。在决定多少资源分配给任务后，CCSP会出售剩余的资源给云用户。提出的机制基于密封报价拍卖，阶段开始时，用户提交他们的报价给CCSP，CCSP随后收集所有的报价并决定价格。这个机制的主要贡献是开发一个云计算新颖资源分配算法。他们提出一个理论框架去处理云计算框架下的能力分布，这个机制在直接决策规则前提下确保有效的能力分配并且给CCSP合适的收益。但是系统的效率不高而且CCSP的收益较低。

4 结语

本文首先讨论了云计算资源管理的一些基本概念以及目标。然后对其中的关键技术资源监控和资源调度进行了简单综述，进而资源调度又分为性能优先和经济优先两个方面，在描述这些机制与算法过程中并分析其优点与不足。