基于HPUX平台虚拟化技术在测试环境上的研究与灵活部署的实现

 摘 要
测试环境处目前主要负责管理和分配全行的测试资源，新一代的测试系统中包括了开发环境，组件组装环境，组件组装非功能环境，应用组装环境，应用组装非功能环境，用户测试环境，版本检验环境等数十个环境，系统管理员每日需要处理redhat,hpux,aix等各种系统的问题，如遇版本规范变更，版本升级等操作，则需要对每台单机进行大量重复性操作，而且目前测试环境的可以使用的的资源远远小于生产，所以既为了保证完全模拟生产，又为了保证测试环境资源的最大化利用，还能保证测试环境的高可用性，一个稳定的高效的虚拟化技术必不可少，目前在现有环境的项目中HPUX小型机所使用的虚拟化技术为Integrity VM V4.3，而新一代环境中HPUX小型机所使用的虚拟化技术为最新的HP-UX vPars and Integrity VM V6.3，新的虚拟化技术在稳定性，操控性上比之前的版本要提升许多。
在测试环境中，对于不同的测试需求，所给予的资源分配策略也是不同的。测试需求主要分为功能测试与非功能测试，由于功能测试并不需要太多的系统资源，并且在测试实施过程中几个不同的项目可以共享CPU、内存等硬件资源，所以使用了Integrity VM策略。非功能测试则主要进行性能方面的测试，要求硬件资源独享，所以在测试环境中提供的是可以保证CPU，内存等资源独占的vPar策略。
在未来升级换代中，将会出现把老系统升级为现在新一代标准的需求，以及面对各种突发情况时，在线迁移物理机上所有虚机的情况，所以研究最新的虚拟化技术已成为当下课题。
关键词：测试环境、HP虚拟化策略、灵活部署

目 录
1 绪论 5
1.1 研究背景 5
1.2 研究意义 5
1.3 研究内容 5
1.4 论文结构 6
2 测试环境现状及HP虚拟化 8
2.1 测试环境现状 8
2.2 HP虚拟机概述 8
2.2.1 虚拟化技术优势 9
2.3 Integrity VM and vPars 10
2.3.1 Integrity VM 10
2.3.2 vPars 12
2.4 总结 13
3 生产环境与测试环境的策略 15
3.1 测试环境中所使用的策略 16
3.1.1 开发环境 16
3.1.2 功能测试环境 16
3.1.3 非功能测试环境 16
3.2 生产环境中所使用的策略 17
3.3 总结 18
4 灵活部署的实现 20
4.1 测试环境中动态调整的实现 20
4.1.1 vPar中CPU的调整操作 20
4.1.2 VM中CPU的调整操作 20
4.1.3 vPar中内存的调整操作 20
4.1.4 VM中内存的调整操作 21
4.1.5 VM与vPar的相互转换 21
4.2 测试环境中在线迁移的实现 21
4.2.1 在线迁移运用场景 22
4.2.2 在线迁移实现的前提 23
4.2.3 在线迁移的实现过程 24
4.3 总结 27
5 总结与展望 28
5.1 总结 28
5.2 展望 29
致谢 30

1绪论
1.1研究背景
测试环境处目前主要负责管理和分配全行隶属于新一代的测试资源，需要处理redhat,hpux,aix等各种系统，但是测试环境的可利用的资源远远小于生产，所以既为了保证完全模拟生产，又为了保证测试环境资源的最大化利用，还能保证测试环境的高可用性，一个稳定的高效的虚拟化技术必不可少，目前在现有环境项目中HPUX小型机所使用的虚拟化技术为Integrity VM V4.3，而新一代环境中HPUX小型机所使用的虚拟化技术为最新的HP-UX vPars and Integrity VM V6.3，新的虚拟化技术在稳定性，操控性上比之前的版本要提升许多，在未来升级换代中，将会出现把老系统升级为现在新一代标准的需求，所以研究最新的虚拟化技术已成为当下课题。
1.2研究意义
为了减少测试环境处的资源管理和运维成本，将更多的繁琐操作交由虚拟
进行，同为了满足各种测试需求，提高测试环境的资源使用率，测试环境在HP小型机方面采用了HP-UX vPars and Integrity VM技术来实现。
在新一代的测试环境中，很多的项目都使用了HP小型机作为数据库服务器或者应用服务器，HP虚拟化可以共享资源，降低测试环境的运行成本，同时增加灵活性，可以根据不同的场景动态改变CPU,内存等硬件资源以满足测试需求。
在之前，HP虚拟化技术在测试环境中所用不多，不过随着HP小型机在测试环境中的采购量逐年上升，HP小型机将在测试环境中愈发重要。本文将基于这些原因来介绍在测试环境中，面对不同的情况，HP小型机所采取策略。
1.3研究内容
本文主要分析了当前以虚拟化为基础的测试环境，主要是虚拟化技术在新一代的项目在现阶段测试环境的使用与介绍如何通过使用虚拟化技术解决现阶段存在的资源不足的问题。
随着新一代2.2期项目陆续进入用户测试阶段，测试环境需要搭建更多的环境来满足测试需要，但与此相对的是测试环境的资源却日趋紧张，所以研究一个可以减少资源使用却依旧可以为测试的实施提供有效支持的虚拟化技术变得非常有意义。
本文研究分析了HP虚拟化的基本架构，在HP的VSP虚拟机上所搭建Integrity VM或者vPars。同时，研究了在测试环境中通过HP-UX vPars 和 Integrity VM V6技术利用最小的资源保证了功能测试与非功能测试的正常实施。
最后，结合个人对当前测试环境以及HP虚拟化技术的理解，以及师父的帮助下，实现了HP虚拟机的灵活部署。
1.4论文结构
本论文共分为五章。
第一章，绪论（即本章）。介绍论文的研究背景、研究意义、研究内容以及论文的组织结构。
第二章，测试环境现状HP虚拟化。介绍我行测试环境，资源不足的现状。同时，对HP虚拟化技术从vPars 和Integrity VM两个方面进行了介绍。
第三章，生产环境与测试环境的异同。介绍了测试环境为了保证功能测试与非功能测试的正常实施，在HP小型机系统实现的时候所采取的与生产环境不尽相同的策略。
第四章，灵活部署的实现。实现了在测试环境中由于硬件异常而需要使用的在线迁移技术。
第五章，总结与展望。本章总结了HP虚拟化技术对于测试环境在管理，使用以及资源消耗上做出的贡献，并对未来HP虚拟化在测试环境中的应用提出了建议。
2测试环境现状及HP虚拟化
2.1测试环境现状
目前新一代包含了开发环境、组件组装、组件组装非功能、应用组装、应用组装非功能以及版本检验等在内的十余套测试环境。并且，随着2.2期和3.1期测试工作的逐步展开，目前在测试环境处维护的项目多达数十个，其中HP小型机有六百台之多。
为了合理的满足各种不同的测试需求（性能要求，功能要求），测试环境往往采用了不同的虚拟化的策略。在小型机方面，IBM和HP是测试环境中的主要选择，在新一代的测试环境中，截止到2.2期用户测试阶段，有非常多的系统使用了最新的HP小型机的系统作为生产上线环境，主要有北京开发中心的ciss系统，深圳开发中心的个贷等系统。这些系统不但将HP小型机作为数据库服务器，并且为了兼容现有系统，还会将一部分的应用部署在小型机上，所以，对惠普虚拟化技术的进一步研究将会成为未来的工作重点。
2.2HP虚拟机概述
Integrity Virtual Machines 是一种软分区及虚拟化技术，可提供操作系统级别的隔离、二级 CPU分配精细度和 I/O 共享功能。Integrity VM 可安装在运行 HP-UX 的 Integrity 服务器、Integrity刀片式服务器或硬件分区 (nPartition) 上。
Integrity VM 环境由下列两种类型的组件组成，VM 主机和虚拟机（也称为 guest 虚拟机）。VM 主机可以将物理处理器、内存和 I/O 设备虚拟化，使您能够将这些资源作为虚拟资源分配给各个虚拟机。Guest 虚拟机是可正常运行的完全加载系统，配备有操作系统、应用程序、系统管理实用程序和网络，它们都在为其设置的虚拟机环境中运行。
虚拟服务器环境 (VSP) 是 HP 的整体虚拟化解决方案的前端。它具有管理和工作负载管理功能。该工作负载管理工具支持利用空闲容量。该工具的使用需要付费，类似于 IBM 的 Capacity on Demand。它还附带了一个名为 HP Global Workload Manager (gWLM) 的产品，该产品提供了能够自动调整工作负载来提高服务器利用率的智能策略引擎。与此产品协同工作的是 HP 的 Capacity Advisor，它帮助模拟各种工作负载场景。这在许多方面类似于 IBM 的 System Workload Estimator (WLE)，它还附带了 System Planning Tool (SPT)。VSP 支持许多分区类型，包括硬分区和软分区。也可以使用 Integrity 虚拟机和资源分区。
Integrity 虚拟机 —— 这是 HP 的旗舰虚拟化产品。它的工作原理是，在完全隔离的环境中，在逻辑分区或物理分区上有一些独立的来宾实例，这些实例具有不同的操作系统版本和用户。该技术最初于 2005 年引入，支持分区拥有操作系统的完整副本。虚拟机可以共享资源，并且能够细粒度地控制 CPU 和 I/O 设备共享。一个分区可以拥有最小 1/20 的 CPU 资源。
nPartition —— 这是一种硬分区，不是一个虚拟化环境。它支持在其他人在线的情况下操作分区，类似于 IBM 的逻辑分区。
vPar —— 这类似于逻辑分区，支持在相同的 nPartition 或服务器上使用独立的操作系统实例。而且，它支持在工作负载需求发生变化时，在分区之间动态移动 CPU 或内存资源。它还支持在相同物理硬件上运行多个 HP-UX 副本。
资源分区（Resource Partition）—— 这些分区从 HP Process 资源管理器创建，支持在单一操作系统内为特定应用程序分配资源。这也是一个资源管理工具，支持管理 CPU、内存和磁盘带宽。它支持分配极少的 CPU 资源，甚至支持按用户组分配 CPU 资源，它支持在一个 HP-UX 副本中拥有多个应用程序。
2.2.1虚拟化技术优势
Integrity Virtual Machines 是一种软分区及虚拟化技术，可提供操作系统级别的隔离、二级 CPU分配精细度和 I/O 共享功能。Integrity VM 可安装在运行 HP-UX 的 Integrity 服务器、Integrity刀片式服务器或硬件分区 (nPartition) 上。
Integrity VM 环境由下列两种类型的组件组成，VM 主机和虚拟机（也称为 guest 虚拟机）。VM 主机可以将物理处理器、内存和 I/O 设备虚拟化，使您能够将这些资源作为虚拟资源分配给各个虚拟机。Guest 虚拟机是可正常运行的完全加载系统，配备有操作系统、应用程序、系统管理实用程序和网络，它们都在为其设置的虚拟机环境中运行。
2.3Integrity VM and vPars
HP虚拟机中，HP-UX vPars and Integrity VM V6 产品将 vPars 和 Integrity Virtual Machines 技术合二为一，组成一个共同的且易于使用的管理环境。 通过将一种软分区技术和一种虚拟化技术融合成一个产品，为客户提供了一系列选项。 为了提高系统利用率，vPar 可优先用于 CPU 和 IO 密集型关键任务工作负荷，而 Integrity VM 可选择用于将物理系统整合成一个虚拟化环境。 vPars and IntegrityVM V6 解决了服务器利用率较低以及同时运行关键任务应用程序要求更大服务器容量的问题。
vPars and Integrity VM V6 具有下列独特的功能：
提高了使用率和可伸缩性。
更大的灵活性和更多的容量。
改进了性能和生产率。
更好的可管理性。
通过 Serviceguard Integrity Virtual Server 工具包实现了高可用性。
针对每个 vPar 和 Integrity VM 实例的虚拟 iLO 远程控制台。
2.3.1Integrity VM
Integrity VM实例是真实的物理计算机的抽象。guest虚拟机操作系统在VM上运行的方式就像在物理Integrity服务器上运行的方式一样，改动最小。VM的环境是虚拟化的，并且由驻留在VSP上的虚拟机监视程序(VMM)子系统进行管理。 每个VM运行一个HP-UX实例。
在VM guest虚拟机中运行的应用程序，其运行方式与在HP-UX上本地运行时一样。VM分配有虚拟CPU和虚拟化内存。虚拟CPU占用物理CPU的一部分时间，具体取决于为虚拟CPU配置的动力保障能力百分比、共享物理CPU的其他 guest 虚拟机中的虚拟CPU数，以及所有虚拟CPU上的当前CPU使用率。 虚拟CPU显示为映射到VSP上的物理CPU。
每个VM guest虚拟机至少需要一个虚拟CPU、一个网络端口、一个根磁盘，以及可用于HP-UX和所承载应用程序的足够内存。网络和存储I/O通过AVIO来完成。
Integrity VM有着非常重要的优势在于其对硬件资源的动保障能力。动力保障能力是保证提供给 VM guest 虚拟机的每个虚拟 CPU 的最低处理能力。 创建 VM guest虚拟机时，可以使用hpvmcreate -e命令将动力保障能力指定为从5% 到 100% 之间的百分比。如果未指定动力保障能力，则 VM guest 虚拟机缺省具有 10% 的动力保障能力。启动VM guest虚拟机时，VSP可确保每个正在运行的VM guest虚拟机拥有足够的处理能力，来获得其动力保障能力。对于具有多个虚拟 CPU的VM guest虚拟机，可保证VM配置中的每个vCPU都具有动力保障能力。例如，如果某个VM guest虚拟机具有四个vCPU，并且动力保障能力设置为 12%，则VSP可确保为该guest虚拟机提供至少相当于一个物理CPU的 48% 的动力保障能力。要允许多个VM guest虚拟机同时运行，必须确保每个VM guest虚拟机的动力保障能力不会妨碍其他VM获得充足的处理器资源。全部活动VM guest 虚拟机的全部动力保障能力之和不能超过任意物理处理器的100%。如果某个 VM guest虚拟机繁忙，并且VSP系统上具有充足的物理CPU资源，则该虚拟机可以获得大于其动力保障能力的处理能力。 如果出现处理资源争用，则每个VM 仅限于其动力保障能力。图2-1展示了Integrity VM在共享硬件资源，并行运行操作系统上的尝试。

图2-1 Integrity VM独立OS，共享硬件资源
2.3.2vPars
vPars技术是HP虚拟化的另一种策略，虚拟分区是一个具有其自己的专用物理内核和专用内存的HP-UX 1 1i v3操作系统实例。 在一个分区中运行的每个HP-UX实例都独立于所有其他实例，从而提供了应用程序和操作系统故障隔离。 在使用vPar的HP-UX上运行的应用程序与在HP-UX本机模式（独立模式）下的运行方式一样。每个vPar至少需要一个专用处理器核心 (CPU)、一个网络端口、一个根磁盘，以及可用于HP-UX 和所承载应用程序的足够内存。存储和网络I/O在vPar中处于共享模式。存在被配置和映射到VSP上的 AVIO 子系统的虚拟NIC和虚拟HBA。VSP和vPar使用精简通信层在它们之间交换控制信息和消息。 这样确保了vPar能够提供接近本机的性能，并提供所承载应用程序的最小虚拟化开销。图2-2展示了vPar中网络冗余所进行的准备。

图2-2 VSP网络冗余设计

2.4总结
测试环境中，虚拟化是一项非常重要的技术，用途非常广泛，从系统到硬件资源，每一项都可以通过虚拟化技术来得到更充分的利用。表2-3展示了Integrity VM和vPars在功能和使用上的异同。

表2-3 Integrity VM和vPars
功能 Integrity VM vPars
CPU：精细度 1/20个核心 1个核心
CPU：动态调节 可以动态调节 需要联机添加或删除CPU
CPU：可伸缩性 32个核心 可以使用服务器最大CPU
内存：动态调节 可以动态调节 需要联机添加或删除内存
内存：可伸缩性 256G 可以使用服务器最大内存
是否支持Oracle RAC 否 是
迁移支持 支持在线迁移和脱机迁移 支持脱机迁移

3生产环境与测试环境的策略
作为大型的企业，一个产品的从设计，研发，测试直到生产，所有的环节都有一套详细的标准来规范。在新一代项目中，主要分为以下三个环境：
开发环境：开发人员所使用的基础软件环境，并非是测试环境处管控范围，一般均交给项目组的专人进行管理。在这个环境中虽然不会使用大量的数据作为测试案例，但是基础的软件设计，数据库设计等都要再此进行，所以这个这个环境与生产环境要保持一定的一致性。
测试环境：在产品完成初步的编写与单元测试之后，软件会按照流程进入测试环境中，此时软件虽然完成了初步的实现，但是在功能与效率上还存在很大的缺陷，所以软件在测试环境中会进行测试与修改。测试环境主要分为功能测试环境与非功能测试环境，由于所测试的方向不同，功能测试只要求基础软件配置与生产相同便可以，而非功能测试则需要与生产环境完全相同的架构，与等比例缩小的资源量。
生产环境：产品在测试环境验收完成之后，将会在规划好的时间点部署于生产环境。生产环境最重要的是稳定，为此，虽然很多的产品并未使用到服务器性能的30%，但是为了避免在极端条件下由于服务器性能不足而导致的系统崩溃，生产环境都为其预备了大量的资源。