测试环境处共承接新老系统，包括开发、组件组装、应用组装、版本检验、推广测试在内的环境多达十几套，每个系统的每套环境基本上都需要有oracle数据库，这些数据库服务搭建在PC、小型机两种硬件环境，Redhat Linux、HP Unix和IBM AIX等多种系统环境中，oracle数据库服务器的庞大和环境的多样性给oracle数据库的查询、创建、修改等运维管理工作带来了巨大的时间耗费。目前，对于oracle数据库的日常运维操作并没有一个清晰明了的管理界面，基于此种考虑，本文设计并实现了新一代测试环境ORACLE数据库管理工具。
本文首先介绍了新一代测试环境ORACLE数据库的使用现状，分析了系统管理员在进行ORACLE数据库日常管理操作中的需求，并进行数据库管理工具需要设计的功能点的分析介绍。
其次，针对测试环境的ORACLE日常运维管理需求，论述ORACLE数据库管理工具的设计及关键问题的研究和实现，展示数据库管理工具在表空间管理、用户管理、文件管理、权限管理、角色管理以及逻辑导入、导出等功能的具体实现流程。
最后，论述ORACLE数据库管理工具在数据库合规性检查、健康性检查、信息收集功能上的具体设计和实现。针对北京数据中心对ORACLE 11g的规范要求，进行检查和信息收集。
关键词：ORACLE数据库 日常运维管理 合规和健康检查
目 录
1 绪论 2
1.1 研究背景 2
1.2 研究意义 2
1.3 研究内容 3
1.4 论文结构 3
2 存储虚拟化技术 5
2.1 存储虚拟化的定义和优势 5
2.2 存储虚拟化的分类 6
2.2.1 带内虚拟化 6
2.2.2 带外虚拟化 7
2.3 存储虚拟化的实现方式 8
3 开发测试云平台存储模块开发背景 10
3.1 集中测试环境存储应用现状 10
3.2 开发测试云平台存储模块设计需求 11
3.3 开发测试云平台存储虚拟化设计目标 11
4 开发测试云平台存储功能模块设计实现 13
4.1 开发测试云平台存储功能模块架构 13
4.2 开发测试云平台存储功能详细设计 13
4.2.1 存储资源管理设计 13
4.2.2 存储流程管理设计 17
4.2.3 存储任务管理设计 20
4.3 存储虚拟化在开发测试云平台的设计和实现 21
4.3.1 存储资源池设计 21
4.3.2 存储资源分配自动化 22
4.3.3 存储模块服务、管理流程化 23
5 总结与展望 24
5.1 总结 24
5.2 展望 25
6 致谢 26
1绪论
1.1研究背景
北京开发中心测试环境处负责全行测试资产的管理，并为各个中心的项目组和测试团队提供测试环境。并且，随着新一代工作的逐步开展，测试环境处的环境支持工作也变得日益繁重。目前，测试环境处共承接新老系统，包括开发、组件组装、应用组装、版本检验、推广测试在内的环境多达十几套，每个系统的每套环境基本上都需要有oracle数据库，这些数据库服务搭建在PC、小型机两种硬件环境，Redhat Linux、HP Unix和IBM AIX等多种系统环境中，oracle数据库服务器的庞大和环境的多样性给oracle数据库的查询、创建、修改等运维管理工作带来了巨大的时间耗费。
目前行内主推的Oracle版本是11g，它提供了高性能、伸展性、可用性和安全性，并能更方便地在低成本服务器和存储设备组成的网格上运行。目前测试环境处承接的新老系统的数据库大部分运行在Oracle数据库上，每天系统管理员要对数据库的表空间、用户、数据文件等进行新增、查询、修改的工作，重复输入大量复杂的sql语句，耗费大量时间；再则，sqlplus本身界面不友善，查询信息显示在字符终端效果不好，不够清晰明确；最后，对数据库进行合规性检查、健康性检查、数据库信息收集，目前没有方法一目了然地获取这些信息。基于以上考虑，本次论文设计并实现了针对Oracle 11g的数据库管理工具，对管理员日常数据库管理工作涉及到的内容进行了分析总结，使管理员能够使用图形界面轻松对数据库进行日常管理工作，极大地提升了日常数据库运维工作的效率。
1.2研究意义
我行集中测试环境管理的Oracle数据库目前有3460多台，每天系统管理员都要对不同环境的Oracle数据库进行日常运维操作，如何高效的管理这些Oracle数据库成为测试环境Oracle数据库管理发展建设的一大难题。为了提高Oracle数据库管理效率，整合不同操作系统上安装的Oracle数据库，向系统管理员提供统一的Oracle管理接口，并提供比较全面的Oracle管理功能界面和Oracle健康性、合规性检查视图，本文设计并实现了新一代测试环境Oracle数据库管理工具，它能够满足数据库日常运维需求，并且具有良好的可扩展性、稳定性和可用性。
通过统一的Oracle数据库管理界面，方便快捷地对数据库进行操作管理，通过在对话框中输入关键信息点击按钮执行，避免了每次单独登录到Oracle服务器输入繁琐的SQL语句的麻烦以及字符界面展示的不便利。其次，通过清晰明了的界面展示当前Oracle数据库的合规性检查和健康性检查结果，避免通过复杂的步骤得到检查结果。再次，通过一键式批量或单独收集数据库系统信息便于在数据库进行备份恢复过程中以文本方式保存数据库信息。
目前市面上也有很多Oracle管理工具，例如开发测试云桌面中的dbvis等。这些工具功能强大也较为全面，但是并不能够为新一代测试环境的Oracle数据库进行量身定做的设计，因此很多功能并无用途，而真正实用的功能也并不突出或并不能够高效进行问题处理，大部分情况下还是要通过SQL语句进行操作。因此，本论文针对新一代测试环境数据库管理的需求设计实现的Oracle管理工具，正是旨在能够使测试环境处的系统管理员可以对数据库进行高效日常运维。
1.3研究内容
首先，本文介绍了新一代测试环境ORACLE数据库的使用现状，分析了系统管理员在进行ORACLE数据库日常管理操作中的需求，并进行数据库管理工具需要设计的功能点的分析介绍。
其次，针对测试环境的ORACLE日常运维管理需求，论述ORACLE数据库管理工具的设计及关键问题的研究和实现，展示数据库管理工具在表空间管理、用户管理、文件管理、权限管理、角色管理以及逻辑导入、导出等功能的具体实现流程。
最后，论述ORACLE数据库管理工具在数据库合规性检查、健康性检查、信息收集功能上的具体设计和实现。针对北京数据中心对ORACLE 11g的规范要求，进行检查和信息收集。
1.4论文结构
本论文共分为6章
第一章：绪论。本章概括性的介绍了论文的研究背景、研究内容以及组织结构，确定了论文的研究范围和立题目标，为后续章节的论述做好了铺垫。
第二章：Oracle数据库管理工具需求介绍。针对测试环境处系统管理员日常数据库操作的需求，进行Oracle数据库管理工具的需求分析，详细介绍出工具需要设计的功能点。
第三章：Oracle数据库管理工具关键技术及开发工具选择。详细分析Oracle数据库管理工具要实现从工具远程操作各系统的Oracle数据库的关键技术，并介绍实现Oracle数据库管理工具的开发工具，分析工具实现关键技术的运行机制。
第四章：Oracle数据库管理工具的具体设计和实现。针对测试环境的Oracle日常运维管理需求，详细分析Oracle数据库管理工具的设计以及关键问题的研究与实现。展示表空间管理、用户管理、文件管理、权限管理、角色管理、逻辑导出、逻辑导入等功能的具体实现流程。
第五章：Oracle合规性检查、健康性检查、信息收集功能的具体设计和实现。针对测试环境的Oracle 11g的规范要求，对Oracle数据库进行合规性检查、健康性检查，并能够一键收集数据库的信息并保存到文本中。
第六章：总结与回顾。本章对论文的研究工作进行了总结，并对Oracle数据库管理工具的功能在测试环境的应用和改良做出展望。
2ORACLE数据库管理工具开发背景
2.1新一代测试环境ORACLE数据库现状
新一代基础设施环境建设中开放平台的联机交易数据库普遍采用Oracle 数据库的11G版本，新一代830上线使用的完整版本号为11.2.0.3 PSU5，目前行内的主推版本是11.2.0.4 PSU2。在生产环境部署均采用RAC群集方式，在开发测试环境，根据目前的环境区域规划，在遵循版本一致、部署规范基本一致的基础上，对部署模式进行了适当的适应性调整，目前的主要现状如下：
2.1.1开发及单元测试环境
部署单节点数据库服务器，并按照统一开发环境建设的方式进行部署，尽量共享、复用数据库服务器，不同应用组件使用不同的数据库用户进行逻辑数据隔离。数据库存储容量较小的，优先使用本地存储满足需求，本地存储使用独立文件系统以便于数据库维护。
2.1.2组件组装测试环境
部署数据库群集，每个应用组件使用的专用的数据库服务器，但是组件组装功能环境与组件组装非功能环境共享数据库服务器，有数据隔离需求的建立不同的数据库实例，进行隔离。数据库存储采用ASM管理。
2.1.3应用组装功能环境
部署单节点数据库服务器，满足应用组装功能测试数据量需求的同时，同一应用组件尽量复用数据库服务器，组件内部的数据隔离需求可以采用数据库用户级、数据库实例级进行隔离。数据库存储根据数据量大小可采用本地存储与外部存储相结合的方式进行存储，本地存储建立独立的文件系统，外部存储可采用文件系统或ASM方式管理。
2.1.4应用组装非功能环境
部署数据库群集，尽量与生产环境一致，数据库服务器一般不复用。但考虑到测试环境资源有限，对于应急库备用节点等需求，按照测试计划执行的进度提供。整体上按照测试环境与生产环境的资源配置比例进行建设，数据库存储使用外部存储，采用ASM进行管理。
2.2ORACLE数据库管理工具开发需求
本文论述的针对新一代测试环境ORACLE数据库管理工具是针对新一代测试环境的ORACLE数据库日常运维管理工作的需求进行设计的。为了使此工具区别于市面上一般的功能多而泛泛的数据库连接管理工具，本文实现的ORACLE数据库管理工具在设计之初首先调研了新一代测试环境管理的各套ORACLE数据库日常运维管理过程中经常进行的工作内容，并以此作为管理工具进行功能点设计的需求来源。
目前确定的新一代测试环境ORACLE数据库管理工具的需求有如下几点：
1. 表空间管理。表空间管理是ORACLE数据库日常运维管理工作非常重要的一项内容，在表空间管理事项里，大致分为如下几个需求：查看底层可用空间大小；查看表空间使用率；创建表空间；扩展表空间大小；删除表空间。
2. 用户管理。用户管理也是ORACLE数据库日常运维管理工作中重要的内容，在用户管理事项里，大致分为如下几个需求：查看用户状态、默认表空间、临时表空间信息；新建用户；修改用户状态；修改用户口令；删除用户。
3. 角色和权限管理。角色和权限管理事项大致分为如下几个需求：查询现有用户的系统权限和对象权限；查询现有用户的所属角色；查询现有角色的所属角色。由于系统管理员在日常数据库运维管理过程中，并不会太涉及角色和权限的新增和删除操作，因此暂时不列入需求中。
4. 文件管理。文件管理是ORACLE系统管理员日常运维管理工作中非常重要的一部分内容，ORACLE有如下几类重要文件的管理：数据文件；控制文件；临时文件；联机日志文件。
5. 逻辑导入和逻辑导出。数据库的备份和恢复在新一代测试环境的开发测试过程中是非常重要的工作，定时进行数据的备份工作可以保证各套系统数据库重要数据的存档，另外不同环境之间的数据有时可能需要进行相互之间的备份还原，这种情况下，逻辑导入和逻辑导出的功能更是变得非常重要。逻辑导入和逻辑导出的主要需求如下几项：全库导出；用户级导出；表空间级导出；全库导入；用户级导入；表空间级导入。
6. 死锁处理。有时由于项目组人员的错误操作会导致ORACLE数据库发生死锁的现象，因此能够显示出死锁的具体信息，然后进行死锁的清理。
7. 合规性检查。合规性检查是针对新一代测试环境ORACLE数据库的参数是否遵循北京数据中心设定的规范的检查。由于参数较多，如果由系统管理员一项项进行参数的查看和对比，势必会非常耗时而且准确率并不高，因此需要在管理工具中设计一个合规性检查的功能点，使得需要检查的参数是否合规能够一目了然地展示给系统管理员。
8. 健康性检查。健康性检查是针对新一代测试环境ORACLE数据库的多项信息是否符合北京数据中心设定的标准的检查。同合规性检查，这些信息如果一项项由人工进行检查并不现实，因此在ORACLE数据库管理工具中添加这项功能点对数据库进行健康性
9. 一键收集信息。一键收集信息功能是指能够获取当前数据库各项信息指标并保存到文本文件中的功能：包括表空间、用户、权限和角色、参数等等信息，这有利用保存当前数据库状态，以便之后进行利用。
10. 批量处理。在数据库日常运维过程中，重复操作是经常性的工作，所以能够进行多个连接的批量处理是非常必要的需求。通过文本文件或其他形式将多个数据库连接获得并进行批量的操作，不仅可以节省大量重复劳动时间，也可以避免在重复操作过程中因操作错误而导致的失败。
2.3ORACLE数据库管理工具开发目标
进行新一代测试环境ORACLE数据库管理工具开发的过程是一个循序渐进、逐步优化的过程，不可能一蹴而就，就全部完成所有的功能的设计实现。需求可能会发生不断地增加和变化，功能也会不断地扩展。但是最初的框架实现之后，之后的功能点的增加都会变得比较简单。现阶段考虑的新一代测试环境ORACLE数据库管理工具要实现的目标如下：
1. 远程管理。新一代测试环境ORACLE数据库管理工具的首要目标就是实现ORACLE数据库管理的远程化。这个目标和市面上普通的数据库连接工具的目标是一致的，都是为了使系统管理员不需要再通过远程连接到数据库服务器在字符界面操作。同时远程运维也使得保存连接、批量处理成为可能。
2. 便捷运维。新一代测试环境ORACLE数据库管理工具的第二个重要目标就是要做到便捷化的日常运维管理。本文实现的ORACLE数据库管理工具应该能够实现将系统管理员对表空间、用户、文件、权限、导入导出等日常数据库的运维管理工作简洁化、清晰化。
3. 规范性检查。新一代测试环境ORACLE数据库管理工具的第三个重要目标是做到清晰明了地进行当前ORACLE数据库的健康性检查和合规性检查。使得复杂的检查流程得以一键式完成，并以一种清晰明确的方式展现在系统管理员和数据库健康性和合规性检查者的面前。
4. 批量管理。新一代测试环境ORACLE数据库管理工具的第四个重要目标是要能够进行多个数据库连接的批量操作，以实现多个数据库重复操作的并行处理。目前市面上的数据库管理工具的模式都是单一数据库操作模式，打开一个数据库连接然后进行操作，并没有很好的批量连接功能。因此在本文实现的ORACLE数据库管理工具中，我设计了批量连接的功能以进行多想重复操作，旨在节省系统管理员进行重复工作所花费的大量时间。
3ORACLE数据库管理工具设计实现
3.1功能模块架构
新一代测试环境ORACLE数据库管理工具的架构包含两个功能模块：单一连接功能和批量连接功能。批量连接中对每一台数据库服务器的操作等同于单一连接功能。在单一连接功能架构中，包含了对表空间、用户、文件、角色和权限的管理功能，逻辑导入和逻辑导出功能，死锁处理功能，健康性检查功能，合规性检查功能，一键收集系统信息功能。具体架构图如下图所示：
3.2功能详细设计
3.2.1表空间管理设计
在表空间管理设计部分，主要包含四个方面的功能设计：查询表空间使用情况、新建表空间、扩展表空间、删除表空间。下面对这四项功能设计进行详细说明：
查询表空间使用情况
在这项功能设计中，需要查询到表空间已用大小、空闲大小、可用率等信息。这个查询功能涉及到的SQL语句如下所示：
select ff.s tablespace_name,
ff.b total,
(ff.b-fr.b) usage,
fr.b free,
round((ff.b-fr.b)/ff.b*100)||'% 'usagep
from
(select tablespace_name s, sum(bytes)/1024/1024 b from dba_data_files group by tablespace_name) ff, (select tablespace_name s, sum(bytes)/1024/1024 b from dba_free_space group by tablespace_name) fr where ff.s=fr.s;
使用上述SQL语句查询到表空间使用情况的结果返回并显示到界面中即可。
