摘 要
随着现代商业化银行业务和服务种类的不断扩展，其软件研发中心各种业务系统平台和数据相关数据文件日益增加，数据的容量变得越来越大。与此同时，在系统的运行和维护过程中，经常会因一些难以预料的因素导致数据丢失，如软硬件故障、误操作等等。而丢失的数据往往又对企业有着举足轻重的作用。因此，根据数据的特性对数据及时备份，以便在灾难发生后能迅速恢复数据显得越发重要。数据备份的任务与意义就在于，当灾难发生后，通过备份的数据完整、快速、简捷、可靠地恢复原有系统。进行集中备份管理，最大限度地保护企业的数据，已经成为了保证数据安全性的必要手段。
本文介绍了集中测试环境数据备份的现状，并对当前存在的若干问题进行了阐述和分析，结合Symantec NetBackup平台，分析了集中测试环境数据备份在自动化和管理方面的需求，提出了自动化备份工具的设计目标。
之后，分析了自动化备份工具的整体功能模块架构，并详细介绍了备份检查、备份客户端安装、客户端备份三大主要备份业务场景的需求及其功能模块的设计。最后，对各功能模块的实现进行了详细的阐述，包括基于Shell Script语言的客户端脚本以及基于C#的图形化界面的开发。
关键词：Symantec NetBackup 自动化备份
目 录
1 绪论 2
1.1 研究背景 2
1.2 研究意义 2
1.3 研究内容 3
1.4 论文结构 3
2 备份技术概述 5
2.1 备份的基本含义 5
2.1.1 备份的定义 5
2.1.2 备份的分类 5
2.1.3 备份的应用意义 5
2.2 数据备份 6
2.2.1 数据备份方式 6
2.2.2 数据备份分类及工具 7
2.2.3 数据备份策略 7
2.3 备份技术的现状及趋势 9
2.3.1 备份技术的分类 9
2.3.2 备份技术的现状 11
2.3.3 备份技术的发展趋势 12
3 测试环境备份系统介绍 13
3.1 测试环境备份需求分析 13
3.2 测试环境现有备份方案 14
3.2.1 备份系统 14
3.2.2 备份策略 14
3.2.3 磁带库使用现状 15
3.3 测试环境当前备份问题分析 16
4 基于NetBackup平台的自动化备份工具功能模块设计实现 18
4.1 自动化备份工具功能模块构架 18
4.2 自动化测试工具功能详细设计及实现 18
4.2.1 备份检查模块设计 18
4.2.2 客户端安装模块设计 21
4.2.3 客户端备份模块设计 23
4.2.4 其他模块设计 24
5 总结与展望 28
5.1 总结 28
5.2 展望 28
6 致谢 30
1绪论
1.1研究背景
随着近年来我行集中测试环境的数据容量逐年增加,对系统稳定性和数据的可用性提出了新的要求。如何保障系统数据的安全，保障银行业务系统测试的正常运行变得越来越重要。我行当前对数据的依赖性很高，从银行业务系统到内部OA系统, 所有的信息几乎都以数据的形式保存在各种存储设备中。在银行业务系统中越来越体现出“数据是无价”的这个概念，一旦发生数据丢失，许多用户信息都会出现问题。同理，数据在测试阶段也起到了至关重要的作用，持续进行的功能业务测试、非功能压力测试都会用到大量的数据，各方数据会汇集到数据库中。因此我行对数据可用性提出了严格的要求。
在数据量较小、系统运行的前期，对数据的备份工作还没有特别的要求。但随着集中测试环境数据容量的增加，数据的存储和保护越来越重要。数据自动备份势在必行。正是在这种情况下，备份应用迫切地提到了系统升级的日程上。
为解决上述问题，我行采用了集重复数据删除、复制和虚拟机防护功能于一体的Symantec NetBackup平台，以提升我行测试环境在存储效率、基础架构利用率和恢复速度，同时，实现多站点监控、分析和报告功能，并帮助完善标准化操作和风险管理。Symantec NetBackup平台可以自动执行高级技术，标准化各种应用程序、平台和虚拟环境上的操作，帮助信息化企业简化数据保护流程。这意味着，企业可以在异构操作系统和存储硬件（包括磁带和磁盘）环境中实现全面保护、有效存储、随处恢复和集中管理。
1.2研究意义
当前，我行北京开发中心测试部门利用Symantec NetBackup平台，使用LAN备份方式，对集中测试环境中的数据库服务器的数据进行周期性全量备份。数据库主要分为Oracle、Informix两大类。当有数据库服务器申请或数据库实例变更时，都需要通过人工操作依次登陆多台数据库服务器进行初次备份或备份变更，工作重复性高。同时，人工备份操作时间长，操作复杂，容易出错和遗漏。同理，对于数据备份状态的检查来说，也需要人工登陆到每一台数据库服务器，存在与客户端备份操作相同的问题。
因此，随着集中测试环境服务器数量的不断增加，为了简化NetBackup 客户端备份的操作，缩短备份部署时间，减少人为操作错误，将关键实时操作由人工处理向自动化处理转变，本文开发了基于NetBackup平台的自动化备份工具，主要集成了备份检查、NetBackup备份客户端安装、客户端备份三大主要备份场景。
1.3研究内容
首先，本文介绍了集中测试环境数据备份的现状，并对当前存在的若干问题进行了阐述和分析，结合Symantec NetBackup平台，分析了集中测试环境数据备份自动化、管理方面的需求，提出了自动化备份工具的设计目标。
其次，分析了自动化备份工具的整体功能模块架构，并详细介绍了备份检查、备份客户端安装、客户端备份三大主要备份业务场景的需求及其功能模块的设计。
最后，对各功能模块的实现进行了详细的阐述，包括基于Shell Script语言的客户端脚本以及基于C#的图形化界面的开发。
1.4论文结构
本论文从系统组的工作需求和日常运维的角度出发，结合NetBackup备份软件，通过对我行北京开发中心集中测试环境中开放平台数据集中备份实现技术和相关的方式、策略的讨论，给出自动化备份工具的需求描述，进而在需求分析的基础上，详细介绍系统的设计和实现。
本论文共分为5章
第一章：绪论。介绍论文的研究背景、研究意义、研究内容以及论文的组织结构；
第二章：备份技术介绍。主要介绍了备份技术的基本含义，包括分类及应用意义，之后重点介绍了数据备份的方式，并阐述了数据备份的分类及策略，最后，论述了备份技术现状及发展趋势；
第三章：集中测试环境备份系统介绍。首先从总体构架上对我行集中心测试环境中的备份情况做整体的概括描述，阐明备份在整个环境中的使用方式。其次结合NetBackup平台，对测试环境中数据集中备份应用存在的若干问题进行阐述，并举其中的典型作为例子重点分析；
第四章：介绍自动化备份工具的基本程序架构，并详细介绍图形用户接口部分的设计和实现；结合我行测试环境的基本情况，介绍自动化备份工具能够带来技术上和管理上的提高和改进；
第五章：总结与展望。
2备份技术概述
如果系统的硬件或存储媒体发生故障，备份可以帮助保护数据免受意外损失。例如，可以使用备份工具创建硬盘中数据的副本，然后将数据存储到其他存储设备。备份存储媒体既可以是逻辑驱动器（如硬盘）、独立的存储设备（如可移动磁盘），也可以是由自动转换器组织和控制的整个磁盘库或磁带库。如果硬盘上的原始数据被意外删除或覆盖，或因为硬盘故障而不能访问该数据，可以十分方便的从存档副本中还原该数据。
2.1备份的基本含义
2.1.1备份的定义
备份是指为应付文件、数据丢失或损坏等可能出现的意外情况，将电子计算机存储设备中的数据复制到磁带等大容量存储设备中。从而在原文中独立出来单独贮存的程序或文件副本。
2.1.2备份的分类
备份可以分为系统备份和数据备份。
（1）系统备份：指的是用户操作系统因磁盘损伤或损坏，计算机病毒或人为误删除等原因造成的系统文件丢失，从而造成计算机操作系统不能正常引导，因此使用系统备份，将操作系统事先贮存起来，用于故障后的后备支援。
（2）数据备份：指的是用户将数据文件，数据库，应用程序等贮存起来，用于数据恢复时使用。
2.1.3备份的应用意义
对数据的威胁通常比较难于防范，这些威胁一旦变为现实，不仅会毁坏数据，也会毁坏访问数据的系统。造成数据丢失和毁坏的原因主要如下几个方面：（1）数据处理和访问软件平台故障；（2）操作系统的设计漏洞；（3）系统硬件故障；（4）人为操作失误；（5）网络内非法访问者的恶意破坏；（6）网络供电系统故障等。
计算机里重要的数据、档案或历史纪录，不论是对企业用户还是对个人用户，都是至关重要的，一时不慎丢失，都会造成不可估量的损失，轻则辛苦积累起来的心血付之东流，严重的会影响企业的正常运作，给科研、生产造成巨大的损失。
为了保障生产、开发的正常运行，企业用户应当采取先进、有效的措施，对数据进行备份、防范于未然。
备份的作用是用于后备支援，替补使用。备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。随着技术的不断发展，数据的海量增加，不少的企业开始采用网络备份。网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。
2.2数据备份
2.2.1数据备份方式
常见的数据备份方式有：
（1）定期磁带
远程磁带库、光盘库备份。即将数据传送到远程备份中心制作完整的备份磁带或光盘。远程关键数据+磁带备份。采用磁带备份数据，生产机实时向备份机发送关键数据。
（2）数据库
就是在与主数据库所在生产机相分离的备份机上建立主数据库的一个拷贝。
（3）网络数据
这种方式是对生产系统的数据库数据和所需跟踪的重要目标文件的更新进行监控与跟踪，并将更新日志实时通过网络传送到备份系统，备份系统则根据日志对磁盘进行更新。
（4）远程镜像
通过高速光纤通道线路和磁盘控制技术将镜像磁盘延伸到远离生产机的地方，镜像磁盘数据与主磁盘数据完全一致，更新方式为同步或异步。
数据备份必须要考虑到数据恢复的问题，包括采用双机热备、磁盘镜像或容错、备份磁带异地存放、关键部件冗余等多种灾难预防措施。这些措施能够在系统发生故障后进行系统恢复。但是这些措施一般只能处理计算机单点故障，对区域性、毁灭性灾难则束手无策，也不具备灾难恢复能力。
2.2.2数据备份分类及工具
数据备份的主要分为：LAN 备份、LAN Free备份和SAN Server-Free备份三种。LAN 备份针对所有存储类型都可以使用， LAN Free备份和SAN Server-Free备份只能针对SAN架构的存储。
基于LAN备份：传统备份需要在每台主机上安装磁带机备份本机系统，采用LAN备份策略，在数据量不是很大时候，可采用集中备份。一台中央备份服务器将会安装在 LAN 中，然后将应用服务器和工作站配置为备份服务器的客户端。中央备份服务器接受运行在客户机上的备份代理程序的请求，将数据通过 LAN 传递到它所管理的、与其连接的本地磁带机资源上。这一方式提供了一种集中的、易于管理的备份方案，并通过在网络中共享磁带机资源提高了效率。
LAN-Free备份：由于数据通过LAN传播，当需要备份的数据量较大，备份时间窗口紧张时，网络容易发生堵塞。在SAN环境下，可采用存储网络的LAN-Free备份，需要备份的服务器通过SAN连接到磁带机上，在LAN-Free备份客户端软件的触发下，读取需要备份的数据，通过SAN备份到共享的磁带机。这种独立网络不仅可以使 LAN 流量得以转移，而且它的运转所需的 CPU 资源低于LAN 方式，这是因为光纤通道连接不需要经过服务器的 TCP/IP 栈，而且某些层的错误检查可以由光纤通道内部的硬件完成。在许多解决方案中需要一台主机来管理共享的存储设备以及用于查找和恢复数据的备份数据库。
SAN Server-Free备份：LAN Free备份对需要占用备份主机的CPU资源，如果备份过程能够在SAN内部完成，而大量数据流无需流过服务器，则可以极大降低备份操作对生产系统的影响。SAN Server-Free备份就是这样的技术。
数据备份可能使用到的基本工具主要包括：（1）DBFen在线数据备份，提供在线的企业和个人的数据备份；（2）Windows 本身内建的备份程序；（3）应用系统本身的备份工具 ( 如 SQL Server/Oracle)；（4）.向第三厂商 (备特佳，全球盾，Eubase，IBM，赛门铁克等) 购买专业用备份系统；（5）Zip/RAR 压缩。
2.2.3数据备份策略
选择了存储备份软件、存储备份技术后，需要确定数据备份的策略。备份策略指确定需备份的内容、备份时间及备份方式。各个单位要根据自己的实际情况来制定不同的备份策略。目前被采用最多的备份策略主要有以下三种。
1、完全备份（full backup）
定期对自己的系统进行完全备份。例如，星期一用一盘磁带对整个系统进行备份，星期二再用另一盘磁带对整个系统进行备份，依此类推。这种备份策略的好处是：当发生数据丢失的灾难时，只要用一盘磁带（即灾难发生前一天的备份磁带），就可以恢复丢失的数据。然而它亦有不足之处，首先，由于每次都对整个系统进行完全备份，造成备份的数据大量重复。这些重复的数据占用了大量的磁带空间，这对用户来说就意味着增加成本。其次，由于需要备份的数据量较大，因此备份所需的时间也就较长。对于那些业务繁忙、备份时间有限的单位来说，选择这种备份策略是不明智的。
2、增量备份(incremental backup)
每周进行一次完全备份，然后在接下来的六天里只对当天新的或被修改过的数据进行备份。这种备份策略的优点是节省了磁带空间，缩短了备份时间。但它的缺点在于，当灾难发生时，数据的恢复比较麻烦。例如，系统在星期三的早晨发生故障，丢失了大量的数据，那么现在就要将系统恢复到星期二晚上时的状态。这时系统管理员就要首先找出那盘完全备份磁带进行系统恢复，然后再依次找出星期二之前的磁带进而恢复星期二的数据。很明显，这种方式很繁琐。另外，这种备份的可靠性也很差。在这种备份方式下，各盘磁带间的关系就象链子一样，一环套一环，其中任何一盘磁带出了问题都会导致整条链子脱节。
3、差分备份(differential backup)
管理员每周进行一次系统完全备份，然后在接下来的几天里，再将当天所有与全备日不同的数据备份到磁带上。差分备份策略在避免了以上两种策略的缺陷的同时，又具有了它们的所有优点。首先，它无需每天都对系统做完全备份，因此备份所需时间短，并节省了磁带空间，其次，它的灾难恢复也很方便。系统管理员只需两盘磁带，即星期天的磁带与灾难发生前一天的磁带，就可以将系统恢复。
在实际应用中，备份策略通常是以上三种的结合。例如每周一至周六进行一次增量备份或差分备份，每周日进行全备份，每月底进行一次全备份，每年底进行一次全备份。
4、日常维护有关问题
备份系统安装调试成功结束后，日常维护包含两方面工作，即硬件维护和软件维护。如果硬件设备具有很好的可靠性，系统正常运行后基本不需要经常维护。一般来说，带库的易损部件是磁带驱动器，当出现备份读写错误时应首先检查驱动器的工作状态。如果发生意外断电等情况，系统重新启动运行后，应检查设备与软件的联接是否正常。磁头自动清洗操作一般可以由备份软件自动管理，一盘dlt清洗带可以使用20 次，一般一个月清洗一次磁头。软件系统工作过程检测到的软硬件错误和警告信息都有明显提示和日志，可以通过电子邮件发送给管理员。管理员也可以利用远程管理的功能，全面监控备份系统的运行情况。
网络数据备份系统的建成，对保障系统的安全运行，保障各种系统故障的及时排除和数据库系统的及时恢复起到关键作用。通过自动化带库及集中运行管理，保证数据备份质量，加强数据备份安全管理。
5、存储数据备份恢复
随着局域网和互联网络的深入应用，系统内的服务器担负着企业的关键应用，存储着重要的信息和数据，为领导及决策部门提供综合信息查询的服务，为网络环境下的大量客户机提供快速高效的信息查询、数据处理等各项服务。因此，建立可靠的网络数据备份系统，保护关键应用的数据安全是网络建设的重要任务,在发生人为或自然灾难的情况下,保证数据不丢失。
2.3备份技术的现状及趋势
2.3.1备份技术的分类
备份技术可以大致分为系统灾难恢复技术、数据远程复制技术、数据保护技术三类。
（1）系统灾难恢复(IDR，Intelligent Disaster Recovery )
系统灾难恢复，就是在系统出现崩溃的时候，能够用非常少的步骤，将系统重建，包括上面的系统补丁、应用软件和数据。这样可以提高恢复的准确性、缩短恢复时间、缩短业务中断时间。主要灾备技术，在恢复的时候有这么几种方式：
1．采用一张公用的光盘，所有的系统都采用该光盘。此光盘可以启动系统，同时可以启动网络，然后备份服务器将备份在磁带库(或虚拟带库)中的整个硬盘内容或第一主分区内容恢复到灾难机。这样不论灾难机原来有多大容量数据，都可以存放在整个备份系统的备份设备中，统一进行管理，而不需要经常刻录光盘，也就是说光盘不需要经常更新。比较典型的代表是BakBone NetVault VaultDR。
2．需要针对每台计算机单独刻光盘，恢复的时候需要利用针对性的光盘来恢复，每台机器都需要自己的光盘，而且需要定期不断更新。这种方式的最大不足是需要经常刻光盘，否则灾难出现的时候若没有光盘或者光盘太久了，都会影响恢复的速度和恢复后的状态。这种技术的典型代表是EMC NetWork Recovery Manager模块。
3．恢复时需要借助网络启动，也就是需要具备一台相同操作系统的主机作为引导机器，然后利用备份的内容进行恢复。这种技术的典型代表是Symantec NetBackup的Bare Metal Restore（裸金属恢复）模块。
4．操作系统自己提供的灾备工具。对于大多数Unix小型机，都提供系统备份工具。借助于系统自身提供的磁带机，利用一个简单的命令，HP-UX采用make_recovery就可以把整个root卷备份到服务器自带的4mm磁带上。在恢复的时候，这盘磁带可以自启动系统，采用一个命令就可以将整个root卷恢复到硬盘上。这种方式的好处是简单和经济，尤其对于Unix系统，这样的方式远比备份软件提供的BMR模块方便、安全和经济，因为备份软件提供的BMR模块往往需要相同平台的其他服务器来启动。
（2）数据远程复制
将数据在另外的地方实时产生一份可用的副本，此副本的使用不需要做数据恢复，可以将副本立即投入使用。数据复制的最大好处是副本数据立即可用，没有数据恢复时间，RTO 非常好，同时因为是实时复制，RPO也非常好，几乎不会丢失数据。缺点是费用远比数据备份要高，不仅仅是数据复制系统价格高，还需要另外的硬盘存储空间和主机系统，甚至建立另外的远程机房，考虑网络布线，这些都将带来成本大大增加，所以数据复制的建设和维护费用远远大于数据备份。
数据复制目前有如下实现方式：
1．基于主机。基于主机的数据复制技术，可以不考虑存储系统的同构问题，只要保持主机是相同的操作系统即可，存在支持异构主机之间的数据复制软件，如BakBone NetVault Replicator可以支持异构服务器之间的数据复制，同时支持跨越广域网的远程实时复制。缺点是需要占用一定的主机资源。
2．基于存储系统。利用存储系统提供的数据复制软件，复制的数据流通过存储系统之间传递，和主机无关。这种方式的优势是数据复制不占用主机资源，不足之处是需要灾备中心的存储系统和生产中心的存储系统有严格的兼容性要求，一般需要来自同一个厂家的存储系统，这样对用户的灾备中心的存储系统的选型带来了限制。
3．基于光纤交换机。这项技术正在发展中，利用光纤交换机的新功能，或者利用管理软件控制光纤交换机，对存储系统进行虚拟化，然后管理软件对管理的虚拟存储池进行卷管理、卷复制、卷镜像等技术，来实现数据的远程复制。比较典型的有Storag-age,Falcon等。
4．基于应用的数据复制。这项技术有一定局限性，都是针对具体的应用。主要利用数据库自身提供的复制模块来完成，比如OracleDataGuard，Sybase Replication 等。
（3）数据保护技术CDP（Continuous Data Protection）
CDP 技术是目前最热门的数据保护技术，它可以捕捉到一切文件级或数据块级别的数据写改动，可以对备份对象进行更加细化的粒度的恢复，可以恢复到任意时间点。
CDP技术是一个新兴的技术，在很多传统的备份软件中都逐渐融入了CDP的技术。比如BakBone NetVault Backup 8.0 追加了TrueCDP模块,Symantec Backup Exec12.5等。其他公司包括EMC，Symantec都并购了一些CDP的软件，正在和传统地备份软件进行整合，还都在整合中。
CDP技术包括两种：
1．Near CDP，就是我们说的准CDP，它的最大特点是只能恢复部分指定时间点的数据(FPIT，Fixed Point In Time)，有点类似于存储系统的逻辑快照，它无法恢复任意一个时间点。如Symantec 、CommVault、凯备份的CDP都属于这种类型。
2．TrueCDP，我们称之为真正的CDP，它可以恢复指定时间段内的任何一个时间点(APIT，Any Point In Time)，而BakBone TrueCDP属于TrueCDP类型。
2.3.2备份技术的现状
从分布在各个行业的灾备方案所采用的上述三种备份技术来看，是按照一定的梯度来使用的。
首先，最常采用的是系统灾难备份(BMR Bare Metal Recovery)，因为这种方案成本最低，只要在建设数据备份系统的时候追加一些模块就可以完成。不需要附加的存储空间，也不需要附加的容灾机房，所以，有条件的用户几乎都可以实施。只不过有的用户采用操作系统提供的备份工具来辅助，有的用户采用备份软件提供的灾难模块来完成。这样的用户数量最大，分布在各个行业。BakBone 的VaultDR在使用BakBone NetVault的备份软件用户中被广泛采用。很多用户非常喜欢BakBone VaultDR不用关心操作系统类型，而且一张标准光盘可以应用到所有x86服务器进行灾难备份和恢复。
其次是建立容灾系统的用户，大数据量的高端企业普遍采用基于存储的数据复制技术，比如电信、金融行业。中低端用户普遍采用基于主机的数据复制软件，成本较低，而且不需要进行严苛的存储系统采购，尤其是BakBone的NetVault Replicator不但可以进行远程数据复制，而且可以支持异构平台，所以在国内外有广泛的用户，一些政府部门、电力公司、证券部门、网站公司等都采用这种方式，而且大多运用在Windows、Linux平台。基于存储交换机层的虚拟存储技术虽然也在有了一些用户，但是因为此技术起步时间有限，技术成熟度需要进一步验证，很多用户只是做为试点，没有大范围的展开。对于基于应用的数据复制方式，也有部分高端客户在采用。
对于CDP技术，才刚刚起步，这种技术满足了很多关心灾备的用户的需求，在RTO 和RPO方面都能得到很高的标准，同时还可以进行任意历史版本的重现，正在被越来越多的用户所关注，相信将来会有非常广泛的用户。BakBone的TrueCDP可以进行任意时间点的恢复，是真正意义上的CDP，将会比其他准CDP产品有更大的优势，会被更多关心灾备的用户所选用。
2.3.3备份技术的发展趋势
备份技术未来的技术发展应该是多种技术并存，而且越能满足客户需求的方式更能得到客户的关注。
未来的发展之一应该是基于主机的异构复制技术会有更广泛的市场。因为大多数客户具备异构主机环境，支持异构环境的数据复制技术，就可以利用现有环境，各台主机之间互为复制。对于不支持异构环境的复制软件，就需要购买相同的存储或者购买相同操作系统的主机进行数据复制，增加了灾备的总体费用。
未来的发展之二就是CDP技术。CDP融合了数据备份和数据复制的优点，既可以进行实时数据保护，还可以任意时间点的历史数据恢复，将会具有更加强大的生命力。随着TrueCDP和传统备份软件的无缝衔接，将会有越来越多的用户采用TrueCDP 进行灾备系统建设。
