用户登录  |  用户注册
首 页毕业论文毕业设计下载定做交易过程截图支付宝在线支付
当前位置:完美毕业网毕业设计下载计算机毕业设计网络工程

新一代P6平台对公核心应用项目非功能测试 数据抽取工具的设计与实现

联系方式:点击这里给我发消息QQ8191040
官方主页:www.biye114.com
图片预览: ;论坛转帖
插件情况:
售后服务:请联系客服QQ:8191040
一键分享拿折扣:
  • 好的评价 如果您觉得此软件好,就请您
      0%(0)
  • 差的评价 如果您觉得此软件差,就请您
      0%(0)

软件简介

 在新一代P6平台核心银行对公应用项目的非功能测试过程中,测试数据的准备工作是关系整个测试工作质量的前提和基础,而数据准备的关键就是数据抽取环节。对于主机系统来说,传统的数据抽取工作是通过IBM公司提供的PCOM软件调用相应的JCL作业执行SQL语句实现的。但是,PCOM的操作习惯异于常见的软件,而且需要专业的使用操作培训和JCL语言的技术培训。也就是说,PCOM的数据抽取功能不仅使用繁琐复杂,而且专业技能要求高。所以传统的数据抽取工作是由合作公司的主机同事专门负责完成的,大体工作流程是:首先由测试人员获取数据抽取的SQL要素需求,再与主机同事进行沟通,主机同事完成相应的SQL语句与JCL作业的编写执行调试,最后将结果反馈给测试人员,测试人员再进行测试验证,如此反复。所以,整个数据抽取过程非常繁琐费时,从而导致数据抽取工作的效率低下、人力成本高等问题。
本文通过对建设银行新一代2.2期对公核心应用项目的测试工作的调研,详细地分析了传统的数据抽取工作的不足之处,通过对PCOM数据抽取功能的实现原理的研究,提出了新的数据抽取工具的设计。新的数据抽取工具基于PCOM数据抽取功能的实现原理,通过采用Java Swing、FTP、Bat等技术,封装了PCOM软件繁琐不便的操作环节和调用JCL作业执行SQL语句的过程,替代了数据抽取过程中主机同事的工作内容,实现了“输入-查询-输出”的简化模式,从而达到了数据抽取工作简单快捷的效果,进而实现了提高工作效率、节省人力成本等目标。

关键词:对公核心应用 数据抽取 FTP Bat
目录
1 绪论 4
1.1 研究背景 4
1.2 研究意义及研究内容 4
1.3 论文结构 5
2 非功能测试理论学习和工作实践总结 7
2.1 非功能测试理论 7
2.1.1 测试理论学习 7
2.2 非功能测试指标学习 8
2.2.1 非功能测试指标 8
2.3 非功能测试技术 9
2.3.1 非功能测试基础技术 9
2.3.2 非功能测试工具LoadRunner 9
2.3.3 主机技术 10
2.4 非功能工作实践总结 10
3 主机系统数据抽取工具的设计与实现 12
3.1 主机系统与PCOM软件 12
3.1.1 PCOM软件 12
3.1.2 JCL语言 14
3.2 数据抽取工具分析与设计 16
3.2.1 需求分析 16
3.2.2 原理分析 17
3.2.3 界面设计 17
3.2.4 流程设计 17
3.3 数据抽取工具实现 18
3.3.1 界面实现 18
3.3.2 功能实现 20
3.4 不足之处与改进方向 21
3.4.1 不足之处 21
3.4.2 改进方向 21
3.4.3 功能拓展 21
4 总结与展望 22
4.1 总结 22
4.2 展望 23
致谢 24


1绪论
1.1研究背景
时至今日,我进入到中国建设银行北京开发中心非功能集成测试处,成为主机组的测试人员已近一年。在这期间,主要学习了非功能测试的理论与方法,以及主机方向的一些理论,参与了上开轮岗实习与新一代2.2期对公存款组件的组件组装测试项目,熟悉了PCOM、Loadrunner等工具的操作使用。
在上开轮岗实习期间,主要进行的是新一代2.2期对公定期存款组件的单元测试、DB2数据库的数据转换、数据预埋等工作,学习了JCL语言以及PCOM软件作业处理的实现原理。在轮岗实习结束以后,参与到新一代2.2期对公存款组件的组件组装测试中,从脚本调试、数据准备,到场景准备、测试执行、撰写报告,全程参与了对公定期存款的组件组装测试工作,详细地学习了一系列的组件组装测试知识,熟悉了脚本的编写与调试、数据抽取与筛选、场景配置、测试执行、结果分析、报告撰写等过程。在这个过程中最为关键,也最为耗时的就是数据的抽取与验证环节。因为在脚本调试阶段,测试数据需要反复抽取与验证,这就需要测试人员与合作公司的主机人员反复沟通。
1.2研究意义及研究内容
入职一年期间,无论是在上开轮岗期间进行的单元测试、数据转换等工作,还是在新一代2.2期对公核心应用组件组装测试中,都涉及到测试数据的抽取、预埋等工作,尤其是在脚本调试过程中,这些工作显得尤为非常频繁但必要,但是这些工作不可能配置专门的DBA来完成,现行的办法就是由主机人员通过PCOM软件完成。但是鉴于数据抽取工具PCOM的专业技能要求以及测试人员和主机人员各自工作的内容不同,测试人员又无法自行完成数据抽取工作,使得整个数据抽取与验证工作有着诸多不便且效率低下。而且按照测试人员与主机人员2:1的配置比例,经常出现争抢主机人员协助抽取数据的现象,同时由于任务重、时间紧,也容易出现测试人员和主机人员在沟通、工作等过程中因为情绪因素影响工作效率等情况。在我行提倡的将技术掌握在自己手里的号召下,针对测试工作出现的上述情况,改良数据抽取工具,使测试人员取代主机人员完成数据抽取工作,在提高工作效率、节省人力成本等方面都有着非常重要的现实意义。所以如何改良数据抽取工具,使测试人员至少可以在数据验证阶段自行完成数据抽取工作就是本文的研究重点。
本文将以新一代2.2期对公核心应用组件组装测试过程中,脚本调试阶段的数据抽取与验证工作为调研对象,对现有数据抽取工具PCOM进行研究,分析其实现原理以及不足之处,设计新的数据抽取工具,解决现有数据抽取工作的问题。本文的主要内容如下:
1.概述自己在入行以来对非功能测试技术的学习掌握情况和工作实践情况;
2.分析测试工作中数据抽取环节的问题,研究PCOM的数据抽取原理及不足之处,提出新的数据抽取工具的解决方案;研究Java Swing、FTP、Bat等技术,以及主机系统的特点、JCL语言等,设计新的数据抽取工具的界面及与主机系统数据库的访问实现;分析总结该数据抽取工具的优势与不足之处,指出接下来的改进方向;
3.总结自己在导师制实施过程中的成果与收获,以及不足之处,并对未来的工作进行展望。
1.3论文结构
本论文共分为四章。
第一章,绪论,介绍论文的研究背景、研究意义、研究内容以及论文结构等四个方面。
第二章,非功能测试理论学习和工作实践总结,主要包括非功能测试专业技能学习、主机系统知识学习、测试管理流程学习,以及这一年中我的具体工作内容,总结自己学习工作中的得与失。
第三章,以新一代2.2期对公核心应用项目组件组装测试为背景,重点介绍了本文的选题背景、研究内容、实现原理以及获取的成果和改进的方向。具体内容如下:
1.分析测试工作中数据抽取环节的问题,研究PCOM的数据抽取原理及不足之处,提出新的数据抽取工具的解决方案;
2.研究Java Swing、FTP、Bat等技术,以及主机系统的特点、JCL语言等,设计新的数据抽取工具的界面及与主机系统数据库的访问实现;
3.分析总结该数据抽取工具的优势与不足之处,指出接下来的改进方向;
第四章,总结自己在导师制实施过程中的收获及不足,并对今后的工作进行展望。
2非功能测试理论学习和工作实践总结
2.1非功能测试理论
2.1.1测试理论学习
软件测试从测试目的分为:功能测试和非功能测试。系统完成功能测试后,还有许多功能之外的特性,称为非功能测试。软件工程中非功能测试包括了:压力测试(测试软件在负载情况下能否正常工作)、性能测试(测试软件的性能)、可访问性测试(测试软件能否提供足够功能)、安全性测试等。在本人行北开非功能测试团队《非功能测试实施管理细则》中,非功能测试定义为“非功能测试工作主要是指系统性能测试、可靠性测试及其它与系统非功能性特征相关的专项测试工作”。包括了性能容量测试、性能诊断测试、性能调优测试、性能拓展性测试、软件可靠性测试、系统容错性测试等。这些指标的含义如下:
性能容量测试:判定软件系统是否满足预期的性能需求指标,如最大并发用户数、联机交易处理能力、数据库记录数等。
性能诊断测试:寻找系统可能存在的性能问题,定位性能瓶颈并解决问题。
性能调优测试:通过对系统配置的调整,提高应用系统的性能表现。
性能拓展性测试:验证系统的性能扩展能力,找出扩展系统能力的要素,给出扩展系统性能的建议。
软件可靠性测试:指软件的可靠性评估,根据软件系统可靠性结构、寿命类型和、各单元的可靠性试验信息,利用概率统计方法,评估出系统的可靠性特征量。
系统容错性测试:主要检查系统的容错能力,检查软件在异常条件下自身是否具有防护性的措施或者某种灾难性恢复的手段。
系统特殊处理机制验证测试
2.2非功能测试指标学习
事务处理处理能力指的是单位时间内处理的事务数。通常情况下,事务处理能力用事务数/秒或交易数/秒来衡量。"每秒通过事务数/TPS"显示在场景运行的每一秒钟,每个事务通过、失败以及停止的数量,使考查系统性能的一个重要参数。通过它可以确定系统在任何给定时刻的时间事务负载。分析TPS主要是看曲线的性能走向。
响应时间是可以判断一个被测应用系统是否存在性能瓶颈的最直观的要素。响应时间一般包括最大响应时间和平均响应时间,响应时间包括网络上的传输时间,WEB服务器上处理时间、应用服务器上的处理时间、数据库服务器上的处理时间。"事务平均响应时间"显示的是测试场景运行期间的每一秒内事务执行所用的平均时间,通过它可以分析测试场景运行期间应用系统的性能走向。
交易成功率是指在压力下通过的事务数占总事务数的百分比,它可以分析在该测试场景的压力测试过程中系统的性能保证。
主机资源利用率包括主机CPU占用率和内存资源利用率,通过监控主机资源判断被测系统的瓶颈或者不能接收的性能点。
2.2.1非功能测试指标
本人行非功能测试主要参考的指标包括:TPS、平均响应时间、并发用户数、资源利用率。这些指标的含义如下:
TPS:Transaction Per Second,即每秒交易量,系统每秒完成的交易数目。TPS的值直接反映了系统的处理能力。
平均响应时间:系统对请求作出响应所需要的平均时间。对于单个事务,响应时间就是完成事务所需的时间;对于用户任务,响应时间体现为端到端的时间。
并发用户数:用虚拟用户模拟真实用户的操作行为,依靠脚本对系统进行操作访问,观察系统在不同虚拟用户数下的性能表现。测试中使用的虚拟用户数量,就是本人们说的并发用户数的概念。这种并发的概念通常在性能测试(Performance Testing)方法中使用,用于从业务的角度模拟真实的用户访问,体现的是业务并发用户数。
资源利用率:指系统在负载下资源使用情况,例如服务器主要查看CPU(s)、内存等。当系统资源利用率随着负载的增加达到了系统80使用率,可能意味着这个资源变成了系统的性能瓶颈所在。提高这个资源的量,将会提高系统的吞吐量,同时降低交易的响应时间。
2.3非功能测试技术
2.3.1非功能测试基础技术
本人行主机系统采用的技术包括如下:
主机:IBM大型机、IBM + HP 小型机、PC服务器、存储、负载均衡、网络设备
操作系统:AIX\HPUX\Linux\Windows
数据库:Oracle\DB2\IMS
中间件:WebSphere\Weblogic\MQ\Tuxedo
要成为优秀的非功能测试工程师,除了了解非功能测试理论外,还需要了解上述技术,并选定专业方向成为该方向的非功能测试专家。
2.3.2非功能测试工具LoadRunner
LoadRunner是HP公司研发的性能测试解决方案。通过模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题,它能预测系统行为并优化系统性能。LoadRunner 的测试对象是整个企业的系统,它通过模拟实际用户的操作行为和实行实时性能监测,来帮助用户更快的查找和发现问题。LoadRunner主要包括三个组件:1)Virtual User Generator(简称VUGen);2)Controller;3)Analysis。组件使用情况如下:
VUGen:用户使用VUGen录制最终用户业务流程并创建自动化性能测试脚本,VUGen支持多种协议,建行主要使用的协议有:http, socket, tuxedo, web service等协议。其中http,webservice协议通常采用录制实现脚本,socket和tuxedo通常采用手动编写方式实现脚本。
Controller:组织、驱动、管理并监控负载测试。Controller的界面如下所示,包括了design和Run界面。Design界面主要用来设置运行场景,场景设置包括了交易并发用户数,交易脚本占比。Run界面可以实时查看到场景运行过程中每个交易的响应时间等指标,如果被测系统产生异常,Run界面将捕捉并反馈这些异常。
Analysis:Analysis和controller 都可以看到TPS,响应时间等指标,不同点在于controller run界面可以实时查看到指标的瞬时值。此外analysis组件也提供了分析报表的功能,例如用户可以查看某段区间中的数据,以及将不同指标合并到同一个界面的功能。
建行北开测试中心非功能测试使用LoadRunner作为测试工具,通过编制LoadRunner脚本模拟对系统业务操作,并通过执行LoadRunner场景对被测系统发起并发压力。通过分析由LoadRunner自动收集的测试结果数据,结合监控数据,对被测系统给出实际的性能评价。对非功能测试工程师来说,掌握LoadRunner脚本的开发、掌握配置LoadRunner场景完成压力发起策略、收集并分析测试结果数据等是非功能测试工程师需要具备的基础的测试工具使用技能。
2.3.3主机技术
主机是商业中用于存储商业数据库、交易服务和应用程序的机器,相比规模较小的服务器,主机提供了更高的安全性、可用性和兼容性。
主机提供了Sysplex,实现了多个Z/OS操作系统一起协议,使用不同机器设备上的硬件及软件共同处理任务,提供了近乎连续可用的集群技术。此外,主机包括了虚拟存储技术、工作负载管理子系统、TSO子系统、CICS子系统、IMS子系统、DB2子系统、存储技术、作业控制语言JCL。
2.4非功能工作实践总结
在2014年7月入职后,我深切感到建行很注重对新员工教育和培养,除了通过大量的培训讲座等方式,其中完善的导师制是提高新员工的工作能力和学习能力的有效保证。导师制的实施让每一位新员工尽快客服工作环境不适和专业领域不熟的困难,导师指导新员工进行专业技术知识的学习和实践,以提高技术培训工作的针对性和有效性。
参与的项目实践
工作实践项目 工作角色 主要工作及能力培养
新一代2.2期对公定期存款构件KBB/TBB的单元测试 测试实施 参与上开新一代2.2期对公定期存款构件KBB、TBB的单元测试,学习了主机端的案例编写、测试执行、报告编写、JCL语言等
IMS数据迁移 开发实施 参与上开IMS数据库的数据迁移工作,学习了IMS数据库、JCL、COBOL等
新一代2.2对公定期存款构件TBB的开发 开发实施 参与了上开新一代2.2期对公定期存款构件TBB的开发,了解了TBB构件的开发流程、COBOL语言等
新一代2.2期对公核心应用组件组装测试 测试实施 负责对公定期存款组件的数据准备、脚本调试编写、方案案例编写、测试执行、与项目组数据中心协调、测试结果统计及分析、测试报告
CCBSA配套新一代2.2期150718版本点改造任务组件组装测试 测试管理 负责CCBSA项目方案、案例、脚本、测试报告审查,并进行进度跟踪
主机技术培训 技术学习 学习主机操作命令、数据集概念及创建方法、JCL语言语法、CICS子系统等
表1 参与的工作实践列表
通过在上开的轮岗实习,目前本人了解P6平台的结构特点,各个构件的特点及开发过程,已经掌握了主机的基本操作知识,JCL作业、COBOL语言的使用,能够进行JCL作业的跟踪调试工作。
通过参与新一代2.2期对公核心应用组件组装测试任务,目前本人已经掌握了组件组装测试的工作流程,包括脚本调试、数据准备、场景配置、测试执行、结果分析、撰写报告等一系列工作,加深了对非功能测试流程、测试方法的学习和理解;通过这些测试实践,学员巩固了对理论知识的掌握和理解。
通过参加测试管理任务,本人已经掌握了测试管理任务的工作内容、流程以及工作方法。

3主机系统数据抽取工具的设计与实现
非功能测试工作的重点就是测试脚本的调试与测试数据的准备,在这期间,数据的抽取是最为关键也是最为频繁的工作之一。主机系统现有的抽数方式就是由专门的主机人员通过PCOM软件完成数据抽取工作,而后交由测试人员进行数据验证,如此反复,直至验证脚本通过。这个反复的过程只能由主机人员与测试人员的串行协作完成。在新一代2.2期对公核心项目中,测试人员与主机人员配比为2:1,可能出现争抢主机人员情况,或者因为情绪等因素导致工作不便、效率低下。由于PCOM软件的专业技能要求高,而且测试人员的工作重点没有必要进行很高的PCOM专业要求,所以提供一个能够使测试人员至少在测试脚本调试阶段自行抽取数据的应用软件,在简便工作、提高工作效率方面有着重要意义。
3.1主机系统与PCOM软件
建行主机系统包括了:核心银行业务系统(简称,CCBS)、信用卡业务系统(简称,CCS)、海外核心业务系统(简称,OCBS)及先进贷款系统(简称,ALS)。本节从四大主机系统的架构角度出发,研究其所采用的数据库方式,为数据准备做调研依据。
3.1.1PCOM软件
PCOM介绍
PCOM即IBM Personal Communications,它是IBM公司针对 Microsoft Windows操作系统环境的主机通信和终端仿真软件包,主要功能包含虚拟终端 (VT) 仿真、系统网络体系结构 (SNA) 应用程序支持、集成和连接。Personal Communications 是 IBM Host Access Client Package 和 IBM Rational Host Integration Solution 的关键组件。Personal Communications 提供了一个平台,用于以传统方式访问不同主机系统上的数据和应用程序。
PCOM软件为用户提供了一种访问主机系统的交互方式,但是PCOM软件并不符合通常的PC端应用那样的操作习惯,所以使用该软件需要一定的操作培训。

下载地址

点击此处→注册会员上传设计赚钱
以上是大纲和介绍,如需要完整的资料请在线购买.

软件评论评论内容只代表网友观点,与本站立场无关!

   评论摘要(共 0 条,得分 0 分,平均 0 分) 查看完整评论

下载说明

* 本站所有资料均已审核通过,内容原创保密,标准格式,质量保证
* 无需注册,点击在线购买后即可获取该套毕业设计(论文)完整
* 支付后请联系在线客服QQ:8191040发送资料
  • 官方微信