信用卡市场是中国个人金融服务市场中成长最快的产品线之一，虽然行业经济效益充满挑战，但受规模效益以及消费者支出增长的推动，盈利状况将趋向好转。信用卡消费在社会消费品零售总额中所占的比重不断提升。为了增加客户粘性，以客户需求出发，从多渠道、快速便捷、智能多样得为其提供更为优质的体验，必需建立一整套新的沟通渠道。
新一代文件传输组件作为新一代数据线系统，承担新一代系统内、新老系统之间、主机—开放之间的无缝文件传输，并支持准实时及批量的文件传输服务。
文件传输组件作为各系统的数据交互连接系统，只要使用了文件传输系统来传输文件的系统即为关联系统，所以管理系统较多，只能分类描述。新一代的文件传输组件可以兼容新一代系统和原使用BDE作为传输组件的系统，所以可以分为新一代接入系统和原BDE系统。
为适应外系统业务逻辑实现中涉及的文件传输功能调用需求，BDE.net系统对外提供接口调用规范，依据此规范，外系统可通过接口调用方式获得BDE.net提供的各种传输控制功能，如添加任务、查询任务、删除任务、发起命令、发起同步任务、群发任务、发起单个或批量同步文件。
贷记卡P8的文件传输，主要应用于P8给P9供数、P8与P6主机之间文件互传、P8给老系统供数、P8给卡中心传文件等方面。
关键词：无缝文件传输，新一代接入系统，原BDE系统，通用接口
目 录
1．绪论 1
1.1 研究背景 1
1.2 研究内容 1
1.3 研究意义 2
1.4 论文结构 3
2. 文件传输组件的概要设计 3
2.1 新一代贷记卡项目文件传输需求 3
2.2 文件传输组件的架构决策 4
2.2.1 数据接口定义 4
2.2.2 文件传输规范 6
2.2.2.1 文件目录规范 7
2.2.2.2 文件命名规范 7
2.2.2.3 文件内容规范 9
1. 数据文件内容规范 9
2. 非结构化内容数据文件内容规范 12
3. DDL文件内容规范 12
4. 控制文件内容规范 18
2.2.3 消息格式规范 20
2.2.4 文件传输过程规范 20
2.2.4.1 传输顺序 20
2.2.4.2 重传 20
2.2.4.3 空文件处理 21
3. 文件传输组件的详细设计 21
3.1 文件传输批处理服务设计 21
3.1.1 批处理服务描述 21
3.1.2 作业流图 23
3.2 关联系统分析及接口设计 23
3.2.1 新一代开放应用之间 24
3.2.2 新一代开放应用与新一代主机之间 26
3.2.3 新一代开放应用与原BDE应用节点 29
3.2.4 新一代主机与原BDE应用节点 31
3.2.5 新一代开放应用与老主机之间 32
4 文件传输API开发实例介绍 33
4.1 Java接口客户端开发实例介绍 33
4.1.1 开发环境准备 33
4.1.2 同步传输处理 33
1.1.1.1 同步文件传输 33
4.1.3 异步任务的处理 34
1.1.1.2 添加单任务 34
1.1.1.3 上传主机示例 36
4.2 C接口客户端实例介绍 37
4.2.1 异步文件传输 37
4.2.2 异步文件传输返回信息查询 39
4.2.3 异步文件传输状态查询 40
4.2.4 取消异步传输任务 40
4.2.5 同步大文件传输接口 41
4.2.6 同步文件传输 43
4.3 文件到达后触发实现 45
4.3.1 文件到达后触发介绍 45
4.3.2 开发实例介绍 46
5．总结和展望 48
致谢 50
1．绪论
1.1研究背景
当下信用卡业务已经成为银行体现综合竞争实力的金融产品之一，发展信用卡业务，是建设银行总体战略目标中的重要组成部分。我行信用卡系统于2001年开始创建，至2002年末开始投入使用并进行发卡.信用卡系统在经过多期项目改造和优化后，先后实现了人民币、美元双币卡发卡、约定还款及自动购汇、分期付款、专项分期等领先同行业的业务功能，推出了商务卡、名校卡、钻石卡等广受欢迎的信用卡品牌产品。发卡量也由2003年的不到100万张，发展到2014年的9000万张，信用卡系统在此期间发挥了至关重要的支撑作用。但随着国家经济的高速发展，人民生活水平的逐步提高，人们对信用卡的需求量以及日常使用频率也高速的增长。信用卡核心业务系统将努力认真扮演好在即将到来的变革中的重要角色，提高并稳固我行信用卡产品在市场中的占有率。通过持续优化改造，使信用卡业务系统成为业务功能全面、产品时尚丰富、高性能高稳定的系统，为业务发展取得国内第一打下坚实基础。
为贯彻落实我行“十二五”IT建设指导方针，我行启动了新一代信息系统建设项目。项目采用全新的流程、数据、产品和用户体验建模方法，分析和设计企业级业务，并以此为基础，重新规划IT架构，建设IT系统。
信用卡市场是中国个人金融服务市场中成长最快的产品线之一，虽然行业经济效益充满挑战，但受规模效益以及消费者支出增长的推动，盈利状况将趋向好转。信用卡消费在社会消费品零售总额中所占的比重不断提升。为了增加客户粘性，以客户需求出发，从多渠道、快速便捷、智能多样得为其提供更为优质的体验，必需建立一整套新的沟通渠道。
新一代文件传输组件作为新一代数据线系统，承担新一代系统内、新老系统之间、主机—开放之间的无缝文件传输，并支持准实时及批量的文件传输服务。
1.2研究内容
一年以来，本人主要参与了新一代P8平台文件传输组件研究与应用工作。
本文主要针对“新一代贷记卡P8文件传输组件的研究与应用”课题进行研究。
研究的具体内容包括：
1.新一代文件传输组件的接口设计方案
新一代文件传输系统基于bde.net系统开发，保留原有BDE的接口，以确保和BDE传输节点能进行文件传输，同时提供一套新的接口，在新接口中实现新功能。。
2.新一代文件传输组件的节点设计方案
文件传输组件分为中心节点和各调用系统的叶子节点两种部署模块，是一种星型结构。叶子节点尽可能轻量化，在保证传输性能的前提下，相关功能尽可能在中心节点实现。。
3.新一代文件传输组件的应用
主机与主机之间的文件传输应该通过共享存储或者XCOM直传的方式实现，不绕道开放系统实现传输。主机与开放之间的文件传输经过中心节点转发。
4.新一代文件传输组件的功能
中心节点的功能包括路由寻址、转发传输、传输模式选择（ftp传输还是共享存储）、安全控制、传输状态记录及跟踪、与主机之前传输的XCOM接口部署。
5.新一代文件传输组件的技术组件
对于交易带附件的需求文件传输组件提供一个技术组件（java的jar和C的动态链接库）提供的Java框架和C框架以实现其中的文件传输功能。
1.3研究意义
信用卡市场是中国个人金融服务市场中成长最快的产品线之一，虽然行业经济效益充满挑战，但受规模效益以及消费者支出增长的推动，盈利状况将趋向好转。信用卡消费在社会消费品零售总额中所占的比重不断提升。为了增加客户粘性，以客户需求出发，从多渠道、快速便捷、智能多样得为其提供更为优质的体验，必需建立一整套新的沟通渠道。
新一代文件传输组件作为新一代数据线系统，承担新一代系统内、新老系统之间、主机—开放之间的无缝文件传输，并支持准实时及批量的文件传输服务。
文件传输组件作为各系统的数据交互连接系统，只要使用了文件传输系统来传输文件的系统即为关联系统，所以管理系统较多，只能分类描述。新一代的文件传输组件可以兼容新一代系统和原使用BDE作为传输组件的系统，所以可以分为新一代接入系统和原BDE系统。
为适应外系统业务逻辑实现中涉及的文件传输功能调用需求，BDE.net系统对外提供接口调用规范，依据此规范，外系统可通过接口调用方式获得BDE.net提供的各种传输控制功能，如添加任务、查询任务、删除任务、发起命令、发起同步任务、群发任务、发起单个或批量同步文件。
由于新一代贷记卡项目的实施，为了更好地满足客户需求，更好地迎接未来的考验，文件传输组件同样进行了新的设计。这种新的设计在满足了新一代需求的同时，也会对模块之间的交互造成了一定的影响，因此，对新一代贷记卡文件传输组件的研究是非常必要的。
1.4论文结构
本论文主要介绍新一代文件传输组件的设计与实现，以及在贷记卡P8中的应用。
论文第一部分，介绍新一代文件传输组件的研究背景、研究内容和研究意义。
论文第二部分，根据新一代贷记卡项目的需求以及架构决策，设计文件传输组件的实现方式。
论文第三部分，分析各种场景的文件传输，分别提出实施方案。
论文第四部分，分析及验证上述实施方案的可行性和实现效果。分析现有不足，提出完善建议。
论文第五部分，对导师制期间的工作进行总结和展望。
2. 文件传输组件的概要设计
122.1新一代贷记卡项目文件传输需求
新一代文件传输组件作为新一代数据线系统，承担新一代系统内、新老系统之间、主机—开放之间的无缝文件传输，并支持准实时及批量的文件传输服务。
贷记卡P8的文件传输，主要应用于P8给P9供数、P8与P6主机之间文件互传、P8给老系统供数、P8给卡中心传文件等方面。
新一代文件传输系统的设计包括以下几个方面：
新一代文件传输系统基于bde.net系统开发，保留原有BDE的接口，以确保和BDE传输节点能进行文件传输，同时提供一套新的接口，在新接口中实现新功能。
文件传输组件分为中心节点和各调用系统的叶子节点两种部署模块，是一种星型结构。叶子节点尽可能轻量化，在保证传输性能的前提下，相关功能尽可能在中心节点实现。
主机与主机之间的文件传输应该通过共享存储或者XCOM直传的方式实现，不绕道开放系统实现传输。主机与开放之间的文件传输经过中心节点转发。
中心节点的功能包括路由寻址、转发传输、传输模式选择（ftp传输还是共享存储）、安全控制、传输状态记录及跟踪、与主机之前传输的XCOM接口部署。
对于交易带附件的需求文件传输组件提供一个技术组件（java的jar和C的动态链接库）提供的Java框架和C框架以实现其中的文件传输功能。
2.2文件传输组件的架构决策
2.2.1数据接口定义
新一代核心系统应用框架从整体上可以由7层架构和12个平台进行描述，而这个12个平台间信息的交换是通过接口的形式完成的，目前，按照新一代信息系统的规划，12个平台间的接口主要分为两类：交易接口和数据接口（图1所示）。其中交易接口主要描述以交易报文为载体的信息交换过程，数据接口主要描述各个平台间以文件传输或数据访问为载体的信息交换过程。
图1 新一代系统架构图
数据接口是企业级统一标准，它主要定义和描述了各平台之间数据传输和访问的场景、数据的种类、数据传输方式和传输机制等内容，描述了各平台之间对于数据传输及访问的共有特性和个性化需求。目前共定义了D1、D2、D3和D4四个数据接口（图2所示）。
图2 批量数据接口
如图所示，接口的划分是结合数据传输和访问的内容和实现的特性考虑，从实现的角度讲，分为行内和行外，从内容角度讲，分为结构化数据和非结构化数据。首先，D1、D2和D4描述了我行内部各应用平台间数据传输和访问的通路，D3描述的我行内各平台跟各外部平台间数据传输的通路；其次，D1和D2描述了数据传输和结构化数据访问的通路，D4接口描述我行非结构化数据批量交换（访问）场景。具体而言，D1接口定义和描述了P9与P1-8、P10-P12之间、P6-8与P1-5、P10-P12以及P6、P7、P8之间的文件交换的通路和应用场景；D2接口定义了P10和P12与P9之间的结构化数据访问通路；D3接口定义了我行与人行等外部机构之间的批量数据交换通路；D4描述了我行各个平台间非结构化数据批量交换（访问）的通路和场景。
2.2.2文件传输规范
在D1-D4接口中，凡是行内平台间使用到文件传输的场景，都适用于该规范。
2.2.2.1文件目录规范
本部分内容对于文件发送方（发送方）和文件接收方（接收方）在文件传输过程中使用的文件目录进行规范，原则上：
1、文件接收方接收发送方的文件存放目录为：
$HOME/file/input/$SOURCE /$ORG/$DATATYPE/$DATE
2、发送方待发送的文件存放目录为：
$HOME/file/output/$SOURCE /$ORG/$DATATYPE/$DATE
具体说明如下：
$代表后面的字符为通配符
$HOME：表示根目录
$SOURCE：用于标识数据来源（源平台或源应用组件），采用框架单元编码（编码规则遵循《CCB-NIS-TG-DA-技术代码编码及命名规范》框架单元编码部分）
$ORG：为9位机构号，全行为000000000
$DATATYPE：为数据类型标识，data表示数据文件
ctrl表示控制文件
ddl表示数据定义文件
$DATE：采用8位日期格式YYYYMMDD
注意:目录名中的英文字母均为小写。
2.2.2.2文件命名规范
在整个文件传输过程中，数据架构总共定义三类文件和一个消息。其中数据文件包含接收方须处理的数据内容；DDL文件说明数据文件中记录的结构；控制文件用来说明本次传输的“元数据”，用来描述本次数据传输的记录数、字节数、时间戳等消息；消息用来通知数据接收方文件传输完毕。
传输给P9平台的文件命名规范如下：
$SOURCE _$NODE_$ORG_$TABLE_$LOADTYPE_$DATE_$BATCHNO
$代表后面的字符为通配符
$SOURCE：用于标识数据来源（源平台或源应用组件），采用框架单元编码（编码规则遵循《CCB-NIS-TG-DA-技术代码编码及命名规范》框架单元编码部分）。
$NODE : 用于标识数据来源的物理部署位置，采用分配给该源应用平台或应用组件的具体编号（编码规则遵循《CCB-NIS-TG-DA-技术代码编码及命名规范》安全节点编码部分）
$TABLE：文件大写英文名，如果文件来自于数据库，可以采用数据库表名表示文件名；
$ORG：为9位机构号，全行为000000000
当需要在文件中传输一个地区所有的数据时，$ORG填写地区通配号，仅适用于文件传输。
$LOADTYPE:加载类型，初始化为INIT
数据新增和修改为ADD
数据删除为DEL
数据全量为ALL
如果同批文件即包括ADD和DEL数据文件，源应用应保证这两个文件的主键一致
$DATE：是源应用的业务数据日期，非卸数日期，采用8位日期格式YYYYMMDD；例如2012年6月6日00时5分卸出2012年6月5日的业务数据时，其日期为20120605；控制文件名、DDL文件名与同批次数据文件名的日期一致。
$BATCHNO：为4位批次号
每日多批，从0001开始顺序递增
每日/每旬/每月1批，批次号固定为0001
注意:文件名中除后缀为小写外其余英文字母均为大写。
对于其它平台，建议采用以上的名规范。如果不采用，则需数据交互双方共同对文件命名规范进行约定。
2.2.2.3文件内容规范
1.数据文件内容规范
数据文件是由一条条记录组成的，其中记录是由字段组成的。其中：
记录格式：记录是由一个个字段组成，用回车换行符（或换行符）表示一条记录的结束；
字段格式：1、定长分隔符采用"|"；2、不定长分隔符采用“|
