电子病历与医院信息平台标准符合性测试规范 WS/T 501-2016（发布日期：2016-08-23；实施日期:2017-02-01）

电子病历与医院信息平台标准符合性测试规范

EMR and hospital information platform standard conformance test specification

WS/T 501-2016（发布日期：2016-08-23；实施日期:2017-02-01）

前言

本标准按照GB/T 1.1-2009给出的规则起草。

本标准主要起草单位:国家卫生计生委统计信息中心、中国软件评测中心、国家电子计算机质量监督检验中心、中国医科大学附属盛京医院、华中科技大学附属同济医院、浙江大学医学院附属第一医院、四川大学华西医院、无锡市人民医院、无锡市中医医院。

本标准主要起草人:汤学军、黄江平、何伟起、边红丽、张黎黎、孟晓、郑良、董方杰、全宇、张晓祥、周敏、黄勇、沈崇德、童思木、苏明亮、阳小珊、邱全伟、葛会亮、张晓宇、陈中彦。

电子病历与医院信息平台标准符合性测试规范

1 范围

本标准规定了电子病历与医院信息平台标准符合性测试的测试过程、测试方法、测试内容和测试结果判定准则等。

本标准适用于电子病历基本数据集标准符合性测试,电子病历共享文档规范标准符合性测试和基于电子病历的医院信息平台标准符合性测试。

2 规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。

GB/T 9386 计算机软件测试文档编制规范

GB/T 20158 信息技术软件 生存周期过程 配置管理

WS 445 电子病历基本数据集

WS/T 447--2014 基于电子病历的医院信息平台技术规范

3 术语和定义

WS 445.WS/T 447--2014和WS/T500界定的术语和定义适用于本文件。

4 测试过程

4.1 概述

电子病历与医院信息平台标准符合性测试过程包括四个阶段的活动，分别为:测试策划、测试设计、测试执行和测试总结。

4.2 测试策划

测试策划主要是对电子病历与医院信息平台标准符合性的测试需求分析,确定需要测试的被测系统、范围和内容;明确测试数据样本的抽样原则和要求;提出基本的测试方法;核实测试的资源和技术要求;制定测试计划(含资源准备计划和进度计划)。有关测试计划的内容和要求应符合GB/T 9386 的规定。

4.3 测试设计

依据被测系统对应的测试需求，分析并选用对应的测试用例,必要时,补充设计测试用例;采用系统随机抽样的方法获取测试数据样本;选定适用的测试工具和测试资源;建立并校检测试环境及设备;配置测试环境参数;确定测试用例的执行流程;完成测试就绪评审,主要评审测试计划的合理性和测试用例的正确性、有效性和覆盖充分性,评审测试组织、环境、设备工具和检查表是否齐备且符合要求。

4.4 测试执行

使用测试工具执行选定的测试用例,获取和记录测试结果数据,分析并判定测试结果。对测试过程的正常或异常终止情况进行核对，根据核对结果对未达到测试终止条件的测试用例决定是停止测试还是需要修改或补充测试用例,再次测试。对测试中发现的符合性问题列表、汇总和分析。

4.5 测试总结

整理和分析测试执行过程中产生的测试数据,对所有测试项的测试结果进行符合性判定,并完成电子病历与医院信息平台标准符合性测试报告,并通过测试评审。

5 测试方法

5.1 概述

电子病历基本数据集、共享文档和医院信息平台的标准符合性测试主要采用黑盒测试方法,分别使用自动化定量测试和人工定性评价方式执行测试用例。

5.2 数据集标准符合性测试方法

5.2.1 概述

数据集标准符合性测试一般采用黑盒测试方法。通常以自动化测试方法为主,以人工测试方法为辅。数据集标准符合性测试包括数据集模拟环境测试和数据集生产环境验证测试。

5.2.2 数据集模拟环境测试方法

数据集模拟环境测试方法如下:

a) 采用等价类划分法、边界值等对医院已存在的数据集抽样,生成符合标准数据子集 XML文件模板的静态测试数据样本;

b) 导入测试数据样本加载到数据集符合性测试工具,并与相应的测试用例建立关联关系,通过运行测试工具完成每个数据元的名称、数据类型、表示格式以及值域是否符合电子病历基本数据集标准完整性的测试:

c) 打印输出基本数据集的比对结果。

5.2.3 数据集生产环境验证测试方法

在 5.2.2 基础上，采用人工测试方式,从生产环境系统中按照测试数据样本抽样原则提取原始数据,测试人员进行数据内容比对，核查数据准确性。

5.2.4 测试数据样本抽样原则

测试数据样本抽样原则如下:

a) 抽取的数据样本应覆盖58个数据子集中的所有数据元以及所要求的全部值域范围;

b) 按照时间抽取测试数据样本,且保证测试数据样本的真实性。

5.3 共享文档标准符合性测试方法

5.3.1 概述

共享文档标准符合性测试一般采用黑盒测试方法,包括两种方式:

a) 在数据集符合性测试已完成的基础上,对共享文档的结构进行符合性测试;

b) 直接通过共享文档的符合性测试工具,实现共享文档的逻辑结构和文档内容的测试。

5.3.2 文档结构符合性测试方法

文档结构符合性测试输出测试,具体方法如下:

a) 按照 WS/T 500规定的文件格式以及规定的抽样原则提供静态共享文档文件(含数据);

b) 导入共享文档文件加载到共享文档结构符合性测试工具,并与相应的测试用例建立关联关系，通过运行测试工具,检测静态共享文档文件是否符合电子病历共享文档标准Schema(CDA.xsd);

c) 打印输出共享文档的比对测试结果。

5.3.3 文档内容符合性测试方法

在5.3.2基础上,采用手工测试方式,将业务系统的原始数据与测试工具生成的共享文档视图进行内容比对,核查数据准确性。

5.3.4文档结构和内容符合性测试方法

文档结构和内容符合性测试,具体方法如下:

a) 按照规定的共享文档文件格式提供静态共享文档文件(含数据);

b) 导入共享文档文件加载到共享文档符合性测试工具,并与相应的测试用例建立关联关系,通过运行测试工具，检测静态共享文档文件与共享文档制作专家组提供的共享文档的内容和结构的符合性:

打印输出共享文档的测试结果。

5.3.5 测试数据样本抽样原则

共享文档文件的抽样原则如下:

a) 获取的共享文件应覆盖全部53个电子病历共享文档;

b) 按照业务流程提取共享文件数据样本,且保证抽样的共享文件数据的真实性、一致性。

5.4 医院信息平台标准符合性测试方法

5.4.1 概述

医院信息平台标准符合性测试包括交互服务测试、性能测试、平台架构评估测试和安全测试。交互服务测试采用常规的黑盒测试方法,测试医院信息平台的内、外交互服务与相关标准的符合程度;性能测试采用模拟环境测试、生产环境测试等测试方式;医院平台架构评估采用对实际系统进行验证检查的测试方式;安全测试采用人员访谈、文档查阅和现场核查三种基本的方法。医院信息平台测试采用自动化测试和人工测试相结合的测试方式。

5.4.2 医院信息平台服务接口

医院信息平台接口是指医院信息平台与区域卫生信息平台之间的协议规范,以实现医院信息平台与外部机构的信息共享与业务协同。医院信息平台应能按照协议中规定向区域卫生信息平台提供相应信息。医院信息平台主要提供的功能接口包括:个人身份注册、电子病历文档注册、电子病历文档检索、电子病历文档调阅等。

医院信息平台接口服务开发技术采用Web Service,并遵循WS-IBasic Profile1.0的有关指引,交互的数据应符合WS 445的要求,交互的共享文档应符合WS/T 500 的要求。

医院信息平台服务接口应按照WS/T 447--2014的要求实施。

5.4.3 交互服务测试方法

医院信息平台交互服务测试有两种测试方式:

a)自动化测试。被测系统按照5.4.2规定的接口规范要求提供服务,测试工具模拟相应场景,向被测系统发起正确或错误的服务请求;测试工具接收并校验被测系统对服务请求做出的回复信息,判断被测系统是否根据请求内容做出了正确的响应或提供了相应的服务;

b)人工测试。按照等价类划分法、边界值分析法和猜错法设计功能符合性测试用例,逐一执行功能符合性测试用例来实现医院信息平台服务的测试,判定其功能是否实现。

5.4.4 性能测试方法

5.4.4.1 模拟环境测试方式

测试方法为通过专用测试工具或测试仪器,设计模拟测试用例,结合医院信息平台的运行要求配置模拟环境,测试医院信息平台的交易执行指标和资源监控指标。测试内容包括并发性能测试和大数据量测试:

a) 并发性能测试,是一个负载测试和压力测试的过程。即逐渐增加负载,直到达到平台性能要求的性能点，通过综合分析交易执行指标和资源监控指标来确定系统并发性能的过程。主要针对医院信息平台技术规范中的并发用户数性能要求进行测试:

b) 大数据量测试,是指针对某些系统存储、传输、统计、查询等业务进行的大数据量测试，通过综合分析交易执行指标和资源监控指标来确定系统大数据量处理性能的过程。主要针对医院信息平台技术规范中有总记录数据量要求的查询、匹配等性能要求测试平均响应时间。

5.4.4.2 生产环境测试方式

测试方法为在医院信息平台实际生产环境现场,根据医院信息交换层、资源层和应用层等已存在的真实数据信息为基础,设计测试用例,验证不会对生产环境运行造成影响的服务的平均响应时间。

5.4.5 平台技术架构评估

在医院信息平台的真实环境下,对医院信息平台及医院信息系统的技术架构采用检查验证的测试方法,验证医院信息交换层、医院信息平台资源层以及医院信息平台应用层等架构是否符合WS/T 447--2014的要求。

5.4.6 安全测试方法

安全测试使用人员访谈、文档查阅和现场核查三种测试方法,具体方法如下:

a) 人员访谈。通过与相关技术和管理人员交流、询问和访谈方式,获取信息安全措施和制度落实的相关证据。通常应访谈的人员包括:信息安全主管领导、系统管理员、安全管理员、审计员等,但不仅限于上述人员:

b) 文档查阅。通过检查技术及管理相关文档和实施记录，获取信息安全政策和要求的相关证据。包括管理制度、管理要求、系统配置文件等系统各个层面的安全相关文档等的查阅:

现场核查。通过对检查对象进行现场观察、查验、渗透性测试等活动,获取相关证据以证明信息系统安全保护措施是否得以有效实施。包括物理环境查验、系统安全策略配置,审计日志的检查.安全功能验证等.

6 测试用例

6.1 测试用例设计原则

测试用例的设计应遵循但不限于以下原则:

a)基于测试需求的原则。按照不同被测系统的测试需求,分别设计数据集、共享文档、医院信息平台的标准符合性测试用例和测试数据样本;

b)基于测试方法的原则。测试用例设计应明确说明所采用的测试方法,如:等价类划分法、边界值分析法、猜错法、检查审核法等,以达到测试充分性和一致性的要求;

c)兼顾测试完整性和效率原则。测试用例集设计应兼顾测试内容的完整性和测试效率两个方面:

d)每个测试用例的内容应完整,且具有可操作性:

e)测试执行的可再现性原则。应保证测试用例执行的可再现性。

6.2 测试用例要素

每个测试用例应包括以下要素:

a) 名称和标识。每个测试用例应有唯一的名称和标识符。

b) 测试追踪。说明测试所依据的内容来源。

c) 用例说明。简要描述测试的对象、目的和所采用的测试方法。

d) 测试的初始化要求。应考虑下述初始化要求:

• 硬件配置。被测系统的硬件配置情况,包括硬件条件或电气状态。
• 软件配置。被测系统的软件配置情况,包括测试的初始条件。
• 测试配置。被测系统的配置情况,如用于测试的模拟系统和测试工具等的配置情况。
• 参数设置。测试开始前的设置,如控制参数和初始化数据等的设置。

其他对于测试用例的特殊说明。

e) 测试的输入。在测试用例执行中发送给被测系统的所有测试命令、数据等,对于每个测试用例应提供如下内容:

• 每个测试输入的具体内容(如,确定的数值、确定的数据等)及其性质(如,有效值、无效值、边界值等)。
• 测试输入的来源(如,被测系统自动生成、人工生成等),以及选择输入所使用的方法(如，测试工具加载、人工输人等)。
• 测试输入的环境(如真实环境、模拟环境等)。
• 测试输入的方式(如时间顺序、事件顺序等)。
• 期望的测试结果。说明测试用例执行中由被测系统所产生期望的测试结果,即经过验证，认为正确的结果。必要时,应提供中间的期望结果。期望测试结果应该有具体内容，如确定的数值、状态等,不应是不确切的概念或笼统的描述。

f) 评价测试结果的准则。判断测试用例执行中产生的中间和最后结果是否正确的准则。对于每个测试结果应根据不同情况提供如下信息:

• 实际测试结果与期望结果之间的允许差异的上下限。
• 时间的最大和最小间隔,或事件数目的最大和最小值。
• 实际测试结果不确定时,再测试的条件。
• 与产生测试结果有关的出错处理要求。

g)操作过程。实施测试用例的执行步骤，把测试的操作过程定义为一系列按照执行顺序排列的相对独立的步骤,对于每个操作应提供:

• 每一步所需的测试操作动作,测试程序的输入、设备操作等。
• 每一步期望的测试结果。
• 每一步的评价准则。
• 程序终止伴随的动作或差错指示。
• 获取和分析实际测试结果的过程。

h) 前提和约束。在测试用例说明中施加的所有前提条件和约束条件,如果有特别限制、参数偏差或异常处理,应该标识出来,并要说明它们对测试用例的影响。

i) 测试终止条件。说明测试正常终止和异常终止的条件。

6.3 测试用例标识规则

测试用例的标识规则,见图1.

6.4 测试用例类型说明及编写说明

6.4.1 测试用例类型说明

电子病历与医院信息平台标准符合性测试用例类型分为数据集类、共享文档类和医院信息平台类(测试用例模板参见附录A):

a) 数据集类测试用例。依据测试用例设计原则,遵循测试用例要素的规定，对电子病历数据集进行标准符合项测试用例的设计,形成数据集类测试用例,参见附录B中的 B.1。

b) 共享文档类测试用例。依据测试用例设计原则,遵循测试用例要素规定,对电子病历共享文档进行标准符合项测试用例的设计,形成共享文档类测试用例,参见附录B中的 B.2。

c)医院信息平台类测试用例。依据测试用例设计原则,遵循测试用例要素的规定,对医院信息平台的交互服务进行标准符合项测试用例的设计,形成医院信息平台类测试用例，参见附录B中的 B.3。

6.4.2 测试用例编写方法

测试用例应依据6.1、6.2的规定和电子病历相关标准的要求编写。

测试用例在编写过程中,正向测试和反向测试用例应分开编写,易于整合配置形成对测试项的测试用例集。

6.5 测试用例库管理

6.5.1 测试用例库的范围

测试用例库包含数据集类测试用例、共享文档类测试用例和医院信息平台三类测试用例集,根据边界值分析法和猜错法技术,上述测试用例集设计应分别涵盖了正向测试用例和反向测试用例。

测试用例库应包括配套的系列标准测试样本数据。

6.5.2 测试用例库的维护更新

测试用例经过专家评审确认后方能进入测试用例库,一经进入受控的测试用例库,测试用例不能随意更改。测试用例库应进行版本控制管理。

随着卫生信息标准的不断增加和完善,需要补充或修订测试用例库中测试用例及数据时，应提出书面申请,说明理由并提交更新的测试用例,经专家评审通过后才能进入受控的测试用例库。

测试用例库的管理应便于评级测试对测试用例选择时的选择和配置。

7 测试管理

7.1 过程管理

7.1.1测试组织结构

标准符合性测试应建立测试组织机构,组织结构见图2:

电子病历与医院信息平台标准符合性测试采用项目经理负责制,负责整个测试工作的进度控制、质量控制以及协调、沟通等。

项目经理下设数据集标准符合性测试组、共享文档规范符合性测试组、信息平台技术规范符合性测试组、配置管理组和质量控制组。

数据集标准符合性测试组负责电子病历数据元测试,并对项目经理负责。

共享文档规范符合性测试组负责电子病历的共享文档测试,并对项目经理负责。

医院信息平台技术规范符合性测试组负责基于电子病历的医院信息平台技术规范的符合性测试，并对项目经理负责。

配置管理组负责管理用户方提交的技术文档、测试过程所产生的测试文档的基线设置、权限设置、变更管理等配置管理工作。

质量监控组负责测试实施过程的质量监督和控制,并参与各测试阶段的输出结果文件的评审工作。

7.1.2 测试人员角色

标准符合性测试应由独立于被测系统的开发、应用的人员实施，人员配备见表1。

电子病历与医院信息平台标准符合性测试采用项目经理负责制,负责整个测试工作的进度控制、质量控制以及协调、沟通等。

项目经理下设数据集标准符合性测试组、共享文档规范符合性测试组、信息平台技术规范符合性测试组、配置管理组和质量控制组。

数据集标准符合性测试组负责电子病历数据元测试,并对项目经理负责。

共享文档规范符合性测试组负责电子病历的共享文档测试,并对项目经理负责。

医院信息平台技术规范符合性测试组负责基于电子病历的医院信息平台技术规范的符合性测试，并对项目经理负责。

配置管理组负责管理用户方提交的技术文档、测试过程所产生的测试文档的基线设置、权限设置、变更管理等配置管理工作。

质量监控组负责测试实施过程的质量监督和控制,并参与各测试阶段的输出结果文件的评审工作。

7.1.2 测试人员角色

标准符合性测试应由独立于被测系统的开发、应用的人员实施，人员配备见表1。

7.1.3 准入准出条件

7.1.3.1准入条件

开始电子病历与医院信息平台标准符合性测试工作一般应具备下列条件:

a) 被测方已正式提出电子病历与医院信息平台标准符合性测试申请,提交的信息包括测试范围、测试要求和被测系统描述;

b) 通过电子病历与医院信息平台标准符合性测试管理平台已成功完成测试申请注册,并经过行政管理机构审核确认:

c) 被测方已提交本次测试所需的文档,包括测试申请材料及证明材料等;

d) 根据被测系统不同要求,被测方已按照“XML文件模板”要求完成各数据样本准备;

e) 已准备好电子病历与医院信息平台标准符合性测试所需测试环境及被测系统;

f) 医院信息平台的交互接口为规范的接口方式,通常采用WebService同步通讯方式以及指定的消息格式。

7.1.3.2 准出条件

结束电子病历与医院信息平台标准符合性测试工作一般应具备下列情况:

a) 文件审核不通过,测试终止;

b)测试用例执行出现异常情况,导致测试工作无法继续进行时,测试终止;

c) 已按要求完成测试计划所规定的全部测试任务，已获得且记录了有效的测试结果数据，并出具了测试问题报告和测试报告，测试结束。

7.2 配置管理

应按照软件配置管理的要求建立配置管理库,将被测系统、测试用例和测试文档纳入配置管理。配置管理按GB/T 20158的要求。

7.3 评审

7.3.1 测试就绪评审

在测试执行前,对电子病历与医院信息平台标准符合性测试的测试计划、电子病历的测试用例等进行评审,评审测试计划的合理性,测试用例的正确性,完整性和覆盖充分性,以及测试组织、测试环境和设备工具是否齐全并符合技术要求等。评审的具体内容和要求应包括:

a) 评审测试文档内容的完整性、正确性和规范性;

b) 评审测试环境是否满足测试要求;

c) 评审测试活动的独立性;

d) 评审测试项选择的完整性和合理性;

e) 评审测试用例的可行性、正确性和充分性。

7.3.2 测试评审

在测试完成后,评审测试过程和测试结果的有效性,确定是否达到测试目的。主要对测试结果进行评审，其具体内容和要求应包括:

a) 评审测试活动的独立性和有效性;

b) 评审测试环境是否符合测试要求;

c) 评审测试结果与实际测试过程和结果的一致性;

d) 评审实际测试过程与测试计划的一致性;

e) 评审未测试项和新增测试项的合理性;

f) 评审测试结果的真实性和正确性;

g) 评审对测试过程中出现的异常进行处理的正确性。

8 测试文档

电子病历与医院信息平台标准符合性测试的测试文档包括测试计划、测试规格说明、测试执行记录、测试问题报告和测试报告。具体如下:

a) 测试计划指在正式测试实施开始前,对电子病历与医院信息平台标准符合性测试项目所作的总体分析,应包括测试目的、测试范围、测试方法、测试项、各方人员配备、测试进度安排等;

b) 测试规格说明是指测试准备工作的相关说明,应包括测试用例选取说明、测试数据样本说明、测试环境要求、测试执行说明和符合性判定准则等;

c) 测试执行记录指按照双方约定好的测试范围和测试项执行测试用例并记录测试结果，包括正常结果和异常结果;

d) 测试问题报告指在电子病历与医院信息平台标准符合性测试过程中,对发现的异常问题汇总分析，应包括问题产生的详细操作过程及结果描述、问题的分布情况等;

e) 测试报告指对电子病历与医院信息平台标准符合性测试结果的分析评价和测试结果的说明。

9 测试工具

本标准涉及的测试工具见表2。

10 测试内容

10.1数据集标准符合性测试

测试采用自动化测试为主、手工测试为辅的方式对数据元的名称、数据类型、表示格式和值域进行测试,考察其完整性和准确性。电子病历基本数据集标准符合性测试内容见表3所示。

10.2 共享文档标准符合性测试

测试采用自动化测试方式对共享文档的内容、结构和元素进行测试,测试内容包括共享文档的准确性，测试内容如表4所示。

10.3信息平台标准符合性测试

测试采用自动化测试、手工测试等方式,对被测系统从交互服务、性能、医院信息平台技术架构和安全性等方面进行测试。医院信息平台交互服务、性能、技术架构和安全性测试项如表5所示。

11 测试结果判定准则

11.1 数据集测试结果判定准则

11.1.1 数据子集中单数据元完整性测试结果判定准则

单数据元完整性的测试结果分为“符合”和“不符合”。其判定原则为:在测试过程中,该数据元不存在或者数据元存在且该数据元数据始终为空时,则结果判定为“不符合”,否则判定为“符合”。

11.1.2 数据子集中单数据元准确性测试结果判定准则

11.1.2.1单数据元准确性的测试结果“不符合”的判定原则

在测试过程中,数据元如果出现如下异常情况之一,则结果判定为“不符合”:

a) 数据元缺失;

b) 无法识别符合标准的数据元;

c) 数据元数据类型不符合标准;

d) 数据元表示格式不符合标准;

e) 数据元的允许值始终为空;

f) 其他不符合标准的情况。

11.1.2.2 单数据元准确性的测试结果“符合”的判定原则

在测试过程中,如果没有出现11.1.2.1a)~f)描述的异常情况,则判定为“符合”。

11.1.3 综合结果判定

综合结果包括数据子集中数据元完整性符合率,数据子集中数据元准确性符合率、数据集完整性符合率和数据集准确性符合率4个方面统计,具体见式(1)~式(4)。

11.2 共享文档标准测试结果判定准则

11.2.1 单个共享文档的测试结果“不符合”判定准则

在测试过程中,共享文档如果出现如下异常情况之一,则结果判定为“不符合”:

a) 导出的共享文档格式不正确;

b) 导出的共享文档出现部分乱码、错误或者无法正常显示等现象;

c) 共享文档中约束为R的章节缺失;

d) 共享文档中约束为R的章节值始终为空;

e) 共享文档中章节的基数不正确;

f) 其他不符合标准的情况。

11.2.2 单个共享文档的测试结果“符合”判定准则

在测试过程中,如果没有出现11.2.1 a)~f)描述的异常情况,则判定为“符合”。

11.2.3 综合结果判定

综合结果主要为共享文档的符合率统计,见式(5)。

11.3 医院信息平台技术规范测试结果判定准则

11.3.1测试项的测试结果“不符合”判定准则

在测试过程中,测试项如果出现如下异常情况之一,则结果判定为“不符合”:

a) 平台交互服务的测试项未通过测试工具校验;

b) 性能、医院信息平台技术架构和安全性的测试项未满足相应等级要求。

11.3.2 测试项的测试结果“符合”判定准则

在测试过程中,如果没有出现11.3.1a)~b)描述的异常情况,则判定为“符合”。

11.3.3 综合结果判定

综合结果主要为测试项的符合率统计,见式(6)。

附录A

(资料性附录)

测试用例模板

测试用例模板见表A.1。

附录B

(资料性附录)

测试用例示例

B.1 数据集标准符合性测试用例示例见表 B.1。

B.2 共享文档标准符合性测试用例示例见表B.2。

B.3 医院信息平台标准符合性测试用例示例见表B.3和表 B.4。