测试总结分析报告

上海文思创意软件技术有限公司

2003年06月27日

                                                客户确认：                 

邮编 200030

总机： 283832  Fax： 4754

目录

第一章 总论    1

1.1 项目背景    1

1.2 文档目的    1

1.3 参考资料    1

第二章 测试总结    3

2.1 总述    3

2.1.1 成果    3

2.1.2 不足    3

2.1.3 未来计划    4

2.2 缺陷分类分析    5

2.2.1 子系统 - 缺陷分布    5

2.2.2 缺陷分布 柏拉图    6

2.2.3 缺陷类别分布柱状图    7

2.2.4 功能缺陷严重级别分布堆积图    7

2.3 性能测试    9

2.4 测试资源消耗    13

第三章 测试概要    15

3.1 概要    15

3.2 测试日程安排和任务分配    15

3.3 测试过程    15

第四章 阶段总结    17

4.1 培训阶段总结    17

4.2 测试需求阶段总结    17

4.3 测试用例设计阶段总结    17

4.4 测试执行阶段总结    17

第五章 附件    19

第一章 总论

一.1 项目背景

全国计算机信息高新技术考试系统（CITT）是ATA公司为劳动部开发的一套考试系统，是目前ATA实施的考试系统中比较有代表性的一套考试系统。目前，CITT已经开始使用，在使用之中，发现了系统存在的一些问题，为了更加系统和有效地发现系统中的其它问题，ATA公司和上海文思创意软件技术有限公司合作，启动本项目来对系统进行测试。

本项目由ATA公司提出，希望通过本项目的测试，除了在发现更多的系统缺陷外，同时建立起一套较完整的测试过程规范和一套较完整的测试用例库。

一.2 文档目的

前阶段的测试工作已经结束了，测试工作产生了一些成果，同时也存在一些不足的地方，我们通过对项目进行总结，统计分析得出结论，供开发人员改善功能和界面作参考，为项目负责人提供系统评价参考，并对今后的工作提出改进建议和参考。

本文档的的读者为：

◆文思创意本项目的项目经理

◆文思创意相关领导

◆ATA公司本项目的项目经理

◆ATA公司相关领导

◆参与本项目的测试人员

一.3 参考资料

《CITT 项目进度安排》

《CITT 测试计划》

《CITT 工作任务安排》

《CITT 测试需求》

《CITT 测试用例说明书》

《CITT - 测试执行记录》

《CITT - 性能测试.》

《CITT - 系统培训阶段总结》

《CITT - 测试需求阶段总结》

《CITT - 测试用例设计阶段总结》

邓芸  《CITT 第一轮测试缺陷小结》

第二章 测试总结

二.1 总述

本项目从6月2日开始，至6月26日测试执行结束，期间划分了4个阶段：

◆基本培训

◆制订测试需求

◆设计测试用例

◆执行测试

在这4个阶段中，我们的工作取得了一些成果，同时也存在一些不足之处。

二.1.1 成果

◆建立了一套较完整的测试过程规范；

该规范以测试计划为主体，配合其它文档和模板，形成一套完整的测试过程规范。通过这套过程规范，我们可以明确地定义各个阶段及各阶段的任务，制定资源需求，可以比较准确的估计各个阶段所需时间，并控制各阶段的工作不至于陷入某个泥潭之中。

而且随着项目形式、规模的变化，该过程规范只需要根据项目情况做少量变化，主要的思想不需做太大的改变。

◆建立了一套较完整的测试用例库；

这套测试用例库基本上覆盖了各个子系统的所有功能点，并在测试执行过程中进行了补充。随着今后测试工作的开展，用例库也将不断的得到完善。

由于各考试系统的主要功能是相似的，这套用例库还可以应用到其它考试系统上，只需要根据系统进行部分地修改即可。

◆发现了系统中还存在的一些缺陷，并提出了一些建议；

通过对系统的不断了解和测试，测试人员发现了系统中仍然存在的一些缺陷，并从用户的角度提出了一些功能和界面建议。

◆培养了测试设计人员；

通过项目的四个阶段，我们的测试设计人员对考试系统的了解和熟悉程度不断加深，在测试执行阶段，已经就一些较深程度的内容向开发人员进行了了解。对她们进行进一步的培训后，就可以从更深入的角度来设计测试用例了。

二.1.2 不足

◆设计的测试用例还不够深入。

在较短的时间里，测试人员还不能完全掌握系统的业务逻辑细节，而且无法获得相应的文档资源，导致测试人员只能根据掌握的业务逻辑和程序界面功能设计测试用例，而无法针对业务逻辑的一些细节设计测试用例。

◆文档方式了测试用例库的建设和维护。

目前的测试用例都是以Word文档的方式设计、存储和管理。由于Office软件本身的缺陷，了测试用例设计的实现方式，且不利于用例的大规模复用和长久维护。如能够采用专业的测试管理工具（如TestDirector），测试用例的设计将得到更好的表现，执行更方便，测试用例的复用和管理也将更容易。

◆时间不够充分。

时间还不够充分，是本轮测试充分发挥的重要因素。在近一个月的时间里测试人员要了解、熟悉系统，制订测试需求，设计测试用例，执行完整的一轮测试，时间是相当紧张的。在每个阶段，我们以前阶段形成的文档和测试计划作为指导，加上适当的调配，都能够在不影响主要工作内容的前提下完成阶段工作。希望在以后的工作中能够有所改善。

二.1.3 未来计划

◆完善目前的过程规范。

我们将根据以后工作的具体特点，在目前的过程规范的基础上做适当的完善和调整，使其能够适应以后各种工作的要求，有效的为各项测试工作提供参考和控制。

◆完善已经建立的测试需求和测试用例库。

在后期的工作中，我们会不断完善已建立的测试需求和测试用例库，并在测试人员不断加深对系统的了解的情况下逐步补充更深入、更细致的测试用例。

◆建议适当的采用测试管理工具。

在不违犯法律法规、不侵犯商家权益的前提下，我们建议ATA公司在今后的项目中适当地采用测试全程管理工具，加强测试全过程管理，增强测试用例的实现方式，提升测试用例的复用和维护能力，有效地安排和控制各种规模的测试执行工作。

二.2 缺陷分类分析

CITT第一轮测试结束后，各子系统中已发现的缺陷和建议的汇总数据如下：

图二    子系统 – 缺陷分布比例

分析：从以上两图中我们可以看到，考前和考中部分缺陷相对较少，考后部分和网站的缺陷较多（占到总缺陷数的67％），省中心子系统的缺陷数量尤其突出，这点同项目初期“由于考后部分用户较少而没有经受足够考验，可能存在的问题较多”的说法一致，也说明在以后的测试中，这两块是需要重点关注的内容。

二.2.2 缺陷分布 柏拉图

分析：柏拉图能够根据80:20原则分析系统中的问题主要集中在哪些部分。由该图表得知，CITT所有子系统中，省中心、网站、证书管理和考场管理这4个子系统的问题就覆盖到所有问题总数的80%左右，因此在下一测试周期的执行以及下一版本的开发中，要将问题的重点放在这4个子系统上。

二.2.3 缺陷类别分布柱状图

分析：本图表明所有子系统中，功能缺陷问题多数存在于省中心和证书子系统中；省中心、网站和公共模块中则存在一些功能上的隐患，需要改进；在用户界面方面，省中心、证书管理和网站还有待提高；而在安全性方面，网站系统则存在设计疏忽或安全漏洞。

二.2.4 功能缺陷严重级别分布堆积图

分析：本图中包含这样的信息：公共模块、报名系统和证书管理系统都存在能使应用程序出错或异常退出的严重问题，这些问题亟待下一版本中优先解决；证书管理系统的功能缺陷中，大部分都会导致模块功能无法实现，因而有必要重新审视证书管理系统的开发流程；而其他几个子系统的功能缺陷中，也有大约一半能影响模块功能的运行。

二.3 性能测试

我们在两个不同环境对省中心进行了性能测试，测试了省中心在两种情况下的性能情况，获取了一些性能数据。

一、数据库中没有考生成绩记录

二、数据库中已有103200条考生成绩记录

分别在这两种情况下记录入库4300条成绩记录（100个ed包）的性能数据。

性能数据如下：

环境一，数据库中没有考生成绩记录：

环境二，数据库中已有103200条记录：

环境二，数据库中没有考生成绩记录：

以下是以一个ED包（43条记录）为单位的入库性能统计数据：

从以上的性能数据和图中可以看出：

a)数据库中已有数据量对系统性能有一定的影响

b)计算机配置对系统性能有一定的影响

c)计算机配置越低，数据库中已有数据量对系统性能的影响越大

注：一、由于在环境二的操作系统中，性能监视器没有提供Process计数器（原因不明），无法像环境一那样监测系统性能情况，因此只能计时和通过任务管理器来记录少量性能数据。

二、由于测试条件的（暂时不能提供大量不同考生的成绩记录），报表管理系统的性能没有测试。

三、由于没有提供性能需求，也没有可对比的同类系统，因此本性能测试只提供测试出来的性能数据，并做出比较简单的性能比较。

二.4 测试资源消耗

本项目所消耗的资源如下：

三.1 概要

CITT项目测试工作由2003年6月2日开始，2003年6月26日测试执行工作结束。按照计划，我们进行了一轮测试，所有测试用例已经全部在测试环境中执行完毕。

本次测试执行工作根据《CITT – 测试用例说明书》中的测试用例进行测试，并在测试过程中不断完善《CITT –测试用例说明书》。

本轮测试内容包括以下各子系统：

1、报名子系统

2、考场编排子系统

3、考场管理子系统

4、考试机部分内容（具体内容请参见《CITT - 测试需求》）

5、省中心子系统

6、证书管理子系统

7、e-testing网站的省中心和考站节点

三.2 测试日程安排和任务分配

关于各阶段的测试工作日程安排和任务分配，请参看附件：

《CITT – 项目进度安排.mpp》

《CITT – 工作任务安排.mpp》

三.3 测试过程

◆测试人员按照《CITT - 测试执行记录》中分配的执行顺序执行《CITT – 测试用例说明书》中的测试用例

◆测试人员在测试执行阶段每天将当天的执行情况填写到《CITT - 测试执行记录》

◆测试人员在测试过程中发现缺陷则填写《缺陷记录单》

第四章 阶段总结

阶段总结分为四个阶段小结：

◆系统培训阶段总结

◆测试需求阶段总结

◆测试用例设计阶段总结

◆测试执行阶段总结

四.1 培训阶段总结

参见附件《系统培训阶段总结》

四.2 测试需求阶段总结

参见附件《测试需求阶段总结》

四.3 测试用例设计阶段总结

参见附件《测试用例设计阶段总结》

四.4 测试执行阶段总结

综合本文各种统计数据及其图表，CITT第一轮结束后，我们得出如下结论：

◆问题最多的子系统 —— 省中心

◆下一测试周期需要特别关注的子系统 —— 省中心、网站、证书管理和考场管理

◆功能缺陷最多的子系统 —— 省中心

◆存在安全问题的子系统 —— 网站

◆存在严重问题的子系统 —— 公共模块、报名系统和证书管理系统

◆需要审视开发流程的子系统 —— 证书管理系统

第五章 附件

《CITT – 项目进度安排.mpp》

《CITT – 工作任务安排.mpp》

《CITT – 系统培训阶段总结》

《CITT – 测试需求阶段总结》

《CITT – 测试用例设计阶段总结》下载本文