软件质量守护――测试管理

饺子

steplv

前言：软件迅猛发展凸现软件测试问题


随着软件业蓬勃发展，各种软件需求纷繁而来，在潮起潮落的IT洪流中，软件项目越来越凸现大型化、复杂化的发展趋势。几十人上百人的开发团队、成千上万的模块与接口、跨地域、跨系统的使用用户等情况早已屡见不鲜，所有这些，对项目质量管理提出了更高要求，如何满足各方需求，做出更好的软件系统？测试管理逐渐成了大家目光的焦点。


软件的质量靠什么，靠管理、靠各个软件过程的严密配合。但勿庸置疑，质量的守护是靠测试。它就象一只看门狗，认真守护着软件质量这个“家”。

软件测试的重要性



测试是什么？测试就是对项目开发过程的产品（编码、文档等）进行差错审查，保证其质量的一种过程。


软件业的迅猛发展也就是近几十年的过程，时间虽短，但许多误解似乎已根深蒂固，对测试的偏见也是如此。“软件的重点在于需求、在于分析、在于设计、在于开发，而测试，容易，没什么技术含量，找一些用户，对照需求尽力去测就行了；有时间多测点，没时间就少测点。”这种看法在许多项目经理、软件负责人的心中固守着，难以改变。


这种观念的结果有目共睹，是什么？很简单，是大量软件BUG、缺陷的“流失”，从测试人员手中悄然而过，流失到用户手中，流失进项目维护阶段。随之而来的，便是用户无休止的抱怨、维护人员无休止的“救火”、维护成本无休止的增加。这是软件人员的梦魇！


恶梦总有醒来时，经过无数教训的重击，在不堪回首而不得回首的经历中，软件业的管理者发现：是他们错了，软件测试是不可忽视的。


“所有这些问题，假如在项目中测试到的话，便不会有造成不可收拾的结果了。”――人们终于意识到测试简单而纯真的真谛。


软件测试





软件测试从直观上来讲是对测试对象进行检查、验证，似乎很简单，但实际不然，它是由许多处理环节构成的。根据测试目标、质量控制的要求，它被划分为以下各类环节（如下图），并被设置了不同的准入、准出标准。



测试的主要过程及活动如上图所示，内容一目了然，在此就不一一详述了，只希望通过对测试重点问题、关注热点的介绍，帮助大家对测试管理有一个总体的把握。


上一篇：总结：软件缺陷分类列表
下一篇：Fine Art of Writing a Good Bug Report

饺子

测试方式中普遍存在的问题与点评



谈到测试，我们无法回避的是当前软件过程普遍存在的测试问题：

1、
手工过多，缺少测试工具，自动化测试方式缺失。


传统的项目测试还是以手工为主，测试人员根据需求规格说明书的要求，与测试对象进行“人机对话”。随着软件业的不断发展及软件规模的扩大，这种测试的弊端日益明显：

· 大量的手工使项目人力成本、沟通成本居高不下；

· 人工操作的低效率使项目耗时增加，带来进度风险；

· 人员素质及其他不确定因素会影响手工测试的结果，导致差错率的增加。

· 在测试过程中，需要对测试案例库进行统一配置管理，项目规模的激增使手工管理案例库的难度日益加大，尤其是在需求变更、回归测试频繁发生的时候。


从古到今，当生产率阻碍了生产力的发展的时候，必然会引入更高级的生产工具及方式。项目测试也是这个道理，引入工具，引入自动化测试及管理，是项目测试的一大趋势。

2、
缺乏文档测试、检查。


文档是项目的重要产品之一，产品需求、功能分析、架构设计、详细设计、用户手册、维护手册等等，对于项目的测试、上线、维护等过程起到至关重要的参考、指导作用，所以它们的质量应该是项目重点关注点之一。令人遗憾的是，许多软件项目对于文档的重视只停留在口头上，“编码第一”的观念似乎根深蒂固。


随着需求不断变更、补充，业务、技术人员忙于应付，无法腾出精力来进行文档内容的修改及完善，往往是将包含需求变更内容的工作联系单往需求文档后一附了事，而不去更新需求与其他相关文档；另一方面，项目变更管理还不够完善，管理重点往往集中于开发，而轻视文档质量管理，未留出充分的文档更新时间，导致文档更新严重滞后于编码进度。为保证文档质量，必须定期进行文档测试，但测试要花成本，项目高层不愿意付此代价。


文档若可读性低，便会影响用户的理解；若与编码不一致，便起不到参考作用，编码测试就没有可靠的测试依据。路都看不清楚，怎么往前走呀？所以，强烈建议进行文档测试，并将其置于测试管理的首位。


当前文档测试的方法没有什么特别的形式，还缺乏测试工具支持，通常是通过静态审查方式――“走查”来进行的，主要查看文档的可读性，内容真实性、可靠性、全面性。另外，在项目里程碑时期召集相关领域专家对重要文档进行集中审核，也是一种检查方式。

3、
单元测试应引入交叉测试方法；


单元测试是对软件基本组成单元进行的测试，测试对象是软件模块。通常，单元测试是由开发人员来完成，而且往往是各人测各人的。这存在问题隐患。


为什么呢，技术人员是软件模块的制造者，自己来测自己的软件的话，角色便从制造者变成了审查者，而前一个角色的目的是为了保证软件正确，后一个角色的目的是为了发现更多的缺陷，让一个人同时来扮演两种目的不同的角色，好比让他既当裁判员又当运动员，怎么能做好呢？
解决方法通常有两种，一种是：由测试人员来进行单元测试，这种方式要求测试人员要有较高的软件技术知识；另一种是：将软件人员分组，在模块开发告一段落时进行交叉测试，这种方法只需要测试者了解被测方的软件需求，不需要另外的知识培训，而且测试出发点较为客观，所以被较普遍的推广使用。

4、
测试在开发基本完成才启动；


在传统的瀑布型开发模式中，软件测试位于编码阶段之后，是作为一个独立阶段存在的，许多人便一刀切地认为应该将所有的测试工作在编码完成后再开始。这个观点要不得，原因有二：
首先，若将测试工作细分，有许多工作是可以提前先期执行的，如：需求书与设计书的学习、测试计划的制定、测试人员的培训、测试脚本的建立、测试资源的搭建、测试模板的创建、测试工具的选择等等，都是可以与其他阶段并行处理的，这将大大缩短项目开发时间，为测试提供充分的时间保障，提高测试质量。


其次，软件缺陷发现的越晚，修改、补救所耗费的成本越高。引用Boehm在《Software Engineering Economics》一书中的话――“平均而言，如果在需求阶段修证一个错误的代价是1，那么，在设计阶段就是它的3－6倍，在编程阶段是它的10倍，在内部测试阶段是它的20—40倍，在外部测试阶段是它的30－70倍，而到了产品发布出去时，这个数字就是40－1000倍。”由此可见，测试目标的最佳定位应该是：在错误第一次出现的时候就捕捉到它。所以，在尽可能的情况下，测试越早展开越好。


在项目的各个进行阶段，都有不同的项目产品产生，他们质量的好坏，对后续开发影响重大，所以，现在国际上比较流行的做法是：将测试融合到各个开发环节中去，尽早测试。

5、
测试案例、测试方案的重用率低下。


传统的测试过程，测试管理不严密，测试人员未建立完整的测试库，未将测试案例、测试程序、测试方案进行有效保存，等到回归测试时，相关测试程序等往往已不知所终，无处可寻了；即使能找到这些程序、案例，可往往因为回归测试过于频繁、项目期限日益迫近，已经没有时间余量来修改、完善这些程序及案例，只能凭借经验、记忆及技术人员的口述对程序修改过的地方草草重测一遍而已，缺乏正规化的测试过程，造成测试的虎头蛇尾。

正常的测试案例使用方式如上图，测试设计阶段，相关测试设计人员会对测试对象进行了解、分析，为保证测试顺利进行，保证测试覆盖尽量多的测试对象，会设计测试案例、测试方案，在测试期间进行使用；测试发现错误时，软件技术人员会根据测试的缺陷反馈结果及技术人员的软件修改信息对测试程序进行修改，完毕后再进行回归测试。

饺子

6、 测试人员素质低，缺乏相关知识培训。
   项目管理人员对测试存有偏见，对于测试的重要性认识不足，导致其严重忽略测试人员的选拔和知识培训。许多软件项目让软件用户或新招收的技术人员来完成测试工作，他们认为测试人员的工作很简单，就是技术人员让测什么就测什么，它基本是一个动手不动脑的工作。
   这样做的后果进一步导致了测试工作的无序和混乱，测试过程缺乏计划性，测试人员缺乏技术能力，缺乏对架构的了解，相关素质的缺失使他们成为技术人员的附庸。测试对于他们来说，是一种枯燥的“手＋眼”式的工作，他们唯一渴望的，是将无聊的测试尽快完成，从而远远的逃离。这样的测试结果可想而知。
   其实，软件工程对测试人员的素质要求是很严格的，比如：要有相关计算机知识背景、具备软件工程基本知识、熟悉项目编程语言、熟悉项目技术架构及需求内容、工作有责任感、独立分析能力及团队精神等等。真正规范的软件项目对于测试人员的要求是不会低于技术人员的，而且会为测试人员提供进一步的知识培训机会，以应对各种项目的复杂情况。

    7、 测试进度的错误估算。
   在项目开发中，领导为督促测试的进程，往往会让项目组汇报工作进度，了解已经完成的工作占比，从而对工作进度做出判断。我对这种工作方式完全拥护，只是觉得这种方式还有不足。
测试进程不是简单的1＋1过程，不能武断地认为“我用8天干完了80％的工作，那么，剩余工作便能在2天内干完”。著名的Pareto80/20规律告诉我们：测试发现的所有错误中的80％很可能集中在20％的程序模块中，另外20％很可能集中在80％的程序模块中。
   所以，没有对测试对象认真分析的基础，单凭工作完成数量而对工作进度做出的的判断往往是错误的。
   我认为，“工作实际进度＝工作完成量占比＋测试对象的错误占比分析”才是一个较合理的测试进度估算方式。

    测试新思路：
   项目的开发风险来自于对需求的误解，来自于设计与开发过程及产品的缺陷，只有尽早发现这些缺陷，才能降低并控制项目风险。基于这种思想，软件业出现了一些新的测试思路，主要有二：

   1、测试驱动开发（Test-DrivenDevelopment，简称TDD）。这种测试思想被最近流行的XP（Extreme Programming）极限编程方式所大力提倡。它的基本思想是，通过测试来为编程做指导，在某个要开发的需求对象明确之后，在编码之前，先进行相关测试代码（测试代码的内容和需求规格说明书描述是相同的，有人把它称为“可执行的需求规格说明书”）的编写工作，完成之后针对测试代码进行编程，然后再用测试程序对开发代码进行测试，验证其正确性，若程序通过了测试，就说明它是符合需求规格说明书要求的。周而复始，通过这样的过程，开发进程得以层层深入，直到开发完成。而这时单元测试也基本完成了。
   这种测试方式的最大的好处是，尽早地发现设计、开发中存在的问题，避免传统开发模式中的“测试过程中发现代码不能满足需求而导致的大量返工”。降低项目风险；同时可以尽早地将“半成品”展示给客户，使客户对需求进行验证、补充及完善，另外测试代码的表达方式相对准确、无二义性，可以降低因需求理解错误而导致的项目风险。

    2、迭代测试。这种测试是IBM所推崇测试方式之一，它从迭代式开发模式演变而来。在迭代开发模式中，每个迭代都包含需求、设计、编码、集成、测试等过程。在每一次迭代完成之后，便会开始新的迭代过程。通过一次次迭代的累进，系统会增量式集成一些新的功能，直至整个系统功能的完成。其中，每个迭代周期的测试工作由两方面内容构成：
   · 对当前迭代周期产品的增量测试。
   · 对前迭代周期已完成功能的回归测试。
   随着迭代周期的累进，测试工作内容随之不断变化。早期迭代测试重点在于新功能的测试，后期迭代测试重点在于累积功能的回归测试。
   有的人不喜欢XP编程的开发方式，认为其没有明确的阶段性划分，不利于计划管理，模式过于灵活，不好掌握。迭代式开发模式为这些人提供了新的选择。这种开发方式继承了瀑布式开发模式的优点――全面、严谨、有计划性、易管理，更重要的是，这种模式将测试工作分布到每个迭代周期中，使测试工作提前进行，从而使将发现软件缺陷的周期提前，大大降低软件风险及开发成本。

    测试过程的衡量

   测试过程在不断地改进，但效果如何，如何来衡量测试的效果呢？我们需要引入一把尺子，一个度量标准，这样才能把握测试过程的改进方向。那么，怎样来收集数据，如何来度量？这是我们长久以来一直困惑的地方。
   我们不妨借助“他山之石”来想想办法，CMMI是当今国际流行的软件过程衡量模型，它在这方面是有自己的独到之处的：

   1、 面向全局。CMMI的测试度量面向的不仅仅是测试过程的改进，测试效果的加强，它面向的是整个开发过程，并始终将质量监督放在工作首位。比如，它度量工作产品规模（例如代码行数），度量工作量和成本（例如人工小时数）。我们从中搜集的数据对整个开发过程的改进都有指导作用。更高的起点可使我们避免项目管理改进过程中常见的“头痛医头、脚痛医脚”毛病。

   2、 建立度量数据库，从而对搜集的数据、分析的方式及结果进行完整、规范的保存。这个数据库面向的是软件开发过程的持续改进，它的数据是可复用的，可供多个项目参考使用，不随当前项目的结束而消失，而是会作为历史信息持续保存，从而为测试及其他软件过程的改进提供更客观、更全面的度量数据。

   3、 关注度量、分析过程的改进。度量过程是为了对测试及其他软件过程的改进提供参考依据，它自身运作方式的合理性直接会影响度量结果的准确性。CMMI避免了“灯下黑”现象的出现，它没有忽略测量分析度量过程的改进，它会定期召集受影响的受益者一起审查初始分析结果，总结本过程运作中遇到的经验教训，从而对度量过程方式进行改进，保证度量结果的正确性，可参考性。
   CMMI度量方式的优点往往是我们所忽略的，我们应尽力学习它的这些长处，这对软件测试过程的改进会很有帮助。

    结束语

   测试很重要，它是检验开发结果是否接近预期目标的重要手段，但我们应清楚地认识到：它毕竟只是一种信息反馈过程，作为软件质量的守护者，它可以发现缺陷，但无法避免缺陷的发生，我们不能将软件质量的安危都押在测试这个砝码上。

   曾看过一个比喻，还记忆犹新，它将软件开发比喻成制作一桌盛宴，项目经理比作大厨，测试人员比作品尝师，用户则比作就餐者。为保障饭菜质量，上菜之前，先由品尝师对满桌的半成品、准成品逐个品尝，发现不足的地方要及时通知大厨进行改进，完善质量，直至品尝师觉得：全部的饭菜已经色、香、味俱佳，满足用户要求了，才通过审查，允许饭菜上桌，供就餐者品尝。我想说的是：饭菜质量靠品尝师的监督，但主要靠的是大厨的技术，同理，软件的质量则是靠各个项目管理过程的互相配合及项目经理的整体控制和把握，测试只是其中的一份子。所以，请不要将软件的质量都交给测试过程来承担，那样将是“生命不能承受之重”。

酷小孩

学习了~~~:lol

lee_huo

随着用户质量意识的提升,软件企业自身也越来越认识到软件质量的战略意义.但相对于软件开发而言,软件测试还不为众人所了解.很多开发人员,包括从开发骨干中提拔出来的项目负责人,由于缺乏软件测试的知识的实践经验,对软件测试的认识还有许多误区.如果能在国内企业中把这些误区都能扫清了，对测试来说也是一大进步。
如果发布出去的软件有质量问题,那是软件测试人员的错.
软件测试技术要求不高,至少比编程容易多了.
软件测试随便找一个人就能做.
有时间就多测试一些,来不及就少测试一些.
软件测试是测试人员的事,与开发人员无关.
设计-实现-测试,软件测试是开发后期的一个阶段

酷小孩

里面提到的文档测试是目前很多公司都没有做的，学习了

大男子主义ヾ

我了个去，顶了

梦涂黑

很有见地的探讨，先收藏着~

原野

非常好，顶一下占位编辑

︶￣兮忆

很有见地的探讨，先收藏着~