西门子PLC模块CPU224XPCN中央控制器
程环境下的特定实例。原则上来说，案例研究是运用详细而**的方法论的结果，但是这个术语通常被更宽松地使用。虽然现象本身是独特的，描述它时，我们会希望其他情况和它足够的接近，那它才会有意义。表述清晰明确的研究问题是可信度的基础，因为如果作者不解释他们在寻找什么，那他们还能拿出什么东西让你相信呢？研究问题不需要大张旗鼓地宣告，但必须可以从概要和简介中清楚地辨别出来。
通常，研究问题是可以被清晰地辨别出来的，但是问题本身却很含糊。在这种情况下，结果要不就是也很含糊，或者会带有意外性和随机性。这类研究也许读起来很有趣，但可信度达到中等就不错了。
案例研究利用许多不同类型的数据，如研究者通过不同方法（如直接观察、面谈、文档分析以及特殊目的的数据分析程序）收集的谈话、活动、文档和数据记录。案例研究可以针对大范围的问题，如AWE流程中*大的问题是什么？AWE如何影响设计活动？它如何影响设计结果？它如何组织测试流程？等等。
在我们的AWE对比BURP的例子中，BURP可以单独作为一个案例来研究，也可以作为同一个研究的第二个案例，研究者尽其所能地匹配调查和讨论的结构。如果描述地足够具体的7
2.4 证据的类型以及它们的优缺点
让我们来用一个例子来更好地说明。想象我们正在评估一种新的软件工程技术“AWE”美妙的新方法），它被用来替代
URP”枯燥但被口碑良好的旧方法）。我们需要考虑哪种证据来决定是否采用AWE？在接下来的章节中，我们会描述常见类型的研究，并根据可信度和适用度的典型问题对每个类型进行评估。
2.4.1 对照实验和准实验
对照实验在我们需要对两种或多种条件进行直接比较时适用（如使用AWE相对于使用BURP），它基于一个或多个有可靠度量的标准，比如完成特定任务所需要的时间。这些实验在度量很棘手时也很有帮助，比如对AWE和BURP所产出的产品中的缺陷计数。“对照”意味着保持所有（除了把AWE换成BURP以外）别的东西为常量，这点我们可以直接根据工作环境和所要解决的任务来做到。对于所涉及的庞大的人为因素变量，实施对照的唯一方法是使用一组对象（而不是一个对象），指望所有的差异会在组内平均化。如果我们能把对象随机分组的话（随机实验），这种希望是被证明合理的（至少在统计意义上）。当然只有所有对象使用AWE和BURP的能力相当时，这才有意义。随机实验是能证明因果关系的唯一研究方法：如果我们只变动了AWE和BURP，那结果中的任何改变（除了统计波动）都是由这个差异所产生的。
有时候，我们不能随机分配开发人员，因为我们只能对已经存在的团体进行研究。
任何方法论都是一种镜头，研究者可以通过不同的镜头观察整个世界。但重要的是，必须承认不是所有的事物都在聚焦范围之内。对方法论的盲目追随会导致各种难堪的失误，特别是当研究者不理解方法论背后的惯例和假设时。即使存在普遍接受的方法论，研究者也不能解除责任，放弃从所需证据的角度来证明技术选择的正当性。基准测量是软件工程方法中基于集合
产出适当结果的例子。它需要根据定义非常准确的程序（或基准）来度量性能。SPEC CPU基准是一个很好的例子，不管它的名字如何，它度量了CPU、内存子系统、操作系统和高CPU使用率应用程序编译器的组合性能。它包含了一系列应用程序源码，外加如何编译它们的详细指示，以及如何运行输入并度量它们的指示。
如果基准有明确的规定和适当的应用，你就能很准确地知道基准的结果意味着什么，也就不需要慌乱地比较Sun、HP、Intel之间的结果差异。这种可靠性和可比性正是发明基准的目的，也使它成为了可信度的标志。
那基准是免费的午餐吗？当然不是！对基准证据的真正顾虑是相关性：所使用的度量是否能代表所关注的现象并适用与此。基准所包含的内容始终是一个值得关注的问题，而且常常争吵不休。SPEC CPU从这方面来说是相当成功的，但论及其他，如关系型数据库管理系统（RDBMSes）事物处理负载量的基准TPC-C，就引起了很多的怀疑。并为现象和因素之间的关系提供有根据的解释。定性研究不一定是“软的”，定量研究也不一定是“硬的”。
**研究的结果绝不会是武断的。好的科学寻求可重现的（“硬的”）结果，因为可重现的结果意味着它是可靠的，而且重现的过程使研究方法接受严格的审查。重现结果意味着重复（“复制”）各自的研究，要么在几乎完全相同的情况下（紧密复制），要么在不同但是想法类似的方式下（宽松复制）。定性研究几乎总是涉及独特的人文背景，因此很难紧密复制。然而，那不意味着研究结果不能重现；这通常是可能的。从相关性的角度来说，宽松复制比紧密复制更有价值，因为这意味着结果更具普
性。从另一个角度来说，定量研究的结果有时不能重现。比如，John Daly对继承深度的研究被三个不同的研究组复制，得出了相互矛盾的结果
总结而言，定量研究的优势是用几句简单的陈述就能描述情况，因此，有时能把事情弄得很清楚。它们的劣势是忽视了太多的信息，以至于通常很难确定结果真正意味着什么以及何时适用。定性研究的长处是它们的结果反映并展示了真实世界的复杂度。劣势是它们因此更难评估。如果不清楚如何把研究结果映射到真实世界的环境下，任何研究都难以应用于真实生活，或是因为实验范围太过狭窄，无法普及，或是因为观测的背景太过不同。
“底线”是方法必须适用于问题。关于社会背景、流程的问题，以及人们相信他们所做的事和他们真实做过的事之间的差异，需要不同形式的调查，这不是算法性能能解决的问题。
2.3 整合证据
解决证据局限性的一种方法是结合不同形式或不同渠道的证据，就是把针对同样问题的不同研究结果整合起来。梳理证据背后的原因是，如果不同形式的证据或者不同渠道的证据能够呼应的话（或者至少不相互矛盾），它们就聚集了一种“重要性”，加在一起的可信度在自己的环境中用它来确保他们没有忽视或忘记某些东西。也许，在许多问题上，我们能做到的**情