西门子PLC模块CPU224XPCN可编程控制器
据的必要。然而，在讨论这些例子之前，我先总览一下系统性文献流程。
只对系统性评审的结果感兴趣，而对系统性评审的具体流程不感兴趣的读者，可以直接跳至3.3节。这章的简介应该足够你了解系统性评审流程的严谨性，不用你多花力气去读这么多的细节。
然而，如果你是一个新的或者有经验的研究者，希望评估系统性评审的价值，那你就需要阅读下一节。它讨论了系统性评审流程中的具体步骤，并告诉你这一方法论中所固有的一些实践困难。
你可以在Cochrane协作组织的知识库中找到免费的Crowley等人对皮质类激素报告的更新[43]。这不只是为了记录历史；对那些新开始系统性评审的研究员来说，这也是一个很好的**评审的例子。
你也许会问系统性评审有什么创新。毕竟，软件工程研究者已经持续多年产出不落后于时代的报告，并且在汇报他们*新研究成果的同时，也总结了相关的工作。要回答这个问题，我们得先看看其他使用系统性评审的学科（例如，心理学、社会学和医学），它们已经找出了由于缺乏正规方法论而导致的传统评审中的无数问题。始研究在汇报他们的结果时使用了完全不同的实践方法[51][52]。
在循证软件工程的背景下，系统性评审的目标不只是为研究者提供方法论，而是影响实践。因此，我希望业界的管理者和决策者也能在这章中找到一些与他们需求相关的东西。业界*大的教训是，“常识”和专家观点不应该是决
定选择软件工程方法的唯一基础。此外，很不幸的是，不能默认地信赖个体的实证研究。面对关于采用新方法的重要决定时，决策者需要不带偏见地对所有的相关证据的概括。系统性评审恰恰提供了交付这种概括的方法。
3.1 系统性评审总览
可信的调查始于原始研究：带有与所研究问题相关的定性和定量结果的实验。一次系统性评审集合了不同独立实验的结果，有时会运用统计学的元分析。
证明系统性评审必要性的典型例子来自医学领域。在1990年，Crowley等人发布了一份关于对将要早产的孕妇使用皮质激素效果的系统性评审，其中包括一份对于12项原始研究的元分析[11]。皮质激素被认为能减少早产儿的肺部问题。Crowley等人的系统性评审确认了皮质激素的使用大幅度地减小了新生儿的死亡风险。在那个时候，皮质类激素并不是治疗早产
观测研究已经证明的一件事是：软件工程专家会收集与之相关的证据，根据它们的目的确定所需的可信程度。也就是说，如果它们在为专业音响设计数字过滤器，它们可能会做一个基于输出的对照实验，来确定软件是否产出了人耳所需的音质。如果他们正在和市场部争论使用模拟控制的客户是否有处理虚拟化接口的准备，他们可能会把一位研究员派去现场讨论“什么是客户所控制的参数”，“他们的现有系统如何运作”，“客户认为他们的任务如何”等。如果他们正在设计安全性至关重要的前端系统，他们可能会做一次客户研究来确定几个设计选择中的哪一个能**地适应人机交互。如果他们在设计安全性至关重要的后端系统，他们可能使用正式的方法来建立对特定需求的正确实现。如果他们在优化排程演算法，他们也许会对工业投
入运行基准。
如果做得好的话，*有趣的部分通常是对可推广性的讨论，因为这直接和结果的适用性相关。好的报告会同时在不同方面针对不同的推广目标领域提供正面和反面的可推广性观点。坚实且适用的结论
实证研究报告的挑剔读者们会基于他们自己对所呈证据的评估形成自己的观点，不会单纯依赖于作者在摘要和结论中提供的陈述。
如果作者的结论过分吹嘘了结果（把结果推广至没有坚固论点支撑的领域，或有甚者，基于只与研究现象有粗略联系的现象得出结论），你就更应该对报告其余部分的可信度提高警惕。你尤其应该拿起一支*粗的红笔，划掉摘要和结论，那你就绝不会在重新整理你对特定研究的记忆时依赖它们了。请记住很少有读者这样做，而所有人都需要重新整理他们的记忆。因此，很多在报告或课本中引用的研究会错误地指向夸张的结论，就像它们是真的一样。（人无完人，科学家也不例外。）
如果是另一种情况，结论看起来很有思想，明显试图在可信度和适用性之前寻找一个平衡的话，它们的可信度会加固，适用度会被*大化。这样的作者把研究的结果和限制同时放在一个秤盘上，而把所有（从文献中其他结果的角度来看）的普遍化问题放在另一个秤盘，然后告诉你他们所想的可能是正确的归纳。这样的信息是有价值的，因为作者有很多在文章中没有明显出现的研究信息，但却在判断的时候使用到了
假设有一项涉及6个不同小组和5个不同度量的研究。一些作者会用表格来呈现他们的数据，每行列出小组名字、小组大小，还可以列出针对一个度量的*大值、*小值、平均值、标准差等。表格被分成5块，每块包含6行这样的数据，总共有37行，占据半页以上的空间。当你看到这样的信息时会怎么做？你可以忽略这个表格（因此就不能细查数据），或者你可以
图针对每个度量仔细比较不同组的数据。在后者的情况中，你会在脑子里创造一副全景图，首先得想明白个体条目，然后形象化它们之间的关系。用更有趣的话说，你会掘出数据的坟墓，让它们复活，然后按照你的音乐跳舞。
我们更希望作者们保持他们数据的原样，把它们通过某种方法表达出来，帮助读者的介入：通过找到与作者想要讨论的关键问题和关系相关的直观表示，以及与表格和文本数据显示直接、清晰相关的可视化呈现。良好的数据呈现包含突出视觉效果（如，标尺、色彩），能前后一致地表达出所关注的数据。差得数据呈现所使用的可视化品质会使观众对数据的理解产生转移或模糊，比如，通过用线段连接离散数据来表达某种连贯性，或者通过在相关图表上使用不同的比例尺或者使用起始点不为0的标尺，或者通过添加比原始数据更突出的外来的元素。Edward R. Tufte有一本关于如何正确进行数据可视化工作的开创性著作[9]。透明的统计分析（如果有的话）
统计分析（演绎统计学）说的是从“信号”中分离“噪声”：把可能是从巧合或错误中得出的结果分离于从有意义的研究现象中得出的结果。运用统计的目的是降低解读结果的不确定性。但是，许多作者把统计分析作为一种威胁。他们列出所有的Alpha
案例研究（或者它不那么正式的亲戚经验汇报）描述了一个现象（通常是一系列事件及其结果）在真实