孙芙蓉[1] 谢利民2
（1温州大学初等教育学院，浙江平阳 325400；2上海师范大学教育科学学院，上海 200234）
原刊于《外国教育研究》2007（3）
（说明：孙芙蓉，本校人文学院2000级教育硕士，现为上海师大在读博士）
摘要：“评估三角形”是美国评价基金委员会2001年在《知道学生所知道的：教育评估的科学和设计》一书所提出的一种教育评估框架，该框架由认知、观察、解释三个要素构成一个协调、联系的整体，能够为不同形式的教育评估提供普遍性的设计原则。本文具体阐释了该框架的结构和设计原则，并举例介绍了该框架在教育实践中的具体应用及其衍生框架。
关键词：“评估三角形”；框架；设计；应用；衍生框架
“评估三角形”（Assessment Triangle）经由美国的评价基金委员会（Committee on the Foundations of Assessment，下文简称委员会）在2001年出版的《知道学生所知道的：教育评估的科学和设计》（Knowing What Students Know: The Science and Design of Educational Assessment）一书提出，便在美国教育评估界产生了重要的影响，被认为是革新性的教育评估的新框架，并在实践中得到了广泛的应用和衍展。
一．“评估三角形”的框架阐释
“评估三角形”框架的提出是基于评价基金委员1998－2001三年的研究成果。在国家科学基金（The National Science Foundation）的支持下，国家研究委员会（National Research Council）于1998年1月成立评价基金委员会，其目的在于回顾和综合科学和测量方面的最新进展，并探索这些进展对于改进教育评估的意义。评价基金委员会的工作中心是发展教育评估的新的类型以更好地服务于公平的目标。经过三年研究，委员会提出关于教育评估的基本观点：
l 教育评估的目的：教育评估是一个综合的整体，其目的是为了发展教育而不断寻求测定学生如何学习的方式。
l 教育评估发展的理论基础：认知科学的进步，对于评估中重要方面的更为宽广的观念，测量科学的进步，解释复杂证据的能力的提高。
l 教育评估的适用原则：“一种类型的评估不能适合所有的情境；同时，一个单一的评估又能用于多种目的”[1](p．2)。因此，尽管在不同的情境为不同的目的使用的评估看起来是相当不同的，但是，所有的评估都具有确定的普遍的原则。其中的一个重要的原则就是评估总是从证据中进行推理的过程。
在以上观点的基础上，委员会构建了“评估三角形”的理论框架，见图1。
观察 解释 认知 图1
因为评估总是从证据中进行推理的过程，因此，每一个评估，不管它的目的如何，都依靠于三个支柱：
l 认知：指“在一个学科领域里关于学生如何呈现知识和发展能力的模型”[1](p．36)。在任何特定的评估应用中，对于手头正在进行的评估任务，都需要应用一个领域的学习理论来判断对于评估的重要的知识和技巧。
l 观察：指“允许一个人观察学生行动的任务或情境”[1](p．36)。这些任务和情境能够促进学生去说、去做、或者去创造重要的知识和技巧。评估所要求的学生加以回应的任务并不是武断的，这些任务必须细心地加以设计以支持其与学习认知模型和评估结果的推理模型的联系。
l 解释：指“对观察中获得的行动证据中进行推论的模型”[1](p．36)。解释包含了所有的用来从可能产生错误的观察中进行推理的方法和工具，它展示了来自一套评估任务的观察如何构成关于被评估的知识和技巧的证据的过程。
以上认知、观察、解释三个因素作为教育评价的三个支柱要素构成了“评估三角形”，而不管这三个因素外显的还是内隐的，最重要的是这三个要素作为评估三角形的任何一角彼此都是互相联系的，其中的一个必然依靠于其它两个，只有三个因素同步行动，评估才会有效，因此，“如果没有考虑到每一个因素，任何一个评估将不能被设计和实行”[2]。
二．“评估三角形”的设计原则
“尽管有理论和研究的引导，设计总是一个复杂的过程，包括在超出科学领域之外一系列的实际条件的限制中达成最优化”[3]。然而，尽管有着各种各样的限制条件，“评估三角形”框架则为教育评估提供了普遍的设计原则和过程：
1．认知――设计开始于认知和学习的模型
因为人类在某一领域知识和能力的认知和学习模型很大程度上决定了评估目标的推论，所以，委员会提出的评估设计不是象现有的评估那样从设定目标开始，而是以认知和学习模型为设计的起点。以下是学习模型应尽可能具有的主要特征：
l 基于一个领域的学习者的经验学习。
l 确定一个领域中新手和专家的不同的特征。
l 提供一个发展性的观点，设计从初学者到能手到专家的典型的阶数，并且指出标志性的行为。
l 允许儿童拥有理解学科内容的不同的方式。
l 能够获得一些关于学生在一个领域如何思考和学习的知识。
l 在不同的水平上设计评估以使评估能被用于不同的评估目的。
2．观察――观察情境的设计
观察情境应该被设计成便于收集证据以支持想要得到的关于学生所知道的和所能做到的相关推论。具体观察情境的设计具体包括以下方面：
l 任务设计：任务设计将关注任务的认知方面的要求（即成功的执行任务所需要的精神方面的过程和知识），而不主要关注表面的特征（比如呈现给学生怎样的任务或者要求学生回答的表格）。
l 任务难度：任务的难度应该就知识和认知过程所要求的方面做出解释，而不应该简单以统计条目的难度指数作为指标。比如，不能够简单地将回答条目的正确率作为难度的指标。
l 记录：以认知为任务设计的中心，因此，记录的关注点应该是学生理解的性质而不是信息所产生的简单的数量；而且，在许多例子中，性质能够被转换成数量模型加以记录。
l 任务装置和评估工具的配合。设计者应该仔细地建立和选择任务装置以区别学习模型中理解的不同水平和种类。
l 效度：对于测量的出的数据的真实性的解释将部分的依赖于经验性证据。
l 评估结果的报告：尽管结果报告发生在评估系统的最后，但评估设计必须从一开始就确认信息的报告方式。这里，要区分有关标准测试（norm-referenced testing）和有关判断标准测试（criterion-referenced testing）报告结果的显著的区别。前者把一个学生的成绩同标准组相比较，后者的报告同学习的模型相关联，着重描述学生学习学科内容的方式和能力的不同形式。
l 公平：一个测试的公平决定于许多方面，但核心是相对效度的理念：一个公平的评估能够从人和人、小组和小组中产生可比较的有效的推理。考虑公平性的一种方式是在设计评估时考虑个体学习者的所受教育的历史。
3．解释――两种解释方式
目前关于评估有两种解释方式：无条件解释和条件性解释。根据学习的认知的观点，委员会更提倡条件性解释。
l 无条件解释：在无条件解释中，解释者不依靠他们关于被检查者背景的任何信息。这种方法只有以下两种情况下才能合理地工作：第一，学生和任务之间几乎没有独特的联系；第二，有充分多地任务能够有助于超越所有的关联。这种评估的缺点是排除了有关学生教育历史的相关知识。
l 条件性解释：在条件性解释中，观察者或者记录者拥有学生教育背景的信息，从而这种信息影响了解释。条件性解释的方法又分为三种：第一种方法是观察者影响了观察的背景或条件；第二种方法是从学生的成绩中提取信息以获得关于学生背景性的信息；第三种方法是让学生根据他们自己的新区、力量和背景在评估任务中进行选择。
三．“评估三角形”在教育实践应用及框架拓展
评估的目的是为了“教育和发展学生的表现，而不是检测它们” (Wiggins, 1998)[1](ｐ．221)，人们将能从每一个评估情境中获得重要的、有用的信息，而评估的信息也应该被用来做出与课程和教学有关的的决定，从而最终促进学生的学习。因此，当委员会基于认知和测量科学的最新发展构建了“评估三角形”作为教育评估的基本框架，并强调评估与课程、教学的关联时，这种新的教育评估框架便迅速为教育实践所接受，被认为是教育评估设计的理论基础，在实践中得到了广泛的应用，一些大型的教育评估项目并对框架进行了改进与拓展。
（一）“评估三角形”在教育实践中的应用
委员会于2001年提出“评估三角形”框架之后，近五年来教育界对“评估三角形”的研究大致可分为两个方面：一方面是进一步对“评估三角形”的探讨和研究：如《知道学生所知道的》一书的第一作者James W. Pellegrino（2001，2002）进一步阐述了“评估三角形”框架对传统评估的挑战[2]，认为“评估三角形”有效联系了课程、教学、评估的内在关联[4]；Joanne Carney探讨了电子档案袋在“评估三角形”中的应用和作用[5]；Desirée Joosten – ten Brinke等（2005）在力求综合传统评估和新型评估的基础上构建教育评估的综合框架，他们把“评估三角形”作为新型评估的代表，认为这种评估框架是基于对人类怎样学习、知识和知识结构怎样发展及它们怎样与能力评估相联系的深刻认识[6]。另一方面则注重“评估三角形”在教育实践中的应用，许多教育评估研究都把“评估三角形”作为评估设计基础框架来解决教育中的具体问题，如：Jim Richardson以“评估三角形”三个纬度为基础来探讨概念目录的基本要素[7]；Tracy W. Smith等（2005）将“评估三角形”作为检查学生学习深度和国家教师证书之间的联系的基础框架[8]；David C. Webb探讨了“评估三角形”在课堂评估中的具体作用[9]等等，以下，以Amelia Wenk Gotwals 和 Nancy Butler Songer关于生物多样性的儿童探究项目（The BioKIDS: Kids Inquiry of Diverse Species project，简称BioKIDS）的评估[10]为例，说明“评估三角形”在教育实践中的具体应用：
例： The BioKIDS项目的评估
BioKIDS项目分属探究的原则性评估设计（Principled Assessment Design for Inquiry ，简称PADI）项目，研究目的是为科学探索评估任务的标准、实施和记录提供一个支持性框架。该研究以“评估三角形”为评估设计框架，根据“评估三角形”的认知、观察、解释三角提出了项目研究的中心问题：
l 什么是BioKIDS/PADI评估系统的认知框架？
l 这种认知框架怎样转化为能够得出观察探索性知识的任务？
l 观察结果的解释能够告诉我们的关于学生探求和内容知识的评估系统的预测性和系统性的性质有哪些内容？
根据这三个问题，BioKIDS/PADI项目构建了基于“评估三角形”的项目评估结构图，见图2。研究结论认为，根据该项目评估结构图所构建的评估系统能够对构建科学探究评估起到指导作用。
图2：基于“评估三角形”的BioKIDS/PADI项目结构图
|
“评估三角形”(Pellegrino et al.,2001) |
PADI/BioKIDS |
|
认知：关于学生在一个学科呈现知识和发展能力的一套理论 |
社会建构理论为科学性探究和与探究相关联的复杂的推理和知识提供了基础性的学习理论。特别是BioKIDS项目所强调的知识、技巧和能力（KSA）关注了PADI的三个设计模式：“从证据中构建科学的解释”、“解释数据”和“做出假设和预测”。 |
|
观察：关于能够促进学生说、做或创造重要知识、技巧和能力的各种任务或情境的一套理论 |
我们已经开发了一些《内容探究模型》，描述了在评估任务设计中指导我们的内容和探究的两个方面的各种复杂水平。这些模型提供了一个组织系统以总体勾画能够促进学生论证他们对科学探究兴趣不同纬度的理解的那些任务的组成部分：明确地叙述基于证据的科学的解释；分析数据，构建假设和预测。 |
|
解释：解释从观察收集来的证据的一套假设或模型和用来从观察中推理的所有模型和工具 |
关键词和题目编码提供了关于学生学习产品的观察的解释模型。附加的，传统的测试理论比如条目回答理论（Item Response Theory ，简称IRT）也将被用来解释从探究推理纬度得出的任务的观察结果：“从项目证据中明确地描述科学的解释”，“解释数据”，和“做出假设和预测”。 |
（二）“评估三角形”衍生框架举隅
在应用“评估三角形”实践过程中，一些教育研究者根据不同的教育评估项目的需要在实践操作中对“评估三角形”进行了改造，构建了新的评估框架，这些框架可以视为“评估三角形”的衍生框架，呈现了“评估三角形”和教育评价良好的发展趋势。以下以 BEAR评价系统的评估框架和“评估正方形”框架为例进行简要说明。
衍生框架1：BEAR评价系统的评估框架[11]
伯克利评价和评估研究（Berkeley Evaluation & Assessment Research，简称为BEAR）评估系统是一个关于发展中评估的综合性的方法，该评估为与课程的认知性和发展性目标的相关学生学习提供了有意义的解释。该评估系统以指导评估的四个主要的原则为基础，包括框架构建的四个基础，从而构建了与课程目标和教学活动相一致的有意义的评估工具。
四个主要原则：
l 评估应该基于学生学习的发展性目标。
l 所教的内容和所评估的内容必须明确地相联系。
l 教师是评估数据的管理者和使用者。
l 课堂评估必须支持效度和信度的合理标准。
框架构建的四个基础：
l 构建图
l 项目设计
l 结果空间
l 测量模型
BEAR的四个原则同“评估三角形”相关联；四个基础又同“评估三角形”相对应，形成了以“评估三角形”为原型的新的框架（见下图3），从而实施了BEAR评估系统的四个原则。
衍生框架2：“评估正方形”框架[12]
Richard Shavelson 和 Maria Araceli Ruiz-Primo共同写作了《评价评估学习的新方法》一文，目的在于提供一个评价认知要求的框架以解释关于成绩评定的解释和为科学成绩证据的可靠性提供证据。作者们明确说明本框架是接受了“评估三角形”的思想并加以改进，构建了“评估正方形”的评估框架，该框架由紧密联系的四角构成，四种分析方法彼此互相反馈，形成了完整的评估框架。见图4。
“评估正方形”的四角：
l 建模：关于所测量内容的操作性定义。
l 评估：得出、获得和记录行为的系统过程。
l 观察：根据任务收集和总结行为。
l 解释：根据对建模的评估从行为中推论。
四种分析方法：
l 概念分析：从建模定义中确定任务和回答的领域。
l 逻辑分析：关于由任务引起的学生行为和反映与模型一致性的逻辑证据。
l 认知分析：有任务或回应引起的认知活动的经验性证据。
l 建模 解释
数据和/或定性分析：将定量或定性的证据用于对计划中的评估解释。
合理的推理？ 图3 图4 项目设计 结果空间和 测量模型
概念分析 逻辑分析 认知分析 数据和/或定性分析 评估 观察 构建图
参考文献：
[1]Pellegrino, J., Chudowsky, N., & Glaser, R. (2001). Knowing what students know: The science and design of educational assessment[M]. Washington, DC: National Academy Press，2001
[2] James W. Pellegrino.The Challenge of Knowing What Students Know［EB/OL］. http://bear.soe.berkeley.edu/measurement/docs/Pellegrino_1_1.pdf, 2006-3-30
[3] The Foundations of Assessment[J]. Measurement: Interdisciplinary Research And Perspectives, 1(2), 103–148
[4] James W. Pellegrino.Understanding How Students Learn and Inferring What They Know: ［EB/OL］.Implications for the Design of Curriculum, Instruction and Assessment. http://www.evl.uic.edu/moher/523/docs/Pellegrinopaper.pdf ,2006-3-30
[5] Joanne Carney. The Role of Theoretical Knowledge in Electronic Portfolios［EB/OL］.
http://it.wce.wwu.edu/carney/Presentations/SITE04/SITE04TKnowpaper.pdf,2006-3-30
[6] Desirée Joosten – ten Brinke*, Jan van Bruggen, Henry Hermans, Ignace Latour, Jan Burgers, Bas Giesbers & Rob Koper. Running head: Educational Model For Assessment ［EB/OL］. http://dspace.ou.nl/bitstream/1820/559/1/assessment+model_earli+2005.pdf, 2006-3-30
[7] Jim Richardson. Concept Inventories: Tools For Uncovering STEM Students’ Misconceptions［EB/OL］.http://www.aaas.org/publications/books_reports/CCLI/PDFs/02_AER_Richardson.pdf ,2006-3-30
[8] Tracy W. Smith, Belita Gordon, Susan A. Colby & Jianjun Wang. An Examination of the Relationship Between Depth of Student Learning and National Board Certification Status ［EB/OL］. http://www.news.appstate.edu/releases/091905NBPTS%20Manuscrip.pdf ,2006-3-30
[9] David C. Webb, Classroom Assessment as a Research Context:Variations on a Theme of Pedagogical Decision Making ［EB/OL］. http://www.icme-organisers.dk/tsg27/papers/00_Overview_Webb_fullpaper.pdf ,2006-3-30
[10] Amelia Wenk Gotwals and Nancy Butler Songer. The Symbiosis of Cognition, Observation, and Interpretation in an Assessment System for BioKIDS［EB/OL］. http://padi.sri.com/downloads/aera/2005/symposium1/papers/SongerBioKIDS.pdf, 2006-3-30
[11] Cathleen A. Kennedy .The BEAR Assessment System: A Brief Summary for the Classroom Context ［EB/OL］. http://www.icme-organisers.dk/tsg27/papers/00_Overview_Webb_fullpaper.pdf,2006-3-30
[12] Richard Shavelson and Maria Araceli Ruiz-Primo，Evaluating New Approaches to Assessing Learning［EB/OL］. http://www.cse.ucla.edu/reports/R604.pdf, 2006-3-30
Research on “Assessment Triangle” in America:
Framework, Design and Application
Sun Furong1，2 ，Xie Limin1
(1 College of Education and Science, Shanghai Normal University, Shanghai ,200234；
2 Department of Elementary Education, Wenzhou University, Pingyang County, Zhejiang Province,325400)
Abstract: As a kind of framework of educational assessment, “Assessment Triangle”, in which three elements—cognition, observation, and interpretation—must be explicitly connected and designed as a coordinated whole, was put forward by American Committee on the Foundations of Assessment in Knowing What Students Know: The Science and Design of Educational Assessment in 2001 and provides common design principles for various educational assessments. The structure and the design principles are illuminated and the applications in practice and the derivative framework are also illustrated.
Keywords: “Assessment Triangle”; Frameworkl; Design; Application; Derivative Models
is there a english abstract of this article. please reactio to ignace.latour@cit