PG电子·(中国)官方网站

高考物理试题效度证据的研究

【发布日期：2016年12月18日】【来源:】【字体：：大中小】【阅读：次】【关闭】

高考物理试题效度证据的研究

欧剑雄

（福建省PG电子·(中国)官方网站福建莆田 351100）

摘要：类比《教育与心理测试标准》对考试效度证据的分类方法，建立了“试题效度”的概念，并结合具体实例进行了分析。试题的效度证据分为基于试题内容的证据、基于试题结构的证据、基于反应过程的证据、基于效标材料的证据和基于考试结果的证据五种类型。

关键词：高考物理；试题效度；效度证据

效度是用来衡量考试有效性或正确性的指标，即考试能够测出它预测特质的程度。高考作为一种选拔性考试，效度是评价其科学性最为主要的指标。^[1]试题是考试测量的基本单元，试题的效度分析应该是考试的效度分析的基础，因此笔者认为有必要建立“试题效度”的概念。

一、试题效度证据的理论分析

效度概念的发展经历可大致分为三个阶段：第一阶段为单一效度观时期（20世纪50年代之前），这时的效度仅仅被看成一个相关系数，即现在的“效标关联效度”；第二阶段为分类效度观时期（20世纪50年代至80年代中期），这时期研究者针对不同性质测验的不同方面，提出内容效度、结构效度等至少16种效度，其中具有代表性的是1966年出版的《教育与心理测试标准》第三版提出的“三分说”，即效度分为效标关联效度、结构效度、和内容效度三种；第三阶段为效度一元化时期（80年代中期至今），效度一元化重在“寻求内部解释的外部证明”，即不再寻找一个客观的标准进行评价考试的效度，而是通过搜集各种来源的证据来证明考试的有效性。^[2][3][4]1999年由美国教育研究协会、美国心理学协会和全美教育测量协会编著的《教育与心理测试标准》一书，是当今教育与心理测验领域中最具权威性的文献，书中提出根据来源的不同，将效度证据分为基于考试内容的证据、基于内部结构的证据、基于反应过程的证据、基于与其它变量之间关系的证据和基于考试结果的证据五种类型。^[5]

类比《教育与心理测试标准》书中关于考试的效度证据的分类方法，笔者将试题的效度证据分为基于试题内容的证据、基于试题结构的证据、基于反应过程的证据、基于效标材料的证据和基于考试结果的证据。各种类型的效度证据界定如下：

1、基于试题内容的效度证据

基于试题内容的效度证据主要是判断试题是否体现了高考物理的考试目的及测量目标，具体可分为以下三个层面：

一、试题所考查的知识范围和要求掌握的程度是否符合课程标准、考试大纲和考试说明。课程标准、考试大纲和考试说明是高考考试命题的基本依据，它们规定了考试评价哪些基本素质以及评价的基本标准。只有符合课程标准、考试大纲和考试说明的试题才能实现对考生培养目标达成度的检验。偏离培养目标的试题是无意义的，相应的考试结果也是低效度的。

二、试题是否体现了对物理学科能力的考查。高考的根本目的是为高等院校选拔基础较好、能力较强、具有学习潜能的考生。只有注重能力考查的试题才能鉴别考生能力的高低，在此基础下，考试结果才能作为对考生进行决策的依据。

三、试题是否体现了对考生科学素养的考查，对培养考生实事求是的科学态度、形成正确的价值观是否有利。高考的功能首先是选拔，但各种错综复杂的原因使得高考对中学教学有着不可低估的“指挥棒”作用。^[6]高考试题体现对考生科学素养的考查和科学态度、价值观养成的引导，有利于发挥考试评价促进发展的功能，促进中学教学落实课程标准的目标和理念。

2、基于试题结构的效度证据

基于试题结构的效度证据主要是判断试题本身的结构是否合理、试题所考查内容的相关性是否合理。

试题本身的结构是否合理主要从试题的选材、图文表述、提问方式、参考答案及评分标准等是否有利于考试目标的实现来判断。符合试题立意是选材的基本要求，图文表述清晰、明确、规范是命题语言的基本要求，科学的参考答案、合理的评分标准是影响考试质量的关键因素。这些因素共同构成高效度试题的基本前提。

试题所考查内容的相关性是否合理主要从所考查的各知识点、各学科能力之间是否有利于综合实现考试目标，某一知识点或某一种能力的考查是否会影响对其他知识点或能力的考查来判断。高效度的试题所考查的不同内容之间的相关性不宜过高，也不宜过低。相关性过高，如只考查某一两个知识或某一两种能力，就容易造成考试分数与考生能力之间的一致性差，也不利于从不同角度考查考生。相关性过低，即同一试题所考查的不同知识、不同能力之间是分散无联系的，这样的试题不利于考查考生综合分析的能力，与高考考试目标相悖。

3、基于反应过程的效度证据

基于反应过程的效度证据主要是判断试题解题过程可提供的构念（考生在解决某一问题时所必须具有的某些特定的心理特征如理解能力、推理能力等）与考生实际解题过程中的表现的相符性关系。

考试的目的是根据考生在考试中的表现推测考生的心理结构或能力，进而预测考生在非考试环境下的表现或行为。人只有在特定的环境下才能表现出某种心理结构或能力。命题时我们预测，试题的题干能够引发考生表现出某种心理结构或能力。^[7]考试结束后，我们需要对考生实际解题过程进行调查、分析，以验证这种预测是否有效。只有在试题能有效地引发考生表现出考试目标所希望其表现的行为时，考试结果才能与考生的相应知识、能力相对应，这样的试题才可能具有较高的效度。

4、基于效标材料的效度证据

基于效标材料的效度证据是指试题对于处于特定情境的个体行为进行预测时的有效性。

对于高考物理而言，我们认为分数高的考生应该具有较强的物理学科能力。高考物理考试的效标通常选择大学第一学年或第一学期某几门课程的学业成绩，研究高考物理分数与大学学业成绩的相关性，是从效标材料角度验证高考物理考试效度的基本方法。

对于一道试题的效度研究，上述方法显然不再适用。高考作为一个大规模的统一考试，其科学规范的试题命制与施考确保了考试的效度。因此，可以将考生的单科成绩作为效标去研究其中某一道试题的效度。

5、基于考试结果的效度证据

基于考试结果的效度证据主要是指对考试的评价、解释以及使用所带来的实际和潜在的后果的证据和理论说明。具体而言就是考试对各宏观或微观对象的影响，如社会对高考的评价、政府的决策和高考的改革、课程标准及教材的编写、考试部门的命题、高校的录取工作、学者的研究、教师的教学、学生的学习等。

就一道试题而言，试题的评价及其对教学的导向应该是此方面研究的重点。高效度的试题应该能够积极引导中学实施素质教育，引导中学物理教学注重培养学生的问题意识、注重培养学生独立分析问题和解决问题的能力、注重培养学生的科学探究能力和创新精神。^[6]

二、试题效度证据的实例分析

下文以2013年浙江省高考物理第25题为例，具体分析试题效度证据理论的应用。

1、基于试题内容的效度证据

2013年浙江省高考物理第25题（以下简称“例题”）所考查的知识内容有牛顿运动定律、动能和动能定理、功率、电阻定律、焦耳定律、匀强磁场中的安培力、安培力的方向等，其中电阻定律、焦耳定律、安培力的方向三个知识点为I级要求，其余为II级要求。^[8]从知识范围来看，例题与考试说明的要求吻合度很高，未出现超纲知识；从要求掌握的程度来看，例题与考试说明的要求基本吻合。

从能力考查而言：例题第（1）小题的解答中，考生需要理解安培力、安培力的方向的确切含义和表达式，并能够简单应用，此即理解能力；第（2）小题的解答，考生需要根据已知的知识（安培力的方向、牛顿运动定律）和相关生活经验，对物理问题进行逻辑推理，得出正确的结论，此即推理能力；第（3）小题的解答中，考生需要对题目所给问题（电功率如何分配）进行具体分析，弄清其中的物理情境，找到主要因素及有关条件，并把一个复杂问题分解成几个简单问题，进而应用物理知识综合解决问题，此即分析综合能力。由此可看出例题较好地体现了能力考查为首的考试目标。

科学素养包括以下四个方面：科学知识与技能，科学探究（过程、方法与能力），科学态度、情感与价值观，对科学、技术与社会关系的认识。^[8]对知识与能力的考查属于对科学素养中的“科学知识与技能”和“科学探究”的考查。例题以21世纪最具发展前景的船舶推进方式之一的“超导磁流体推进”为试题背景^[9]，体现了试题对科学素养中的“科学态度、情感与价值观”和“对科学、技术与社会关系的认识”的关注，但这并非对这两方面科学素养的考查。因此可以说，例题对考生科学素养的考查仅限于低层次的“科学知识与技能”和“科学探究”。

例题参考答案中，将专用直流电源所提供的电功率分成“牵引功率”、“海水的焦耳热功率”和“单位时间内海水动能的增加值”三部分显然是不科学的。除了上述三部分外，通道内壁面与海水的摩擦、海水紊流、强磁场粘性影响、海水电解、电解产生的气泡、水温梯度等都会损耗功率，且与“单位时间内海水动能的增加值”相比这些功率并非可以忽略不计^[9]。这样不科学的参考答案显然不利于培养考生实事求是的科学态度，不利于考生形成正确的价值观。

2、基于试题结构的效度证据

从试题的选材来看，例题所涉及的物理情境对所有的考生而言都是陌生的。这一方面有利于保证考试的公平，提高考试的信度——信度高是效度高的必要条件；另一方面也能凸显对考生应用物理知识解决实际问题的能力的考查，体现了能力考查为首的考试目标。因此例题的选材对于效度的提高是有益的。

从图文表述来看，清晰无歧义的表达、恰当的图表都是效度高的必要条件。例题在此方面是略有瑕疵的，详述如下：例题中给出的直线通道的横截面积处处相等，这是不合理的。一方面由于海水在出口处和入口处的速度不同，如果出、入口横截面积一样大的话，将产生较大的海水紊流，因此实际设计的通道出入口的横截面积是不一样的^[10]；另一方面，科学素养高的考生能够意识到入口处和出口处的海水流量是相同的，在解题过程中他们就容易陷入不知该用入口处还是出口处的海水速度来计算海水流量的困惑。这样的瑕疵显然会降低试题的效度。

从提问方式来看，例题第（1）、（2）小题的提问表述清晰、指向明确，这是高效度试题的基本要求。但是，例题第（3）小题的提问方式则欠妥。如上文所说，专用直流电源所提供的电功率的分配是极复杂，且其中有些功率是考生可以想到但又无法求出其大小的（如海水电解的功率）。因此例题第（3）小题“专用直流电源所提供的电功率如何分配，求出相应功率的大小”的提问方式是不合理的。

正确的参考答案、合理的评分标准是试题的最基本要求，否则试题的效度根本无从谈起。从浙江省教育考试院公布的参考答案来看^[11]，例题第（3）小题的参考答案是错误的（正确解答详见附录一）。

从试题所考查内容的相关性来看：例题所考查的知识涵盖了高中的几个主干知识：相互作用与牛顿运动定律、机械能、电路、磁场等，而各知识模块下有涉及几个相关性较高的知识点。因此，例题所考查的不同内容之间的相关性是合理的。

3、基于反应过程的效度证据

基于理论分析和基于福建省某重点高中高三2个教学班112位学生的实际解答过程分析可知：例题第（1）、（2）小题的正确解法与参考答案一致，因此这2小题可提供的构念与考生实际解题过程中的表现完全相符；例题第（3）小题有五种不同的正确解法（详见附录二）。

五种解法虽然所用的知识略有差异，但对考生的物理能力的要求是一致的——都要求考生具有较强的分析综合能力。因此，不管考生用哪一种解法，其解题过程中的表现与试题所提供的构念都是一致的。当然，在制定评分标准时应充分考虑到考生可能采用的各种解法。

但是，题目“思考专用直流电源所提供的电功率如何分配”的提问方式值得商榷，这样的提问方式显然不利于考生从不同角度思考、解决问题。将问题改为“求专用直流电源所提供的总功率”，可能更有利于高学科能力、高科学素养的考生的发挥。

还有一个值得关注的地方是：虽然上述五种解法都是正确的，但是求出来的电源总功率却不尽相同。这个问题的根源在于题目所给的条件“海水在出口处相对于推进器的速度”是不自洽的，更准确地讲这是一个冗余条件。（原因详见附录三）

综上分析可知，在例题第（3）小题中，虽然考生用不同解法的表现与试题所提供的构念都是一致的。但是高能力、高素养的考生无法在本题中体现其优势，恰恰相反，冗余的条件使得这些学生更易失分。从优秀学生的考后面谈分析可知，个别学生在解答或检查过程考虑到两种或两种以上的解法，而两种解法的计算结果的不同让学生试图去证明其中某一种解法的正确性，这无疑浪费了学生大量的考试时间，给学生正常的发挥造成极大的不良影响。综合而言，从反应过程分析，本小题为低效度试题。

4、基于效标材料及考试结果的效度证据

由于研究数据的特殊性，基于效标材料的效度证据研究应该由各招生考试中心组织研究，其研究结果可以为后续的高考命题提供实证依据。

从对教学的导向来看，例题以“超导磁流体推进”为试题背景，体现了试题注重理论联系实际，注重物理学科的自身价值，注重物理知识在生产、生活中的广泛应用的特点^[9]；有利于引导学生关注生活问题，并利用物理知识解决生活问题；有利于激发考生学习科学的兴趣，养成正确的科学态度。例题侧重能力考查，有利于引导中学实施素质教育，引导教师把教学的注意力更多地放在学生学科能力的培养上，而非单纯知识的“满堂灌”；有利于引导学生脱离“题海”，更注重对知识的应用和迁移。综合而言，例题的选材与立意有利于正确引导中学物理教学，有利于促进“知识与技能”、“过程与方法”、“情感态度与价值观”三维课程培养目标的实现。

5、例题效度分析结论

从试题内容的效度证据来看，例题较好地实现了考试目标：对考生知识和能力的考查符合课程标准、考试大纲和考试说明的要求；考查了考生低层次的科学素养——“科学知识与技能”和“科学探究”；参考答案的瑕疵不利于培养考生实事求是的科学态度、不利于学生形成正确的价值观。

从试题结构的效度证据来看，例题的选材合理，所考查的知识和能力之间的相关性合理；但例题的表述、提问方式及参考答案均存在不同程度的不合理性。

从反应过程的效度证据来看，例题可提供的构念与考生实际解题过程中的表现一致；但例题第（3）小题的提问方式不利于高能力、高素养的考生的发挥，冗余且不自洽的已知条件可能让思维严谨、学科能力强的考生失分，即在高分段可能出现分数与能力呈负相关关系。

从考试结果的效度证据看，例题的选材对中学物理的教学起到了很好的导向性，有利于中学实施素质教育，有利于学生的终身发展。

三、结论

效度是评价高考科学性的重要指标，当今一元化的效度观重在搜集各种来源的证据来证明考试的有效性。与考试效度的检验一样，试题效度的检验也应该是搜集并评价效度证据的过程。从试题内容、试题结构、反应过程、效标材料和考试结果来论证一道试题的有效性是笔者的粗浅尝试。试题效度概念的建立有利于系统地研究试题的效度，深化考试效度研究的内涵。试题效度的研究为试题评价提供一个全新的角度，也为考试评价提供了一个微观的实证材料。

附录一：第（3）小题的正确解答

在单位时间内海水动能的增加值的计算中，参考答案设时间内喷出海水的质量为，且有（1）