• 您现在的位置: 中国兴华科学教育网 >> 科教资源 >> 科学考试院 >> 考试评价研究 >> 正文
    国家教育进展评估的效度研究
    作者:戴维•西森(美)    文章来源:《考试研究》2012年第二期    点击数:    更新时间:2012-5-18

    五、(有争议的)效度问题  

    1.跨年级量表  

    20世纪80年代初期,当ETS成为NAEP的承办者时,,已提出的“新设计”的主要特点之一就是跨年级量表(cross-grade scales)NAEP1984年首次建立了阅读的跨年级量表,1986年公布了完整的跨年级阅读量表,并与1984年的量表相连接。1986年建立新的数学和科学跨年级量表。1988年的NAEP阅读也与1984-1986年阅读量表相连接(Beaton,1988)  

    1990年的NAEP看起来比较复杂,该年的阅读与1984年和1988年的阅读进行了连接。数学和科学出现了新的跨领域(cross-sectional)、跨年级的多维量表,而单维的量表又与1986年的量表相连接。目前使用的阅读量表可以追溯至1992年。而在这之前更早的量表则作为分数报告体系重新设计的一部分被替代了。  

    然而,20世纪90年代初,NAEP的分数报告不再使用跨年级量表。1991年,国家评估管理委员会决定“在所有可行的时候使用同年龄量表”(Haertel1991),用这种相对“正面”的措词说明跨年级量表不该再继续使用。而NAEP独立进行的一次评估(ShepardGlaserLinnand Bohrnstedt1993)也推荐“年级内报告(within  grade reporting)”方式,从而取代跨年级的量表。  

    在《关于NAEP同年龄量表与跨年龄量表相关问题的分析报告》(Report on TRP Analyses of Issues Concerning Within-age versus  Cross-age Scales for the National Assessment of Educational ProgressHaertel1991)中,Haertel阐述了一系列观点。该报告讨论了量表和分数报告过程的细节。然而,所有围绕跨年级量表的争议中,有关采用此量表进行结果解释的效度问题最为突出。Thissen(待版)对跨年级量表的批评进行了总结,以下将对此进行讨论。  

    一般认为,跨年级量表主要在以下两种情况下用于对测试结果作出解释:  

    (1)“学生一年中的进步(大约)xx NAEP量表分”;  

    (2)X年级的A小组学生与Y年级的B小组学生表现相近”。  

    Haertel在其报名中总结认为,跨年级量表对上述两种情况的解释都存在问题。目前,仍有很多人赞同他这一观点。Thissen(待版)则对跨年级量表持略为积极态度,他主张:(1)跨年级量表对上述两种情况下的解释性说明仍需要不同的证据来支持;(2)而现有的证据均不足以支持NAEP报告中的上述任何一种解释性说明。  

    Thissen(待版)建议,应该而且能够整合更准确的证据去支持第一种情况下对测试结果的解释性说明(即“一年中的进步”);而跨年级量表在第二种情况下(即跨越四个年度的年级间比较)对测试结果的解释效果可能会令人失望。  

    1991年发表的评论文章中,Haertel针对跨年级量表的一个显著特点提出假设:  

    跨年级量表上的同一个分数,如300,应该代表拥有相同的熟练程度或综合技能水平,即9岁、13岁或是17岁孩子的水平是相同的。当然,小孩子的成就和大孩子的成就可能会有不同的解释。4年级学生的优秀水平对于一个13岁的孩子来说,也许仅仅是刚达标。因此,如果有一个共同的量表,那么这个量表中的某一个分数就应该有确定的含义,例如能说明孩子学到了什么,懂了什么,会做什么。  

    关于跨年级量表对“一年中的进步是xx NAEP量表分”的解释性描述,Haertel(1991)认为:  

    这一解释与其他几个解释一样,在很大程度上依赖于跨年级量表的线性假设。也许NAEP1986年阅读评估中的某些异常是对此最好的说明。那次评估中17岁考生答对某个阅读题目的概率发生了3%的变化,这在报告中被解读成1984年到1986年间17岁考生的阅读能力“整体下降”。这个结论是这样得出来的:通过评估13岁和17岁考生整体量表均值的差距,并把这一差距当成是学生在四年中应取得的进步,然后除以4得到平均每年应该达到的进步程度。这样,“年级水平”标尺就放大了学生表现的微小变化,并将其年度的进步程度绝对化。由于13岁学生和17岁学生参加测试的内容不同,仅仅依据17岁学生(12年级阅读)13岁学生(8年级的阅读)量表分数的变化从而推断1984年到198617岁学生(同为12年级学生)表现水平的差距,这种推论包含了过多的假设。  

    实际上,Haertel(1991)也曾对跨年级量表提出质疑。他指出:  

    有关数学进步状况曾有如下说明: 一般认为,12年级的学生比8年级学生的平均熟练水平要高,而8年级学生的水平高于4年级学生的水平。然而量表显示,一般情况下,8年级学生的平均成绩比4年级学生高50分,而12年级学生的平均成绩只比8年级学生高30分。这一说明暗示至少从4年级到8年级,学生数学能力提高的速度要比从8年级到12年级快。由于没有更多的解释,这样的描述将人们的注意力集中到量表分上。如量表上的200250300350可以用来表示学生的不同水平,但如何能够说明从200250的距离与从250300的距离是一样的呢?因此,上述描述仅仅说明了8年级学生与4年级学生的差距大于12年级学生与8年级学生的差距。除此之外,并没有说明任何其他有用的信息。  

    也有一些评论者对跨年级(或“纵向”)量表采取一种更为灵活的态度。Wendy Yen(2007)曾说道:  

    “在过去的25年中,我对纵向量表一直都很有兴趣。在我5岁的时候,每次爸爸在家里修理东西,我都跟在他后面。他有一根折尺,我很喜欢拿来玩。这根折尺是黄色的,折起来有1英尺,打开的长度有6英尺。如果我把尺子打开,握住一头,尺子就会在空中折来折去。可是让我失望的是,如果我太偏向一边,靠近手的部分就会突然折起来。纵向量表就像是一根折尺。尽管教育成就测试结果的差异主要由学生水平的差异决定,这些考试仍然是多维的,依然有一些其他因素(如学生受教育过程的差异)影响着测试结果的差异,这些因素被称为“课程中的多维平行变化”。这种维度的变化可能发生在某一水平之内或者跨越几个测试水平。因此,量表的方向性(即不同维度的相对重要性)会随着测试难度的增加而变化。因此,量表会发生空间上的弯折。某几个水平之间的连接会比其他几个水平之间的连接更强。如果水平间的连接太松弛,就很难保持连接的稳定性。  

    Yen’s的比喻形象地解释了为什么“一年中的进步”是一个很有趣的概念,而跨越四个年度的比较则难以引起人们的兴趣。“一年中的进步”就像是折尺的一截,呈现出线性的直线变化。而如果跨越几个年度,这就像折尺中的几截,其变化是不容易控制的。那么这几截间的不同连接角度,即测试表现出的不同的多维性,则会对测试结果产生重要的影响。  

    或许整合效度证据能够支持跨年级量表在第一种情况下对分数结果的解释(即“一年中的进步”),并使其更精准。而对于使用NAEP量表的人而言,“一年中的进步在NAEP的量表上应该表现为上升多少分”这个问题更重要。对此,NAEP必须作出回答。  

    跨年级量表在第二种情况下对分数的解释(即跨越四个年度的组间比较)或许更令人失望。即便是保留了有用的跨年级量表,但对于4年级和8年级的学生来说,仍有足够的证据表明同样的分数代表不一样的表现水平。这样的争议降低了诸如“得分较低的这组8年级学生与4年级普通学生的成绩相似”这类结论的有效性。不仅如此,它还可能干扰其他更为有用的分数解释(例如,通过表现水平或题目地图对分数进行解释)  

    2004年,国家评估管理委员会通过了《NAEP2009年阅读测试框架决议》(Resolution on the NAEP 2009 Reading Framework),指出在某种程度上“2009NAEP阅读评估将会确立新的趋势线……将采用完全的跨年级量表来报告成绩。这样,NAEP就可以展示学生在校学习的几年间阅读技能的进步,同时报告长期的发展趋势”。200410月,“NAEP 2009阅读评估年级内和跨年级量表的技术小组会议”(Technical Panel Meeting to Discuss the Implementation of Within-and Cross-grade Scaling for the NAEP 2009 Reading Assessment)召开(Wise and Hoffman2004)20042010年,ETS进行了大量的回顾研究,分析了2009年的数据,并得出结论,认为2009年的阅读评估能够与1992年的最初的量表关联。因此,NAEP阅读的跨年级量表重新开始(有限制地)使用。  

    NAEP网站称,“越是高年级的学生,测试中要考查的技能与使用的材料就越难、越复杂”。这种说法与Haertel认为的“同一个分数……应该代表同样的总体熟练程度与技能水平,即9岁、13岁或是17岁孩子的水平是相同的”有很大不同。Haertel发现,NAEP试图使用他对跨年级量表的解释,但结果差强人意。NAEP目前的阅读评估使用了跨年级量表,并对这个量表的意义作出了很不一样的说明。  

    实际上,NAEP报告中很少真正使用该量表的“跨年级”这一属性。  

    上一页  [1] [2] [3] [4] [5] [6] [7] [8] [9] 下一页


    网友评论:(只显示最新10条。评论内容只代表网友观点,与本站立场无关!)
    姓名: E-mail:
    评分: 1分 2分 3分 4分 5分
    内容:
    验证码: