组稿人联盟网
欢迎来到组稿人联盟网
客服电话:400-6735-660 客服在线时间:09:00~22:30(节假日不休息) 客服邮箱:dufu2614@126.com在线投稿:非工作时间点此在线提交您的稿件

大数据时代大学英语精细化评估数据的建设与应用

时间:2018/12/29 19:53:56来源: 作者: 点击:

   2014年1月30日光明日报发表题为 《大数据时代:实现考试到评价的跃升》的文章,文中指出大数据的教育考试评价体系从原来的终结性考试转化成过程性的评价,为考生提供的不仅是一个分数,还包含通过各种数据给考生知识、能力、特长和潜质的报告,并最终形成“学生学业评价报告单”。同时通过对教育过程质量进行监测与评价,探索数据背后隐藏的教育发展规律、学生成长轨迹、人才培养模式等,将对学生的学习、教师的教学、教育政策的制定产生重大的影响。甚至可以说,它将有效地推动新一轮的教育改革[1] 。

  国外研究实践证明,考试数据挖掘对于学生、教师、教育管理人员以及研究人员均有重要价值。 国际教育评价协会(IAEA)、经济合作与发展组织(OECD)分别在其组织的大型国际测试项目中充分利用其组织的测试与调查问卷的数据进行深度挖掘。OECD从1988年发起了教育系统国际指标项目(INES),该项目为各成员国提供关于其教育系统的国际比较数据,使其能够较好地评估和监控他们国家教育系统的效率和变革。美国教育考试服务中心(ETS)在其组织的考试项目(如GRE,TOEFL,SAT等),每个环节都对数据进行了有效应用,使它能从容地应对每年面向全球及国内的200多种、数千次的考试,并对考生进行相对科学合理的评价[2]。美国大学入学考试中心通过分析考生数据中所反映的考生兴趣、能力属性,研究确定考生适合学习的专业和适合报考的学校,并为考生将来就业倾向提供建议等[3]。

  游忠惠认为数据是客观分析的基础,客观分析能够避免、减低主观的差异。基于数据解决英语教育测评中错综复杂的因果关系,不仅从宏观、还从微观使得数据可视化,便于教学流程中的各类型人员查看分析。通过考试数据的挖掘,学生可以从学习行为角度了解学习过程的发生机制,用来优化学习;教师可以准确了解教与学中的问题,从而改进教学;教育管理人员可以清楚了解教育现状和存在的问题,才能有目的的决策,更合理的布局;社会研究机构和用人单位通过考试数据判定学校教育质量和学生能力[1]。学信科技COO朱兆伟说:“很多人提到大数据都认为应该收集海量信息才叫大数据,而我们认为,学生学习的大数据应该是全样本数据,即覆盖学生全部学习场景的学习数据。” 目前教学评估中的问题体现在教学过程涉及众多要素,包括不同学习水平的大量学生;不同教学水平的教师;教学管理者等众多人员。张国昌研究认为无论是管理者,教师还是学生,对考试的导向性和指挥性作用认识不足,考试评价分数化[4]。就笔者所在学校来看,每学期有将近4000名学生参加统一的大学英语期末考试,由OUMA系统进行答题卡阅卷,写作成绩则由人工录入。OUMA系统阅卷时需要提前录入学生的名字、班级、学号信息,试卷信息也只采集正确答案和最后分数。整个考试数据采集环节粗略,而粗略的数据只能获得有限的分析结果,难以描述细节,所以使我们没有手段研究教学过程,这就是目前各个方面在进行教学总结中客观评估数据少、主观成分多缺乏支持的原因。针对目前教学中存在的问题,本文提出以精细评估数据的建设和应用使不同用户看到数据的细节或者全貌,获得数据间的“相关”关系,辅助不同用户进行更加合理的决策。

  一、精细化评估数据的建设和应用

  自从我国开始进行大学英语教学改革以来,最多的关注点都集中在教学模式,教学方法等方面,对于考试也就是评估方面的改革变化不大,无非就是要求注重过程性评估[5]。诊断性评估的缺失使学生并不能从评估结果中得到实际的指导。精细化的英语教学评估是个全方位的系统工程,涉及学生、教师、管理部分等等诸多人员,数据的建设是非常关键的问题。只有具备了全面的,详细的数据,才能对数据进行应用,而大多数高校目前的评估数据收集非常粗略,对客观合理的决策不具备指导意义。因此,大学英语精细化评估数据的建设是目前亟待解决的问题。评估数据的建设主要分为以下几个步骤。

  (一) 数据的采集

  在众多高校的大学英语公共课结课考试中,大多采用纸质标准化考试。无论是纸质,机试,或是网考,都会产生大量的考试数据。数据包括了不同层次,小到每个学生的姓名、学号、性别,大到所有学生每个单项的正确错误比例以及与历次考试同样错误的相关度。所有的考试数据精细化指的是详细到每套卷子、每个题目、每个选项的数据。还包括标准化题库中各个题目与每套试题中题目的对应关系、每个标准试题的效度和信度,从而检测标准化题库的效度和信度,来达到题库的更新完善。收集数据的还应包括每个学生的每个题、每个选项数据。

  数据是处于模拟状态,在目前英语测试中以答题卡的形式存在。需要进行数据的数字化,形成计算机可以存储和应用的数字信息。数据的数字化包括了对数据的定义、和数字化过程。数据的数字化过程主要是对答题卡的数字化,读取各种信息。答题卡是学生通过学习后对知识的反应,答题卡将学生、教师、题目连接起来。所以数据记录也同样采用数据库列表记录学生、答题结果、题目、教师之间的对应关系。

  数字化是数据应用的前提,数据需要变为可以存储、可以检索相互对应的数字信息,才可以进行海量存储、快速分析、形象展示。数字化过程是数据应用的源头,力求数据采集完善、数据结构便于使用。

  (二)数据的应用

  数据分析是数据应用的第一步。数据分析的起因是需要解决某些问题,而采用统计工具进行数据统计、分析,挖掘数据中的规律、现象。数据分析的结果就是对考试数据的应用,以及对所采集的考试大数据整理分析后开展的预测。预测是大数据的核心。在大数据时代,面对海量的考试数据,我们不必非得知道现象背后的原因,而是要找到一个现象的良好关联物,相关关系可以帮助我们捕捉现在和预测未来。也就是在《大数据时代》这本书里讲到的,如果A和B经常一起发生,只需要注意如果B发生了,就可以预测到A也发生了。这种相关关系分析法,更准确,更快,而且不易受偏见的影响。当然,在很多情况下,一旦完成了对考试大数据的相关关系分析,就会不满足于仅仅是“是什么”时,就会朝着因果关系研究来寻找原因。有了相关关系的分析,寻求原因的分析成本将会大大降低[6]。

  二、需要解决的关键问题

  (一)海量考试数据的采集

  由于考试中所产生的数据是海量和繁杂的,仅靠人工输入纸质标准化考试的数据工作量太大,也不能满足海量数据的采集工作。最好能够将原本的纸质结课考试方式改为机试或是网络联考。可以先在学校的局域网内进行考试,这就涉及需要有大型的服务器对多人同时参加的考试提供技术支持。如果考虑到成本投入太大,学生还可以利用自己的智能手机,iPad,或是个人电脑连接局域网,在进入考试程序时,同时关闭其他程序,以保证考试的诚信度[7]。此外需要一个庞大的试题库,以避免试题的重复和泄漏。如果各个高校都可以采用同样的考试方式,就可以尝试将各高校所有局域网与互联网连接,形成一个大的考试系统。这样对于每个学生来说,不仅是考试的参与者,同时也是数据的录入者,也将是最终的受益者。

  在这方面最好的例子就是雅思和GRE考试。2016年7月,雅思官方发布了2015年雅思考试官方报告,每年年终,雅思官方会收集分析全球雅思考生前一年的考试成绩相关数据,并发布相关数据报告。从报告中可以看出,2015年中国大陆考生的总平均分为57分,比去年下降了01分,其中63%的雅思考生成绩介于5~6分之间[8]。同样,ETS发布了一份官方报告,统计了自2011年8月GRE考试改革以来全球GRE考生的基本数据,包括平均成绩、年龄性别、种族比例、各国考生数据。有了这样一份报告,考生对自己所处的GRE大环境以及影响新GRE考试成绩相关的因素更加清楚。试想如果大学英语也可以有这样一个考试体系,那么海量数据所反映出来的信息之间的相关性就会更加明显,而对未来考试和决策的预测性将会更加准确。

  (二)精细化英语评估数据的分析

  海量的精细化英语评估数据的分析需要有强大专业背景的数据分析师,专业的数据分析师队伍的建设关系到所出具的评估报告的专业性和客观性。我国的问题在于行业的隔阂,目前存在较多的误解,认为数据分析的事情与行业专家无关,其实对于数据的应用只有行业专家了解需求、数据用途和已有流程,数据分析师、计算机专家都是通过通用的技术手段服务于行业专家,按需要提供服务。

  在大学英语教学领域,大量的一线英语教师就是现成的行业专家。在大数据时代,将数据分析技术应用在教学和考试的各个环节是今后教育评估的发展趋势,这也促进了传统的教师角色的转变,进而促进大学英语的改革朝着更科学合理的方向转变。

  1.资源的提供者变为整合者

  随着科技的发展,学生能够获得知识的途径也越来越多,传统的英语课堂早已不能吸引不同学习能力,兴趣爱好的学生。现在的学生缺乏的不是英语学习的资源,而是根据自身不同的特点和目标对不同的学习资源加以整合的能力。教师应该根据每个学生的考试大数据有选择性地给予指导和监督。

  2.学习的主宰者变为合作者

  在传统的大学英语课堂中,教师是绝对的权威和主宰。大数据时代的到来,微课,MOOCs等教学资源的发展,教师应当从英语学习的主宰者变为学生英语学习的合作者,与学生共享资源,共同探讨,真正做到“教学相长”。

  3.主观经验教学者变为客观数据诊断师

  在传统大学英语考试评价中,教师只在最终的结课考试中给出一个总评成绩,主要依据课堂表现、考勤、作业完成情况的作为平时成绩。而通过考试大数据的挖掘和分析,可以记录学生技能,能力的发展趋势,学生可以很清楚地了解自己一定时期内自我发展变化,并在一定程度上预测学生的发展潜能。老师对于学生的评价也不再仅仅依靠教学经验,而是依靠客观数据给出诊断结果,并提出相应的建议,促进学生能力的全面提升。

  (三)精细化英语评估数据的应用模板设计

  应用模板设计是针对普通学生、老师、管理者,对于数学统计分析不了解,需要设计一种比较简单的方法,适应用户的应用水平。数据统计分析模板的设计、不同角色用户的应用模式研究。针对不同用户的需求,设计不同的应用模版。比如:针对学生模板内容可以包括英语学习能力的评估,知识掌握程度的评估等,和改进方法的建议,甚至可以包括针对四级考试的学习建议等;针对教师的应用模板包括学生学习问题总结、班级整体情况统计情况,同时给管理层(教研室、学院、教务处)分别提供报告,例如:教研室关注分配教学计划;教务处需要了解、年度、年级的英语考核和学习状况等;给题库维护专家的应用模板则是每个试题的效能统计。通过不同的应用报告,支持不同用户的决策,达到精细数据服务精细教学的目的。

  随着数据记录的更加详细、全面,用户将会面临更多、更杂的数据。用户是学生、教师、管理者,都不是专业的数据分析工程师,所以需要从需求出发,设计数据统计、显示模板,使得数据分析工作更加简单、数据展示更加形象直观。提供标准化的数据分析应用模板是数据挖掘的简单方法。专业数据分析工程师会根据用户的数据的应用情况进一步修改完善应用模板。

  (四)考试大数据的共享

  大数据有四个特点:Volume(大量),Velocity(高速),Variety(多样),Value(价值)。数据量大不一定就是大数据,数据量大,数据种类多,非标准化数据价值最大化才能称之为大数据。在精细化考试大数据建立的初期,有可能仅仅是在某一个学校的局域网内进行,所采集数据的范围也是有限的,因此所做出的预测也是有局限性的,但随着考试方式的变化和数据的长时间积累,以及数字化评估系统的广泛应用,所做出的预测将越来越具有准确的指导性。当各大高校都采用同一种评估系统对英语学习与教学进行评估的同时,这也就意味着统一的考试体系形成,也就是国家近几年所提倡的外语社会化考试。各大高校统一的教学考试评估系统与大学英语四、六级考试评估的本质区别就在于数据信息的共享、细化和有针对性。对于研究机构和用人单位,以及在教学一线的普通教师,通过合理的手续,可以获得所需的数据信息,用于指导教学和决策,提高教学科研水平。

  三、结束语

  本文的创新之处在于使用大数据相关关系的概念提供辅助工具分析复杂教学问题。通过考试和其他教育数据的挖掘利用可以实现过程性评价,随时可以反映学生们的表现,从而探索出良好的课堂教学模式。学生也可以根据最终的评估结果,反思自己的学习行为,进而改进优化学习方法。管理层也可以通过大数据所反映的相关关系和所做出的预测,做出更客观合理的决策。欧美一些国家和组织较早地认识到了考试数据挖掘在教育评价中的作用。美国教育部2012年10月发布《通过教育数据和学习分析增进教与学(公共评论草案)》,这份报告中对美国近年来大数据的教育应用情况和困难进行了介绍[9],给我国目前用考试大数据来指导大学英语的教学提供了启示。本文所提出的基于大数据的大学英语精细化评估数据的建设和应用,对我国目前大学英语教学模式改革和发挥考试的反拨作用将产生积极的影响。全国各大高校现在已经开始了对大数据应用于教学改革的研究,数据的积累和应用是一个巨大的工程,需要不断的坚持。希望本文能为大学英语的教学改革和四、六级考试的改革提供一些新的思路。

  [参考文献]

  [1]

  游忠惠. 大数据时代:实现考试到评价的跃升[N].光明日报, 2014-1-25(15).

  [2]国际考试评价研究院课题组.国际考试评价机构及其评价项目研究[EB/OL].[2011-02-23].http://niea.neea.edu.cn/infor.jsp?infoid=44534&class_id=40_04.

  [3]程蒙蒙.美国大学入学考试中心和培生教育测量成绩报告[J].中国考试(研究版),2008(7):56.

  [4]张国昌.关于高校考试模式改革的几点思考[J].江苏科技大学学报(社会科学版),2009,9(2):99.DOI:10.3969/j.issn.1673-0453.2009.02.021.

  [5]王守仁,王海啸.我国高校大学英语教学现状调查及大学英语教学改革与发展方向[J].中国外语,2011,8(5):4. DOI:10.3969/j.issn.1672-9382.2011.05.002.

  [6]迈尔-舍恩伯格,库克耶. 大数据时代[M]. 盛杨燕,周涛,译. 杭州:浙江人民出版社,2013:72.

  [7] 蔡基刚,林芸.大数据时代下的外语社会化考试[J].中国电化教育,2016(6):130. DOI:10.3969/j.issn.1006-9860.2016.06.021.

  [8]环球教育.2015全球雅思成绩大数据报告[EB/OL].[2016-06-15].http://m.gedu.org/contents/2435/171869.html.

  [9] U.S. Department of Education.Enhancing Teaching and Learning through Educational Data Mining and Learning Analytics[DB/OL].[2012-10-12].http://www.ed.gov/edblogs/technology/files/2012/03/edm-la-brief.pdf.

  [10]欧洲理事会文化合作教育委员会.欧洲语言共同参考框架:学习、教学、评估[M].刘骏,傅荣,译.北京:外语教学与研究出版社,2008:171.


如对职称晋升论文要求,如有疑问立即咨询本站客服,为您提供专业级服务

在线投稿