英语口语测试自动化系统

江苏省自动化英语口语考试简介 牛津大学出版社（中国）有限公司 中国科学院自动化研究所 2008 年 8 月 目录 1. 考试概述 2. 考试模式与管理 3. 原则四、评价报告与教学反馈 2 主要内容 自动阅卷平台 人机对话口语考试平台 考生语音数据 考场及考场安排系统 题库管理系统 考生成绩及个性化诊断报告 这是一个全自动化的系统英语听、口语相结合的考试 • 基于海量题库的自动化出题； • 考试自动化，使用人机对话； • 纸张分级自动化，所有标记均由计算机完成； • 结果反馈，自动生成评估报告。 3 本项目四大特点 1、人机对话测试系统听、口语合二为一，省时、省力、减少事故发生； – 现状：口语100万考生，3天组织，工作量大； – 工党：1名教师/天/100篇论文，总共100万候选人； – 机器：1个城市，2台服务器/3天来评判论文； – 显着降低考试中可能出现的错误和事故率。 2、海量题库、人机对话、同一考场不同试卷； – 海量题库从考试机制上有效防止考试作弊； – 通过技术手段有效抑制猜测、猜想等弊端； ——从长远建设来看，经过3到5年的努力，已经建立了百万级题库，每年更新10%的题型。 4 本项目四大特点 3. 计算机完成全部英语口语考试及评分——公正性：人工评分方式受教师体力和精力条件影响，难以保证评分的客观性、准确性和公平性结果。 不同的老师之间可能会有很大的差异； – 计算机评分不仅克服了手工评分难以避免的缺点，大大提高了评分和评价的客观性和公平性，也为个性化评价和提供改进建议奠定了基础。 坚实的基础。

4、有效的教学评估与反馈——六级评估报告，从省、市、区县到学校、班级和个人； – 国内首次以量化方式提供考试评估反馈； – 这样的评估报告对英语教学影响很大。 易学提供真正可信的、可视化的、可操作的帮助。 5 目录 1. 考试概述 2. 考试模型与管理 3. 计算机自动阅卷原理 4. 评价报告与教学反馈 6 考试自动化系统架构 • 全面、灵活、可定制的整个考试解决方案 – 考前：评分考试管理/考场系统、考试服务网站 – 考中：考试系统 – 考后：自动阅卷系统、报告生成系统 7 考试管理/考场系统 • 具有省、市三级管理模式、区、县； 可以管理考生的考试状态； 提供多种考场安排方式，生成与考试相关的各种表格和文件英语口语测试自动化系统，并能够灵活打印 8 考试组织与管理 候考室 考场 1 考生提前进入候考室 2 每个考场 每次考试 1 名监考人员每个考场 1 名系统操作员英语口语人机对话考试系统，每个考点 1 名牵头老师，每个考点 1 名考生培训师，每个考点 1 名主考员 注：一个考场可包含 1 个或多个考场（计算机教室） 9 名考试系统监考人员 局域网考试机听、录音听力、录音听力、录音考生可以在监考人员的控制下，通过考试机实现听题、录音答案的过程。 注：现有电脑教室作为考场。 每个考场配备30-40台考试机。 考试系统-学生人机交互学生端软件简单易用，包括考号输入、设备测试、答题等英语培训，并且语音提示完成考试过程，误操作的机会很大。小的。 11 考试系统 - 考号输入 12 考试系统 - 设备测试 耳机设备由省政府购买 13 考试系统 - 设备测试 ---- 录音样本 • 声音太小 • 声音太大（饱和） • 检查设备测试时记录设备，保证记录正常，这是自动打分的基础。

• 合适的声音 14 考试系统 - 考试时，考生面对电脑，进行人机对话。 15 考试系统-教师人机交互 • 教师端软件全程监控。 如果学生端出现异常情况（设备测试、进度、记录异常等），及时提示监考人员帮助学生解决问题 16 考试系统-考场 17 考试系统-其他保障措施 • 各考场预设10%备用考试设备，为考生当场或下次重考做好设备故障的准备； • 考前有计划 针对设备异常、迟到、缺考、网络故障、数据传输等个别情况英语口语人机对话考试系统，制定应急预案和故障处理手册。 – 考试机故障处理手册 – 监考机故障处理手册 18 自动阅卷系统 评分标准 人机对话考试系统 考生答案 自动阅卷服务器（省政府统一采购） 局域网阅卷进度监控系统管理 注：按一个城市10万考生计算。 打标中心由两台打标服务器组成英语培训，可在3天内完成打标。 19 自动评分系统 • 导入考生答题档案； 准确完成自动评分和评分； 20 目录 1. 考试概述 2. 考试模式与管理 3. 计算机自动评分原理 4. 评分报告与教学反馈 21 自动评分系统技术结构 22 语音识别在口语测评中的特殊性 • 受限条件下的语音识别——专用麦克风英语口语人机对话考试系统英语口语人机对话考试系统，某些问题类型； – 不同于自然口语识别，没有任何限制； •口语评估是基于标准语音库，而语音识别则是基于大量的非标准库 • 中科院自动化院主导的语音识别技术 • 虽然美国尚未将语音技术应用到本国自己的学生评估，多年来已将该技术应用于美国以外学生的英语考试。

23 评分特征提取• 完整性——对于朗读题英语，整个文本是否能够成功朗读，以及朗读成功的比例； – 对于主题简述题，是否能够充分表达问题的语义，以及清晰表达语义的比例； – 完整性特征是评分起点的基本特征； • 准确性——单词层面的评估，主要包括元音、辅音、单词发音重音的准确性。 • 流利性——句子层面的评估，主要包括语速、插入（重复、纠正）、连贯性（连读、丢失爆炸） 、同化）等 • 韵律——句子级评估，主要包括义组停顿（节奏）、重读、弱读、语调和语调 24 自动评分过程描述 用茶包泡茶比泡茶更快更容易茶壶中的叶子评分系统及其输入： 系统输入：考生朗读文本和语音 25 自动评分过程描述 • 根据各种特征给出分数 – 完整性特征：根据漏读计算完整性 – 准确性特征：单词的准确性发音与重音 – 流利特征：语速、插入、连读、失爆发、同化 – 韵律特征：义组停顿、弱重音语调、语调语调 – 综合决策模块：最终评分依据以上特点 决策完整性特点 准确性特点 流畅性特点 节奏特点 评分结果阈值设置 26 目录 1. 考试概述 2. 考试模式与管理 3. 计算机自动阅卷原理 4. 评价报告与教学反馈 27 个省、市、自治区区（县）、学校、班级、个人六级评价报告 评价报告主要内容包括： 1、考试总成绩统计：按个人、班级、学校、区（县）、市、区进行分析比较省份，并可自定义比较单位，如平均分、最高分、个人得分等； 2、发现并纠正重大错误：提供发音、考点、语速、重音等方面的分级评价和重大错误； 3、改进建议：针对重大错误给出实践改进建议。

28 考试总分统计： 34分及以上（A级） 34-28分（B级） 28-24分（C级） 24-20分（D级） 20分（E级） 3341（%） 511（ %) 140 (%) 82 (%) 86 (%)29单项得分统计30->发音错误率图31语速分布图32各大题得分分析阅读短文及答题平均分：分（满分10分） 平均分：（满分10分）满分 10 分） 听短文或对话，回答问题，复述句子 平均分： 分（满分 10 分） 平均分： 分（满分 10 分） 33 根据测试分值分析每题得分 依据关于本次考试涉及的话题 功能思路点：根据本次考试涉及的对话内容，总结答题得分。 总结听文章或通过对话回答问题的分数。 根据本次测试中背诵句子的长度总结重述句子的分数。 34谢谢！ 35