英語(yǔ)口語(yǔ)計(jì)算機(jī)輔助評(píng)分的監(jiān)控設(shè)計(jì)及其評(píng)分效度和信度研究.pdf

1、計(jì)算機(jī)測(cè)評(píng)系統(tǒng)中評(píng)分方式有兩種——計(jì)算機(jī)輔助評(píng)分和計(jì)算機(jī)自動(dòng)化評(píng)分。通過(guò)調(diào)研和實(shí)驗(yàn)測(cè)量發(fā)現(xiàn)計(jì)算機(jī)輔助評(píng)分在實(shí)踐應(yīng)用中存在諸如評(píng)分趨中、快速評(píng)分等評(píng)分缺陷;效度和信度是考試和教育心理測(cè)量質(zhì)量評(píng)價(jià)的基本要求，自動(dòng)化評(píng)分雖然已經(jīng)投入實(shí)踐應(yīng)用，但其效度、信度是否滿(mǎn)足教育測(cè)量質(zhì)量評(píng)價(jià)的基本要求需實(shí)驗(yàn)驗(yàn)證。
　　 本文首先調(diào)研分析國(guó)內(nèi)外口語(yǔ)測(cè)評(píng)系統(tǒng)中評(píng)分缺陷，對(duì)作者所在單位和科大訊飛聯(lián)合研發(fā)的大學(xué)英語(yǔ)視聽(tīng)說(shuō)智能測(cè)試系統(tǒng)的評(píng)分缺陷做多維度預(yù)估

2、，其次設(shè)計(jì)教育實(shí)驗(yàn)來(lái)驗(yàn)證預(yù)估并發(fā)現(xiàn)新的評(píng)分缺陷，同時(shí)對(duì)參與實(shí)驗(yàn)的師生進(jìn)行訪(fǎng)談?wù){(diào)研，依據(jù)實(shí)驗(yàn)所獲得的有效數(shù)據(jù)與數(shù)據(jù)分析結(jié)果，從評(píng)分行為、評(píng)分方式和評(píng)分時(shí)間三個(gè)方面設(shè)計(jì)評(píng)分監(jiān)控，從而提高計(jì)算機(jī)英語(yǔ)口語(yǔ)測(cè)試的效度和信度。再次對(duì)系統(tǒng)自動(dòng)化評(píng)分和教育測(cè)量理論進(jìn)行調(diào)研分析，設(shè)計(jì)英語(yǔ)口考試卷并完成實(shí)驗(yàn)，通過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)的經(jīng)典信度分析和經(jīng)典校標(biāo)效度分析，驗(yàn)證大學(xué)英語(yǔ)視聽(tīng)說(shuō)智能測(cè)試系統(tǒng)實(shí)踐應(yīng)用的可行性。
　　 研究結(jié)果表明:(1)快速評(píng)分現(xiàn)象普遍，

3、實(shí)驗(yàn)和師生訪(fǎng)談結(jié)果表明以錄音時(shí)間上下浮動(dòng)1/4，評(píng)分的平均時(shí)間和口語(yǔ)答題時(shí)間一致。(2)評(píng)分持續(xù)時(shí)間低于3小時(shí)，評(píng)分過(guò)程不存在疲勞評(píng)分。(3)拖動(dòng)滾動(dòng)條現(xiàn)象伴隨大幅度拖動(dòng)和反復(fù)性拖動(dòng)行為，滾動(dòng)條的拖動(dòng)幅度在1/3總時(shí)間以?xún)?nèi)，拖動(dòng)次數(shù)在3次以?xún)?nèi)。(4)訪(fǎng)談結(jié)果表明按比例抽取復(fù)評(píng)可提高評(píng)分效度和信度，兩位老師評(píng)分的方式需要改進(jìn)。(5)評(píng)分中有參考前題成績(jī)?cè)u(píng)分、反復(fù)性修改成績(jī)、先評(píng)分后聽(tīng)錄音、不聽(tīng)錄音直接評(píng)分現(xiàn)象，有多個(gè)小題的題型更容易出現(xiàn)該