powertemplate-北師大計算機公共課教學(xué)服務(wù)平臺

1、多媒體信息呈現(xiàn)方式的行為研究,,答辯人: 詹 林導(dǎo) 師: 專 業(yè): 教育技術(shù)學(xué),,,論文框架,,研究問題與過程,結(jié)果分析與討論,結(jié)論局限,文獻綜述,,,文獻綜述,,,,,媒體多媒體多媒體學(xué)習(xí),雙重編碼理論記憶容量有限理論認知負荷理論多媒體學(xué)習(xí)三個假設(shè)Mayer的多媒體學(xué)習(xí)理論,國內(nèi)多媒體學(xué)習(xí)的相關(guān)研究國外多媒體學(xué)習(xí)的相關(guān)研究,多媒體相關(guān)概念,多媒體學(xué)習(xí)的相關(guān)理論,多媒體學(xué)習(xí)的相關(guān)研究,01,02,0

2、3,文獻綜述,媒體,媒體是指在信息的傳遞過程中，在傳者與受者之間承載和傳遞信息的任何物質(zhì)工具或載體。 現(xiàn)代傳播技術(shù)與媒體的發(fā)展正潛移默化地改變這人們的生活，使人類的視野更加開闊，對事物的觀察能力提高了，人們對信息和經(jīng)驗的表達能力大大增強，再不僅僅局限于早期的口耳傳授教育形式。,,多媒體,多媒體(multimedia)可以簡單地理解為將文字、圖形、聲音、圖像、動畫等多種信息媒介進行有機的組合并加以處理的媒體。 Mayer將多媒體定義為

3、用文本和畫面來共同呈現(xiàn)材料 文本打印文本 (Priniedtext)口頭文本 (spekentext) 畫面靜態(tài)圖形（包括插圖、圖表、照片和地圖等） 動態(tài)畫面（包括動畫、錄像和視頻剪輯等）,,多媒體學(xué)習(xí),傳輸媒體觀——多媒體是指使用一種以上的傳遞設(shè)備來呈現(xiàn)學(xué)習(xí)材料，這是從技術(shù)的角度來講的。 呈現(xiàn)模式觀——多媒體是指使用一種以上的信息呈現(xiàn)方式來呈現(xiàn)學(xué)習(xí)材料，這里關(guān)注的是材料被表征和編碼的方式。感覺通道觀——多媒體呈現(xiàn)要能使

4、學(xué)習(xí)者使用多種感覺通道對信息來進行加工。感覺通道觀主要關(guān)注到的是學(xué)習(xí)者信息加工的活動中使用的感覺接收器。,,雙重編碼理論,,,記憶容量有限理論,theory of limited memory storageMiller于1956年提出的，并以實驗驗證對數(shù)字記憶的廣度為7±2個組塊圖片的記憶廣度大約是5到7個組塊,,資源有限理論,圖式理論,,,,認知負荷理論,,多媒體學(xué)習(xí)的三個假設(shè),,,,,,,,,,人們對視覺表征材料和

5、聽覺表征材料擁有單獨的信息加工通道。,人在每個通道中的加工容量還是非常有限的（7±2個組塊）,主動加工過程：形成注意、組織新進入的信息、將新進入的信息與其他知識進行整合,雙向通道假設(shè),容量有限假設(shè),主動加工假設(shè),,Mayer的多媒體學(xué)習(xí)認知理論,這個模型通過五個步驟激活：l)為言語工作記憶選擇相關(guān)的詞語2)為視覺工作記憶選擇相關(guān)的圖像3)將所選擇的詞語組織到一個言語心理模型4)將所選擇的圖像組織到一個視覺心理模型5)

6、將言語和視覺呈現(xiàn)并與先前知識三者整合,,,,,,,,,,,,,多媒體信息設(shè)計的十大原則,,,,,,國外多媒體學(xué)習(xí)的相關(guān)研究,多媒體教學(xué)設(shè)計的兩種取向,多媒體學(xué)習(xí)的三種結(jié)果,多媒體學(xué)習(xí)認知過程的五個步驟,,多媒體教學(xué)設(shè)計的兩種取向,,,多媒體學(xué)習(xí)相關(guān)研究,,,,,,,,,,,,,,,,,機械學(xué)習(xí),無效學(xué)習(xí),有意義的學(xué)習(xí),,,多媒體學(xué)習(xí)的三種結(jié)果,,,,,,,,step1,step2,step 3,step 4,step 5,選擇相關(guān)的文字

7、,選擇相關(guān)的圖像,組織所選擇的文字,組織所選擇的圖像,將基于文字和基于圖像的表征進行整合,,,,,,多媒體學(xué)習(xí)認知過程的五個步驟,,,,空間鄰近原則,,,雙向通道原則,控制冗余原則,切塊呈現(xiàn)原則,,,多媒體信息設(shè)計的十大原則,聚焦要義原則,個體差異原則,,,,,多媒體認知原則,時間接近原則,提示結(jié)構(gòu)原則,對話風格原則,,,,,研究問題與過程,,新疆實施雙語教學(xué)的大環(huán)境下，新疆師范大學(xué)實施免費師范生后，民漢混合編班進行漢語授課的諸多問題,

8、多媒體教學(xué)的普及應(yīng)用,與Mayer研究的不同,,,,實驗對象,材料的呈現(xiàn)方式,實驗方法,,問題的提出,研究的問題,多媒體學(xué)習(xí),民族差異？,⑴在基于計算機的多媒體學(xué)習(xí)環(huán)境下，漢族和少數(shù)民族學(xué)習(xí)者（民考漢或雙語實驗班學(xué)習(xí)者）之間是否存在差異。,性別差異？,⑵在基于計算機的多媒體學(xué)習(xí)環(huán)境下，男生和女生的多媒體學(xué)習(xí)效果是否存在性別差異。,通道效應(yīng)？,⑶在基于計算機的多媒體學(xué)習(xí)環(huán)境下，學(xué)習(xí)材料以“視頻+解說”和“視頻+字幕”（視頻和字幕的呈現(xiàn)符

9、合空間接近原則）的形式呈現(xiàn)給學(xué)習(xí)者，研究此種情況下通道效應(yīng)是否存在。,冗余效應(yīng)？,⑷在基于計算機的多媒體學(xué)習(xí)環(huán)境下，學(xué)習(xí)材料以“視頻+解說”和“視頻+解說+字幕”的形式呈現(xiàn)給學(xué)習(xí)者，研究此種情況下冗余效應(yīng)是否存在。,“學(xué)習(xí)-再認”,被試間,2民族（漢、少數(shù)民族）,3種呈現(xiàn)方式,E-Prime,實驗設(shè)計,E-Prime簡介,E-Prime是實現(xiàn)心理實驗計算機化的一個可視化編程語言平臺，是一個涵蓋實驗生成到毫秒精度的數(shù)據(jù)收集分析的應(yīng)用軟件套

10、裝。 功能：實驗設(shè)計、生成、運行、收集數(shù)據(jù)、編輯和預(yù)處理分析數(shù)據(jù),Eprime的優(yōu)點,E-Prime能呈現(xiàn)的刺激可以是文本、圖像和聲音（可以同時呈現(xiàn)三者的任意組合）提供了詳細的時間信息和事件細節(jié)（包括呈現(xiàn)時間、反應(yīng)時間的細節(jié)），可供進一步分析，有助于了解實際實驗運行的時間問題專門面向心理實驗，并針對心理實驗的時間精度作了優(yōu)化。刺激呈現(xiàn)與屏幕刷新同步，精度可達毫秒,,,,性別：男性 女性,族別：漢族

11、 少數(shù)民族,被試分組：1組 2組 3組,,,,,,,,39%,47%,34%,61%,53%,33%,,33%,,,,本實驗的被試選自新疆師范大學(xué)2011級的49名健康大學(xué)生。年齡17-19歲；被試均為視力正常或矯正后視力正常；聽力正常；被試上肢手指齊全且可進行靈活操作。,研究對象分析,被試分組,,,49名被試隨機分組,呈現(xiàn)方式,,,,1組視頻+字幕,2

12、組視頻+解說,3組視頻+字幕+解說,,,,結(jié)果分析與討論,民族差異分析,2. 正確率：R漢>R民 Sig=0.008,1. 反應(yīng)時：T漢<T民 Sig=0.041,,,,,,,,,,,少數(shù)民族,漢族,少數(shù)民族,漢族,,反應(yīng)時,2317.0毫秒,1903.5毫秒,0.745192,0.

13、847826,,正確率,差異顯著！,差異顯著！,,,正確率,,,T男<T女 ，Sig=0.042,R男>R女 ，Sig=0.155,50%,反應(yīng)時,1850.8毫秒,0.770833,0.828947,性別差異分析,2295.3毫秒,,性別：男性 女性,,,,39%,61%,,差異顯著！,差異不顯著！,信息呈現(xiàn)方式分析,,,,,,,,反應(yīng)時,正確率,T2=1891.9ms,T3=2579.7ms,R1=

14、0.823529,,,,,1組：圖文組,2組：圖聲組,3組：圖文聲組,R2=0.835938,R3=0.718750,T1=1910.4ms,,,,,,,,R2>R1>R3,Sig=0.008,T3>T1>T2,Sig=0.028,差異顯著！,差異顯著！,反應(yīng)時組間差異的事后檢驗,,冗余效應(yīng)極其顯著！,通道效應(yīng)不顯著！,正確率組間差異的事后檢驗,通道效應(yīng)不顯著！,冗余效應(yīng)顯著！,,,研究結(jié)論與局限,,,,,,,,

15、,研究結(jié)論,性別差異,多媒體呈現(xiàn)方式,正確率差異不顯著,通道效應(yīng)不顯著,冗余效應(yīng)顯著,多媒體呈現(xiàn)方式在男女生對知識的正確習(xí)得上的影響不顯著。,在忽略學(xué)習(xí)者民族差異的情況下，通道效應(yīng)不顯著（材料，文字短，民族）,盡管在忽略學(xué)習(xí)者民族差異的情況下，冗余效應(yīng)仍顯著。,,,民族差異顯著,學(xué)習(xí)者的不同民族屬性對其在多媒體學(xué)習(xí)環(huán)境下的學(xué)習(xí)效果影響顯著。,通道選擇的必要性；圖示簡單，文、聲均可；圖示復(fù)雜，口頭解說；參考內(nèi)容，書面文字。,事先了解

16、學(xué)習(xí)對象民族組成；根據(jù)學(xué)習(xí)者的民族成分來設(shè)計多媒體信息的呈現(xiàn)方式,盡量用最少的呈現(xiàn)方式和媒體形式把問題說明白；圖意自明，無需解釋；需要解釋，只選一種。,教學(xué)建議,,,,,,,,,,,,,,,,,,民族差異,通道選擇,控制冗余,本研究的局限性：,,,,,,學(xué)習(xí)材料,被試數(shù)量,被試前檢測,測試題目,研究局限,,,,,被試已有經(jīng)驗的影響,測試題目的編寫,49名被試,3分22秒的自然科學(xué)的視頻材料,,,請老師們批評指正！,Thank Yo

17、u!,,,ERP實驗流程,E-Prime實驗流程,腦功能分區(qū),,,,自發(fā)腦電(EEG)與平均電位(ERPs/EP)的比較,,被試在執(zhí)行任務(wù)時,我們用內(nèi)置于電極帽的電極記錄EEG。EEG被放大2萬倍，然后轉(zhuǎn)換為數(shù)字形式為了儲存在硬盤中。刺激被呈現(xiàn)的同時，刺激端計算機都會發(fā)送標記碼到EEG的數(shù)字化端計算機，這臺計算機將它們和EEG數(shù)據(jù)一起存儲。,記錄時，我們在數(shù)字化端計算機上觀看EEG，但看不清刺激誘發(fā)的反應(yīng)。因為在大得多的EEG中，由刺激

18、誘發(fā)的ERPs/EP反應(yīng)太小了。下圖顯示了在某個被試的某個電極位置（Pz,在中線頂葉上）記錄到的一段9秒鐘的EEG。如果仔細觀察，我們可以看到對每個刺激的反應(yīng)具有某種一致性，但很難看出這些反應(yīng)究竟是什么樣子。,記錄結(jié)束后,我們進行簡單的信號平均，提取出由X和O誘發(fā)的ERPs(參閱下圖)。具體來說，我們提取包含了X和O的EEG分段，并把這些EEG分段按照標記碼(標記于每個刺激的起始點)對齊。然后我們將這些單試次的波形進行簡單的疊加平均，從

19、而在每個電極位置上生成對X和O的平均ERPs波形。,二、主要ERP成分及經(jīng)典研究,ERP的先驅(qū)研究者經(jīng)過四十多年的積累，發(fā)現(xiàn)了一些經(jīng)典的ERP成分，在發(fā)現(xiàn)這些成分時所使用的一些研究方法對于后來者有啟發(fā)?！∑渲信c認知加工研究密切相關(guān)的成分主要包括P50、P300、MMN、和N400等。,1.聽覺誘發(fā)電位P50,大腦對感覺刺激信息輸入的調(diào)節(jié)能力是大腦正常功能之一,其本質(zhì)是大腦的抑制功能,該功能被稱為感覺門（sensory gating,S

20、G),是反映大腦對傳入無關(guān)刺激的一種正常自動調(diào)節(jié)能力。,2.事件相關(guān)電位P300,在發(fā)現(xiàn)P300時使用了一個稱為Oddball的經(jīng)典ERP實驗范式。Oddball實驗范式的要點是，對同一感覺通道施加兩種刺激，通過微機程序給出一系列出現(xiàn)概率較高（80%）的非靶刺激NTS（1000Hz音頻、60dB）中，再隨機給出一系列出現(xiàn)概率較低（20%）的靶刺激TS（2000Hz音頻、80dB）（又稱為oddball刺激或奇球刺激）。對TS、對NTS

21、分別作按鍵反應(yīng)的過程中，頭皮表面可記錄到與TS同步的認知電位反應(yīng)P300。,研究發(fā)現(xiàn)P300的波幅與所投入的心理資源量成正相關(guān)，反映了心理負荷的量，其潛伏期隨任務(wù)難度增加而變長。P300受記憶力直接影響——測謊的主要指標P300潛伏期：視覺P300>聽覺P300>體感P300,3.語言相關(guān)電位N400,N400是ERPs的晚成分之一, 它是由Kutas和Hillyard最先發(fā)現(xiàn)的。他們給被試視覺呈現(xiàn)由幾個單詞組成的句子,

22、 其中75%的句子的意思是合理的, 而另外25%的句子的末尾出現(xiàn)了歧義, 與句子的語境不相符。結(jié)果發(fā)現(xiàn)這25%的句子誘發(fā)了一個潛伏期范圍在300到600毫秒之間的負波, 該負波的波幅在400毫秒左右達到最大值, 因此稱之為N400。,N400 的特點,N400 是ERPs 的一個內(nèi)源性成分, 為語言認知事件相關(guān)電位中的一個負相波, 反映了大腦皮層對語言的認知加工過程, 并且可從N400的波幅、潛伏期及頭皮分布特征等多個方面來描述腦語言認

23、知加工過程。波幅顯示了腦語言認知加工的難易程度, 潛伏期反映了語言認知加工的時間進程, 頭皮分布特征表明語言認知過程的腦內(nèi)源。這三個指標可用來描述語言精細加工過程。N400在頭部各腦區(qū)均可見到，以顳頂枕最大，Cz、 Pz點記錄明顯。皮質(zhì)下記錄提示，顳葉可能是N400的重要發(fā)生源之一。,4.失匹配負波MMN,MMN的產(chǎn)生條件失匹配負波(MMN) 是美國人Näätänen等于1978年發(fā)現(xiàn)的，其早期實驗與

24、P300一樣，也是采用Oddball模式，分為主動和被動兩種模式。 主動模式是在重復(fù)出現(xiàn)的大概率信號(非靶刺激)中隨機插入刺激參數(shù)不同的小概率信號(靶刺激)，令被試者辨認小概率刺激信號。被動模式是使受試者不注意所有刺激信號。以上兩種模式的小概率信號均可產(chǎn)生MMN，而大概率信號則不能產(chǎn)生MMN。 MMN亦屬于內(nèi)源性事件相關(guān)電位，潛伏期為1OO-25Oms。,MMN的特點,MMN的出現(xiàn)與受試者對聲音的注意與否無關(guān)，反映的是感覺系統(tǒng)對刺

25、激改變的自動加工過程。已基本證明MMN的來源有兩處, 分別為顳葉初級聽覺皮質(zhì)和額葉次級聽覺皮質(zhì)。MMN反映的是聽覺自動加工過程。,MMN的臨床應(yīng)用,MMN屬于聽覺事件相關(guān)電位，反映的是對信息的自動加工過程，MMN可以在無須注意及任務(wù)要求的前提下進行測定，所以MMN適合測試不同的臨床患者及嬰幼兒，它可以提供大腦對不同聲刺激的反應(yīng)及加工過程。MMN在神經(jīng)精神疾患的臨床研究中已有部分應(yīng)用, 由于MMN能夠在無意識或非注意狀態(tài)下產(chǎn)生,為常規(guī)

26、檢查難以配合的患者提供了一個較好的客觀測量指標, 對精神科、神經(jīng)科重癥病人認知障礙的診斷具有重要意義。,A. Study Phase(14 faces, SOA 3s, duration 1s),B. Test Phase (28 faces, repeated 50%, SOA 3.2s, duration 1s),,理,,張,理,舒,Time,Learning Stage,TestStage,,Old,,New,,1st