一、 效度的表示方法
1、 相關(guān)法:效度系數(shù)是最常用的效度指標,尤其是效標效度。它是以皮爾遜積差相關(guān)系數(shù)來表示的,主要反映測驗分數(shù)與效標測量的相關(guān)。當測驗成績是連續(xù)變量,而效標資料是二分變量時,計算效度系數(shù)可用點二列相關(guān)公式或二列相關(guān)公式;當測驗分數(shù)為連續(xù)變量,效標資料為等級評定時,可用賈斯朋多系列相關(guān)公式計算。
2、 區(qū)分法:是檢驗測驗分數(shù)能否有效地區(qū)分由效標所定義的團體的一種方法。算出t值后,便可知道分數(shù)的差異是否顯著。若差異顯著,說明該測驗?zāi)軌蛴行У貐^(qū)分由效標定義的團體,否則,測驗是無效的。重疊百分比可以通過計算每一組內(nèi)得分超過(或低于)另一組平均數(shù)的人數(shù)百分比得出;另外,還可以計算兩組分布的共同區(qū)的百分比。重疊量越大,說明兩組分數(shù)差異越小,即測驗的效度越差。
3、 命中率法:是當測驗用來做取舍的依據(jù)時,用其正確決定的比例作為效度指標的一種方法。命中率的計算有兩種方法,一是計算總命中率,另一種是計算正命中率。
4、 預(yù)期表法:是一種雙向表格,預(yù)測分數(shù)排在表的左邊,效標排在表的頂端。從左下至右上對角線上各百分數(shù)字越大,而其它的百分數(shù)字越小,表示測驗的效標效度越高 ;反之,數(shù)字越分散,則效度越低。
二、 效度的應(yīng)用
1、 預(yù)測誤差:效度系數(shù)的平方,統(tǒng)計學(xué)上稱這種指標為決定系數(shù),表示測驗正確預(yù)測或解釋的效標的方差占總方差的比例。另一種表達方式是估計的標準誤,簡寫為Sest,它是指所有具有某一測驗分數(shù)的被試其效標分數(shù)(Y)分布的標準差,也即預(yù)測誤差大小的估計值, (公式4-9)估計的標注誤可如同其他標準誤一樣解釋。真正效標分數(shù)落在預(yù)測效標分數(shù)±1Sest的范圍內(nèi),有68%的可能性;落在預(yù)測效標分數(shù)±1.96Sest的范圍內(nèi),有95%的可能性;落在預(yù)測效標分數(shù)±2.58Sest的范圍內(nèi),有99%的可能性。
2、 預(yù)測效標分數(shù):如果X與Y兩變量呈直線相關(guān),只要確定出二者間的回歸方程,就可以從一個變量推估出來另一個變量。在測驗工作中,人們感興趣的是從測驗分數(shù)預(yù)測效標成績。
3、 預(yù)測效標指數(shù):公式4-9中的 又稱作無關(guān)系數(shù),以K表示之,K值大小表明預(yù)測源分數(shù)與效標分數(shù)無關(guān)的程度。(1-K)可作為預(yù)測效率的指數(shù),用E表示:E=100(1-K) (公式4-15)E值大小表明使用測驗比盲目猜測能減少多少誤差。
第四節(jié) 影響效度的因素
一、 測驗本身的因素
1、 測驗題目的質(zhì)量
2、 測驗的長度。(一般而言,增加測驗的長度通??梢蕴岣邷y驗的信度,而信度又制約著效度,因此增加測驗的長度也能提高測驗的效度。)
二、測驗實施中的干擾因素
1、主試的影響因素。測驗實施過程中主試的因素會影響效度。對于效標效度,測驗與效標二者實施時間間隔時間越長,測驗與效標越容易受到很多機遇因素的影響,因此所求的相關(guān)必然很低。測驗情鏡,如場地的布置、材料的準備、測驗場所有無噪音和其他干擾因素等也會影響到測驗的效度。
2、被試的影響因素。被試在測驗時的興趣、動機、情緒、態(tài)度和身心狀況、健康狀態(tài)等都會影響測驗的效度。(被試的反應(yīng)定勢也會降低測驗的效度。)
三、樣本團體的性質(zhì)
1、樣本團體的異質(zhì)性。與信度系數(shù)一樣,如果其它條件相同,樣本團體越同質(zhì),分數(shù)分布范圍越小,測驗效度就越低;樣本團體越異質(zhì),分數(shù)分布范圍越大測驗效度就越高。(1)只以選拔上的被試為樣本團體參加效度研究,降低了測驗的效度。(2)選拔標準太高,樣本團體的同質(zhì)性增高,降低了測驗的效度。
2、干涉變量。樣本團體的性質(zhì)對效度的影響還表現(xiàn)在:對于同性質(zhì)的團體,同一測驗的效度會有很大的不同。這些樣本團體的特質(zhì)包括:年齡、性別、教育水平、智力、動機、職業(yè)和任何有關(guān)的特征。由于這寫特征的影響,使得測驗對于不同的團體具有不同的預(yù)測能力,故測量學(xué)上稱這些特征為干涉變量。
吉賽利提出的如何找出干涉變量的一套方法:
①用回歸方程求得每個人的預(yù)測效標分數(shù),將該分數(shù)與實際效標分數(shù)想比較,獲得差異分數(shù)D.如果D的絕對值很大,說明測驗中可能存在干涉變量。
②根據(jù)樣本團體的組成分析,找出對照組,分別計算效度,從而象上述關(guān)于出租汽車司機的例子一樣,找出干涉變量。
③對于欲測團體,根據(jù)某些易見的干涉變量將其區(qū)分為預(yù)測性高和預(yù)測性低的兩個亞團體。對于預(yù)測性高的團體,獲得的測驗效度會有所提高。
三、 效標的性質(zhì)
(1) 效標與測驗分數(shù)之間的關(guān)系是否線性關(guān)系是一個很重要的因素。皮爾遜劑差相關(guān)系數(shù)的前題是假設(shè)兩個變量的關(guān)系是線性的分布。
(2) 效標測量本身的可靠性如何亦是值得考慮的一個問題。
第五章 項目分析
一般來說,測驗的項目分析包括定性分析和定量分析兩個方面。
第一節(jié) 難度分析
難度是指項目的難易程度。在能力測驗中通常需要一個反映難度水平的指標,在非能力測驗(人格測驗)中,類似的指標是“通俗性”,即取自相同總體的樣本中,能在答案方向上回答該題的人數(shù)。(名詞解釋)
一、 難度的指標: 難度的指標通常以通過率表示,即以答對或通過該題的人數(shù)百分比來表示。
(公式5-1)
二、難度的計算
1、二分法記分的項目:心理測驗的項目大多為選擇題,通過記1分,不通過記0分。當被試人數(shù)較多時,可根據(jù)測驗總成績將被試分為三組:分數(shù)最高的27%被試為高分組( ),分數(shù)最低的27%被試為低分組( )中間46%的被試為中間組。分別計算高分組和低分組的通過率,以兩組通過率的平均值作為每一題的難度。
由于選擇題允許猜測,所以通過率可能因機遇作用而變大。備選答案的數(shù)目越少,機遇的作用越大,越不能真正反映測驗的難度。為此,吉爾福特提出了一個P值校正公式。
例題:假定某題有75%的被試通過,若該題有5個備選答案,則校正后的通過率為:
(當有4個備選答案時,CP=0.67;有3個,CP=0.63;有2個,CP=0.54)
2、非二分記分的項目:如果人為地明確通過每一題的分數(shù)線,也可以用公式5-2計算難度。但此種方法的缺點在于,采用不同的分數(shù)線會得到不同的難度值,因此不常用。
三、難度水平的確定
1、項目難度的確定:進行難度分析的主要目的是為了篩選項目,項目的難度多高合適,取決于測驗的目的、性質(zhì)以及項目的形式。為了使測驗具有更大的區(qū)別力,應(yīng)選擇難度在0.50左右的試題比較合適。但是在實際各種中并得非如此簡單。在選擇題目時,最好使試題的平均難度接近0.50,而各題難度在0.50 0.20之間。當測驗用于選拔或診斷時,應(yīng)該比較多地選擇難度值接近錄取率的項目。對于選擇題來說,P值一般應(yīng)大于概率水平。
2、測驗難度的確定:測驗的難度直接依賴于組成測驗的項目的難度。通過考察測驗分數(shù)的分布,可以對測驗的難度做出直觀檢驗。
第二節(jié) 項目的區(qū)分度
一、 項目區(qū)分度的概念:也叫鑒別力,是指測驗項目對被試的心理特性的區(qū)分能力。(名詞解釋)
二、項目區(qū)分度的估計方法
1、鑒別指數(shù):首先分別計算高分組與低分組在該項目上的通過率,然后用高分組在該項目上的通過率減去低分組在該項目上的通過率。 (公式 5-7) 項目鑒別指數(shù)與評價標準
鑒別指數(shù) 項目評價
0.40以上 很好
0.30-0.39 良好,修改后會更佳
0.20-0.29 尚可,但需修改
0.19以下 差,必須淘汰
2、相關(guān)系數(shù):①點二列相關(guān):適用于一類變量為二分稱名變量,另一類變量為連續(xù)變量的成對變量的相關(guān)計算。
②二列相關(guān):適用于兩個連續(xù)變量,但其中一個變量被人為分成兩類。
③ 相關(guān):適用于兩個變量均為二分稱名變量。
3、 區(qū)分度與難度的關(guān)系
(1) 假如樣本中通過某一項目的人數(shù)比率為1.00或0,說明高分組與低分組在通過率上不存在差異,因此D為0;假如項目的通過率為0.50,則可能是高分組的所有人都通過了,而低分組卻無人通過,這樣D的最大值可能達到1.00.
(2) 為了使整個測驗項目的潛在區(qū)分度最大,似乎應(yīng)該使每個項目的難度處于0.50水平,但事實并非如此簡單。如果每一個項目的難度均處于0.50,由于項目難度相同,有可能大多趨向于有關(guān)的內(nèi)容或技能,結(jié)果造成項目同質(zhì)性提高。在極端情況下,有可能50%的被試全部通過各項目得滿分,另外50%的被試全部為0分,形成U形分布,這樣反而降低總分的區(qū)分能力。如果測驗的所有項目都是中等難度,只有項目的內(nèi)在相關(guān)為0時,整個測驗才能產(chǎn)生常態(tài)分布??紤]到一般測驗項目之間具有某種程度的相關(guān)難度的分布要廣一些,梯度多一些,是合乎需要的。
第三節(jié) 項目分析的特殊問題
1、 項目特征曲線:是項目特征函數(shù)或項目反應(yīng)函數(shù)的圖解形式,它反映了被試對某一測驗項目的正確反應(yīng)概率與該項目所對應(yīng)的能力或特質(zhì)的水平之間的一種函數(shù)關(guān)系。
(1)項目特征曲線可圖解測驗的鑒別力,項目鑒別力的高低主要在于其曲線的傾斜度,曲線坡度越陡,鑒別能力越好,預(yù)測的誤差越小。
(2)項目特征曲線可以圖解項目難度。
(3)項目特征曲線還可以圖解選擇題的誘答反應(yīng)。(簡答、名詞解釋)