要建立一項完善的人事測量工具,目標設(shè)定是第一步。如何根據(jù)測量目標確定合適的測量工具是決定測量效果的關(guān)鍵因素。
一、針對不同目的的測量工具的設(shè)計
1、測量目標的分析
(1)測量目標是指測量工具作什么用。
(2)顯示性測量反映被測者具有什么知識和特點,能完成什么任務(wù)。例如,成就測驗、態(tài)度測驗就是顯示性測量。觀察法、調(diào)查法都是顯示性測量工具。
(3)預(yù)測性測量工具幫助預(yù)測一個人在不同情境下的行為。部分人格測驗可以預(yù)測個體將來的工作風(fēng)格。而角色扮演、公文筐測驗?zāi)軌蛑苯宇A(yù)測個體將來在同樣的工作情境中的工作表現(xiàn)。
(4)測量工具有編制者還必須把測量目標轉(zhuǎn)換成可操作的測量指標,這種轉(zhuǎn)換過程稱之為操作化或目標分析過程。
(5)目標分析與測量目標是密切相關(guān)的。
根據(jù)測量目的的不同,我們區(qū)別以下三種情況來具體分析:
1)對于有選拔和預(yù)測功用的預(yù)測性測量工具,它的主要任務(wù)是要對所預(yù)測的行為活動做具體分析,故稱之為任務(wù)分析或工作分析。
首先要確定,為了使所預(yù)測的活動達到成功,需要哪些心理特質(zhì)和行為。
其次,還要建立衡量被試成功與否的標準這個標準稱為為效標。效標可以作為鑒別測量工具有預(yù)測是否有效的重要指標。
2)如果測量工具用于測量一種特殊的心理品質(zhì)或特質(zhì),那么首先就必須給所要測量的心理和行為特質(zhì)下定義,然后找出該物質(zhì)往往通過什么行為表現(xiàn)出來。
3)如果測量工具是描述性的顯示測驗,它的目標分析的主要任務(wù)則是確定所要顯示的內(nèi)容和技能,從中取樣。
(6)雙向細目表是一個由測量的內(nèi)容材料維度和行為技能維度所構(gòu)成的表格,它能幫助成就測量工具的編制者決定應(yīng)該選擇哪些方面的題目以及各類題目應(yīng)占的比例。
2、根據(jù)測量目標確定測量的內(nèi)容和形式
確定測量內(nèi)容和形式是決定性的關(guān)鍵,它決定測量有效與否。下面列舉一個針對測量目標進行具體測量內(nèi)容和測量形式設(shè)計的實例:例:某商場需要招聘一批具有一定工作能力、有敬業(yè)精神并且掌握一定專業(yè)知識的攝像設(shè)備的銷售人員。
第一步——確定測量目標:對應(yīng)聘者將來的工作能力、工作動機進行預(yù)測,并且對應(yīng)聘者現(xiàn)有的專業(yè)知識進行了解。
第二步——設(shè)計測量內(nèi)容:根據(jù)銷售員任職資格的要求,其工作能力可以分解為以下內(nèi)容:言語交流能力、說服能力、推銷技巧。
第三步——設(shè)計測量形式:根據(jù)測量內(nèi)容建議采用情境模擬測驗形式對工作能力進行測量,用自陳量表形式對動機進行測量,并設(shè)計一項標準化的攝像知識的紙筆考試。
3、根據(jù)測量的對象確定題目的形式
在編制測量工具時,還應(yīng)該考慮使用測量工具的團體的組成和特點,如被試的年齡、智力水平、受教育程度、社會經(jīng)濟地位、文化背景、閱讀水平等因素。測量工具針對的對象不同,測量工具采取的形式、題目的編寫、測量題目的難度、取樣的范圍都可能有所不同。
二、題目的設(shè)計和測量的編制
編寫出的題目應(yīng)比實際需要多20%以上,如果考慮到以后還要不斷篩選和修改,初次編寫的題目量可以比實際需要的多出一倍到幾倍。
1、測驗題目的來源
收集題目的方法有很我,包括從現(xiàn)成的測驗中選取、按照現(xiàn)有理論設(shè)計、請專家設(shè)計等。
(1)最簡單、最直接的方法,是從已經(jīng)出版的各種標準的測量工具中選擇合適的題目。
(2)現(xiàn)成的理論從來都是設(shè)計測驗題目的重要參考。
(3)專家無疑是設(shè)計測驗的重要資源。
2、在收集題目時應(yīng)注意幾個問題:
(1)題目的來源要盡可能地豐富,這樣測量內(nèi)容不至于偏頗,并能提高行為樣本的代表性;
(2)題目要有普遍性,尤其是成就測驗,要保證所有施測對象都學(xué)過該測驗中題目所包含的內(nèi)容;
(3)在編制智力或能力等本身不應(yīng)體現(xiàn)文化影響的內(nèi)容的測量題目時,要盡量避免文化背景差異的影響。
3、題目編寫的原則
對測量工具題目進行編寫要遵從某些一般原則,這些原則可以歸納為內(nèi)容、語言、表達與理解這四個方面。
(1)針對題目內(nèi)容的原則
1)要求題目的內(nèi)容符合測量工具的目的,避免貪多而亂出題目;
2)內(nèi)容取樣要有代表性,符合測量工具計劃的內(nèi)容;
3)各個試題必須彼此獨立,不可互相重復(fù)或牽連,切忌一個題目的答案影響對另一個題目的回答。
(2)針對題目語言的原則
1)使用準確的當(dāng)代語言,不要使用古僻艱深的詞句;
2)文句須簡明扼要,既排除與解題無關(guān)的陳述,又不要遺漏解題的必要條件;
3)最好一句話說明一個概念,不要使用兩個或兩個以上的觀念;
4)意義必須明確,不得曖昧或含糊,盡量少使用雙重否定句。
(3)針對題目表達的原則
1)盡量避免主觀性和情緒化的字句;
2)不要傷害被試感情,避免涉及社會禁忌或隱私;
3)避免誘導(dǎo)和暗示答案;
4)避免令被試為難的問題(被試沒有明確結(jié)論或羞于啟齒的問題)。
(4)針對題目理解的原則
1)題目應(yīng)有確切答案,不應(yīng)具有引起爭議的可能(創(chuàng)造力測驗、人格類測驗例外);
2)題目內(nèi)容不要超出受測團體的知識和能力范圍;
3)題目的格式不要引起誤解。
4、題目的分類
根據(jù)被試所作出的反應(yīng)方式進行分類,可以分為提供型和選擇型題目。
(1)提供型題目要求被試提供答案,如問答題、填充題。另外,各種操作性題目,如畫圖、表演、完成某項任務(wù)、回答問題等,都可以算做提供型題目;
(2)選擇型題目則要求被試在提供的備選答案中選擇正確答案,如是非題、匹配題、選擇題。
5、常用題目類型與編制要領(lǐng)
(1)問答題
問答題的主要優(yōu)點在于它能夠測量被試組織材料的能力、綜合能力和文字表達能力,有的甚至可以測量評價能力和創(chuàng)造能力,而這些能力是其他客觀題難以測量的。相對來說,問答題有幾大優(yōu)勢:
1)較好編制題目無需要太多;
2)不需準備備選答案,答案是由被試自己生成;
3)可以避免被試隨機猜測答案的可能。
問答題的問題(缺點)也很突出:
首先,問答題一般回答時間長,占分數(shù)大,因此題量不宜太大,所以能測量到的內(nèi)容也有限,對行為的取樣受到局限。
其次,問答題的評分標準也不容易標準化。不同評分者對同一答案的評分一致性相關(guān)系數(shù)僅在0.62~0.72之間。同一主分者對兩份等值的答案的評分信度更低,僅在0.42~0.43之間。
再次,問答題的評分容易受書寫的整潔程度、個人成見等無關(guān)因素的影響。
編制問答題時應(yīng)注意以下幾點:
1)問題應(yīng)清楚而且明確,使被試了解答題要求;
2)題目的數(shù)量不要太多,以免變成速度測驗;
3)在編制題目時應(yīng)該有一個理想答案或一系列答題標準,同時對另外一些可接受的答案應(yīng)有所規(guī)定和說明。
(2)選擇題
選擇題通常包括兩個部分:
一是題干,即呈現(xiàn)一個問題的情境,由直接問句或不完全的陳述句構(gòu)成;
另一部分為選項,即對問題的幾種可能的回答,包括正確答案及若干錯誤答案,這些錯誤答案叫做誘答。
選擇題的主要優(yōu)點包括:
1)適用范圍廣,從一般知識到復(fù)雜能力的測量均可使用;
2)題意明確,被試的反應(yīng)簡單,容易計分;
3)與其他形式的客觀題相比,更少受猜測和反應(yīng)定勢的影響,評分較為客觀;
4)選擇題的題量可以較大,考察的范圍更廣,取樣代表性較高。
選擇題的缺點:
首先,在于誘答題難以編制,誘答的數(shù)量要求多,而且還要似是而非,讓哪些不知道正確答案的被試感到無從選擇,這相對來說較為困難。
另外,通過選擇題較難測出個體組織能力、表達能力和創(chuàng)造性等特點。
(3)是非題
是非題的共同特征是只有兩種可能的反應(yīng),其中一種是肯定的(同意,正確,是),另一種是否定的(不同意,錯誤,否)。
反應(yīng)定勢就是指部分被試在回答問題時,其答案的選擇建立在題目的形式或位置上,而不是建立在題目內(nèi)容的基礎(chǔ)之上。
是非題的優(yōu)點:是非題也有其長處。它能很快書寫和閱讀,因此題量可以較大,便于廣泛取樣;記分也比較客觀。
(4)匹配題
匹配題可以說是選擇題的一種變式。
1)匹配題的優(yōu)點:匹配題容易編制,而且可以在短時間內(nèi)測量大量相關(guān)聯(lián)的材料,覆蓋面較廣。
2)匹配題的缺點:它一般只能測量簡單記憶的事實材料或概念關(guān)系,并且要求編制的選項必須是同質(zhì)的。
(5)填充題
填充題是提供型的題目,它要求受測者用一個正確的詞或句子來完成或填充一個未完成句子的空白,或者是提供一個正確的答案。
(6)操作性測量形式
在很多情況下,操作的應(yīng)考過程是重要的測量目標,而這是紙筆測驗無法測量的,這時可以采用擔(dān)任性測量形式。
操作性測試題通常分為著重過程和著重結(jié)果兩種形式??疾靸x器操作、演講、演奏樂器和其他各種技藝。例如文章、圖畫等。當(dāng)然,也有的需要同時考察過程和結(jié)果,如工作樣本測驗。
按測試情境的真實性程度可以分為:
1)紙筆的操作性測試:雖用紙筆但偏重于模擬情境下知識的應(yīng)用。如公文筐測驗。
2)模擬操作測試:強調(diào)正確的程序,被試需要在模擬情境下完成與真實活動相同的動作,如駕駛員的考核等。
3)工作樣本操作測試:其真實性最高,包括了真實作業(yè)的全部要素,但是是在有控制的條件下去完成的。如司機在標準場地內(nèi)的考核,師范學(xué)生的教學(xué)實習(xí)等。
作品量表一般包括一系列按順序排列的不同作業(yè)程度、水平、質(zhì)量的標準樣本,評分時參照這些標準樣本對被試結(jié)果進行評分。
(7)面試
面試是目前在企業(yè)及各類組織中最流行的考察手段。但是面試的考核缺乏心理測量學(xué)的嚴格性,易受考官的個人偏見或歧視的影響。
三、題目的編排
選擇和編排過程包括定性的邏輯分析和根據(jù)預(yù)測的結(jié)果進行的定量分析。
1、對題目進行初步選擇的主要依據(jù)是:題目本身的性質(zhì)、對預(yù)期測量目標的可測量程度。
這一步可以細分為如下幾個步驟:
(1)檢查題目是否符合細目表中某一單元格內(nèi)容的要求。
(2)根據(jù)細目表對各部分所要求的比例選擇適當(dāng)數(shù)量的測試題,使測量工具盡量覆蓋整個細目表的內(nèi)容。
(3)檢查題目是否敘述明確清楚,是否提供了額外線索。
(4)檢查題目十分適合將要施測的對象和施測的條件。
(5)檢查題目的難度是否恰當(dāng),一般來說,難度定為0.5較為合適。
(6)檢查所選擇的題目是否彼此獨立,沒有重疊。
(7)在選擇題目時還要注意測量工具的長度。
2、題目編排的一般原則:
(1)將測量相同因素的測試題排列在一起。
(2)盡可能地將同一類型的測試題組合在一起。
(3)難度測驗的題目應(yīng)按由易到難排列。
(4)對于人格測驗,應(yīng)盡量避免將測量同一特質(zhì)的題目編排在一起,防止被試猜測出題目所要測查的因素。
3、測試題的預(yù)測試和分析
(1)必須將預(yù)備測試題對一定規(guī)模的小樣本進行施測,獲得數(shù)據(jù)以進行校驗、修訂。這一過程稱為測試題的預(yù)測試。
(2)數(shù)據(jù)收集上來之后,就應(yīng)該利用這些數(shù)據(jù)對題目進行了分析,刪除不好的題目或?qū)︻}目進行修改,這個過程稱為題目分析。
(3)對測試題的預(yù)測試應(yīng)注意以下問題:
1)預(yù)測試對象必須和將來正式測試的對象相似,取樣應(yīng)注意其代表性,人數(shù)不必太多,但不能太少,一般不應(yīng)少于三十人。
2)預(yù)測試的實施過程與情境應(yīng)力求與將來正式測量工具實施時的情況相似。
3)預(yù)測試的時限可稍寬些,最好使每個被試都能將題目答完,以便搜集充分的反應(yīng)資料,使統(tǒng)計分析的結(jié)果更為可靠。
4)在預(yù)測試過程中,應(yīng)將被試的各種反映情況隨時加以記錄。
(4)預(yù)測試完成后,可以根據(jù)預(yù)測結(jié)果進行題目分析,對每個題目的具體分析稱為項目分析。
4、測驗手冊的內(nèi)容一般包括:
(1)測驗的一般信息:標題名稱、作者、施測形式、記錄形式。
(2)測驗?zāi)康暮妥饔?。通常手冊?yīng)指出測驗可作何種用途,如選拔、指導(dǎo)、評價,適用對象,以及所測量的內(nèi)容,如測量何種能力、特質(zhì)等。
(3)測驗編制的理論背景和題目的來源。
(4)測驗的實施方法、時間要求及注意事項,包括對施測現(xiàn)場環(huán)境的要求、指示語和對主試的訓(xùn)練要求。
(5)測驗的標準答案和記分方法。
(6)常模表、常模知縣團體及測驗計分系統(tǒng)、解釋系統(tǒng),以及樣本的選擇方法。
(7)測驗的信度資料和效度資料,以及這些資料取得的條件和情境,包括調(diào)查的樣本和時間。
測驗使用手冊可以說是測驗的“門面”,其編寫的好壞、形式十分重要。