第四章 如何建立人事測量工具
要建立一項完善的人事測量工具,目標設定是第一步。如何根據(jù)測量目標確定合適的測量工具是決定測量效果的關鍵因素。
一、針對不同目的的測量工具的設計
1、測量目標的分析
(1)測量目標是指測量工具作什么用。
(2)顯示性測量反映被測者具有什么知識和特點,能完成什么任務。例如,成就測驗、態(tài)度測驗就是顯示性測量。觀察法、調查法都是顯示性測量工具。
(3)預測性測量工具幫助預測一個人在不同情境下的行為。部分人格測驗可以預測個體將來的工作風格。而角色扮演、公文筐測驗能夠直接預測個體將來在同樣的工作情境中的工作表現(xiàn)。
(4)測量工具有編制者還必須把測量目標轉換成可操作的測量指標,這種轉換過程稱之為操作化或目標分析過程。
(5)目標分析與測量目標是密切相關的。
根據(jù)測量目的的不同,我們區(qū)別以下三種情況來具體分析:
1)對于有選拔和預測功用的預測性測量工具,它的主要任務是要對所預測的行為活動做具體分析,故稱之為任務分析或工作分析。
首先要確定,為了使所預測的活動達到成功,需要哪些心理特質和行為。
其次,還要建立衡量被試成功與否的標準這個標準稱為為效標。效標可以作為鑒別測量工具有預測是否有效的重要指標。
2)如果測量工具用于測量一種特殊的心理品質或特質,那么首先就必須給所要測量的心理和行為特質下定義,然后找出該物質往往通過什么行為表現(xiàn)出來。
3)如果測量工具是描述性的顯示測驗,它的目標分析的主要任務則是確定所要顯示的內容和技能,從中取樣。
(6)雙向細目表是一個由測量的內容材料維度和行為技能維度所構成的表格,它能幫助成就測量工具的編制者決定應該選擇哪些方面的題目以及各類題目應占的比例。
2、根據(jù)測量目標確定測量的內容和形式
確定測量內容和形式是決定性的關鍵,它決定測量有效與否。下面列舉一個針對測量目標進行具體測量內容和測量形式設計的實例:例:某商場需要招聘一批具有一定工作能力、有敬業(yè)精神并且掌握一定專業(yè)知識的攝像設備的銷售人員。
第一步——確定測量目標:對應聘者將來的工作能力、工作動機進行預測,并且對應聘者現(xiàn)有的專業(yè)知識進行了解。
第二步——設計測量內容:根據(jù)銷售員任職資格的要求,其工作能力可以分解為以下內容:言語交流能力、說服能力、推銷技巧。
第三步——設計測量形式:根據(jù)測量內容建議采用情境模擬測驗形式對工作能力進行測量,用自陳量表形式對動機進行測量,并設計一項標準化的攝像知識的紙筆考試。
3、根據(jù)測量的對象確定題目的形式
在編制測量工具時,還應該考慮使用測量工具的團體的組成和特點,如被試的年齡、智力水平、受教育程度、社會經(jīng)濟地位、文化背景、閱讀水平等因素。測量工具針對的對象不同,測量工具采取的形式、題目的編寫、測量題目的難度、取樣的范圍都可能有所不同。
二、題目的設計和測量的編制
編寫出的題目應比實際需要多20%以上,如果考慮到以后還要不斷篩選和修改,初次編寫的題目量可以比實際需要的多出一倍到幾倍。
1、測驗題目的來源
收集題目的方法有很我,包括從現(xiàn)成的測驗中選取、按照現(xiàn)有理論設計、請專家設計等。
(1)最簡單、最直接的方法,是從已經(jīng)出版的各種標準的測量工具中選擇合適的題目。
(2)現(xiàn)成的理論從來都是設計測驗題目的重要參考。
(3)專家無疑是設計測驗的重要資源。
2、在收集題目時應注意幾個問題:
(1)題目的來源要盡可能地豐富,這樣測量內容不至于偏頗,并能提高行為樣本的代表性;
(2)題目要有普遍性,尤其是成就測驗,要保證所有施測對象都學過該測驗中題目所包含的內容;
(3)在編制智力或能力等本身不應體現(xiàn)文化影響的內容的測量題目時,要盡量避免文化背景差異的影響。
3、題目編寫的原則
對測量工具題目進行編寫要遵從某些一般原則,這些原則可以歸納為內容、語言、表達與理解這四個方面。
(1)針對題目內容的原則
1)要求題目的內容符合測量工具的目的,避免貪多而亂出題目;
2)內容取樣要有代表性,符合測量工具計劃的內容;
3)各個試題必須彼此獨立,不可互相重復或牽連,切忌一個題目的答案影響對另一個題目的回答。
(2)針對題目語言的原則
1)使用準確的當代語言,不要使用古僻艱深的詞句;
2)文句須簡明扼要,既排除與解題無關的陳述,又不要遺漏解題的必要條件;
3)最好一句話說明一個概念,不要使用兩個或兩個以上的觀念;
4)意義必須明確,不得曖昧或含糊,盡量少使用雙重否定句。
(3)針對題目表達的原則
1)盡量避免主觀性和情緒化的字句;
2)不要傷害被試感情,避免涉及社會禁忌或隱私;
3)避免誘導和暗示答案;
4)避免令被試為難的問題(被試沒有明確結論或羞于啟齒的問題)。
(4)針對題目理解的原則
1)題目應有確切答案,不應具有引起爭議的可能(創(chuàng)造力測驗、人格類測驗例外);
2)題目內容不要超出受測團體的知識和能力范圍;
3)題目的格式不要引起誤解。
4、題目的分類
根據(jù)被試所作出的反應方式進行分類,可以分為提供型和選擇型題目。
(1)提供型題目要求被試提供答案,如問答題、填充題。另外,各種操作性題目,如畫圖、表演、完成某項任務、回答問題等,都可以算做提供型題目;
(2)選擇型題目則要求被試在提供的備選答案中選擇正確答案,如是非題、匹配題、選擇題。
5、常用題目類型與編制要領
(1)問答題
問答題的主要優(yōu)點在于它能夠測量被試組織材料的能力、綜合能力和文字表達能力,有的甚至可以測量評價能力和創(chuàng)造能力,而這些能力是其他客觀題難以測量的。相對來說,問答題有幾大優(yōu)勢:
1)較好編制題目無需要太多;
2)不需準備備選答案,答案是由被試自己生成;
3)可以避免被試隨機猜測答案的可能。
問答題的問題(缺點)也很突出:
首先,問答題一般回答時間長,占分數(shù)大,因此題量不宜太大,所以能測量到的內容也有限,對行為的取樣受到局限。
其次,問答題的評分標準也不容易標準化。不同評分者對同一答案的評分一致性相關系數(shù)僅在0.62~0.72之間。同一主分者對兩份等值的答案的評分信度更低,僅在0.42~0.43之間。
再次,問答題的評分容易受書寫的整潔程度、個人成見等無關因素的影響。
編制問答題時應注意以下幾點:
1)問題應清楚而且明確,使被試了解答題要求;
2)題目的數(shù)量不要太多,以免變成速度測驗;
3)在編制題目時應該有一個理想答案或一系列答題標準,同時對另外一些可接受的答案應有所規(guī)定和說明。
(2)選擇題
選擇題通常包括兩個部分:
一是題干,即呈現(xiàn)一個問題的情境,由直接問句或不完全的陳述句構成;
另一部分為選項,即對問題的幾種可能的回答,包括正確答案及若干錯誤答案,這些錯誤答案叫做誘答。
選擇題的主要優(yōu)點包括:
1)適用范圍廣,從一般知識到復雜能力的測量均可使用;
2)題意明確,被試的反應簡單,容易計分;
3)與其他形式的客觀題相比,更少受猜測和反應定勢的影響,評分較為客觀;
4)選擇題的題量可以較大,考察的范圍更廣,取樣代表性較高。
選擇題的缺點:
首先,在于誘答題難以編制,誘答的數(shù)量要求多,而且還要似是而非,讓哪些不知道正確答案的被試感到無從選擇,這相對來說較為困難。
另外,通過選擇題較難測出個體組織能力、表達能力和創(chuàng)造性等特點。
(3)是非題
是非題的共同特征是只有兩種可能的反應,其中一種是肯定的(同意,正確,是),另一種是否定的(不同意,錯誤,否)。
反應定勢就是指部分被試在回答問題時,其答案的選擇建立在題目的形式或位置上,而不是建立在題目內容的基礎之上。
是非題的優(yōu)點:是非題也有其長處。它能很快書寫和閱讀,因此題量可以較大,便于廣泛取樣;記分也比較客觀。
(4)匹配題
匹配題可以說是選擇題的一種變式。
1)匹配題的優(yōu)點:匹配題容易編制,而且可以在短時間內測量大量相關聯(lián)的材料,覆蓋面較廣。
2)匹配題的缺點:它一般只能測量簡單記憶的事實材料或概念關系,并且要求編制的選項必須是同質的。
(5)填充題
填充題是提供型的題目,它要求受測者用一個正確的詞或句子來完成或填充一個未完成句子的空白,或者是提供一個正確的答案。
(6)操作性測量形式
在很多情況下,操作的應考過程是重要的測量目標,而這是紙筆測驗無法測量的,這時可以采用擔任性測量形式。
操作性測試題通常分為著重過程和著重結果兩種形式??疾靸x器操作、演講、演奏樂器和其他各種技藝。例如文章、圖畫等。當然,也有的需要同時考察過程和結果,如工作樣本測驗。
按測試情境的真實性程度可以分為:
1)紙筆的操作性測試:雖用紙筆但偏重于模擬情境下知識的應用。如公文筐測驗。
2)模擬操作測試:強調正確的程序,被試需要在模擬情境下完成與真實活動相同的動作,如駕駛員的考核等。
3)工作樣本操作測試:其真實性最高,包括了真實作業(yè)的全部要素,但是是在有控制的條件下去完成的。如司機在標準場地內的考核,師范學生的教學實習等。
作品量表一般包括一系列按順序排列的不同作業(yè)程度、水平、質量的標準樣本,評分時參照這些標準樣本對被試結果進行評分。
(7)面試
面試是目前在企業(yè)及各類組織中最流行的考察手段。但是面試的考核缺乏心理測量學的嚴格性,易受考官的個人偏見或歧視的影響。
三、題目的編排
選擇和編排過程包括定性的邏輯分析和根據(jù)預測的結果進行的定量分析。
1、對題目進行初步選擇的主要依據(jù)是:題目本身的性質、對預期測量目標的可測量程度。
這一步可以細分為如下幾個步驟:
(1)檢查題目是否符合細目表中某一單元格內容的要求。
(2)根據(jù)細目表對各部分所要求的比例選擇適當數(shù)量的測試題,使測量工具盡量覆蓋整個細目表的內容。
(3)檢查題目是否敘述明確清楚,是否提供了額外線索。
(4)檢查題目十分適合將要施測的對象和施測的條件。
(5)檢查題目的難度是否恰當,一般來說,難度定為0.5較為合適。
(6)檢查所選擇的題目是否彼此獨立,沒有重疊。
(7)在選擇題目時還要注意測量工具的長度。
2、題目編排的一般原則:
(1)將測量相同因素的測試題排列在一起。
(2)盡可能地將同一類型的測試題組合在一起。
(3)難度測驗的題目應按由易到難排列。
(4)對于人格測驗,應盡量避免將測量同一特質的題目編排在一起,防止被試猜測出題目所要測查的因素。
3、測試題的預測試和分析
(1)必須將預備測試題對一定規(guī)模的小樣本進行施測,獲得數(shù)據(jù)以進行校驗、修訂。這一過程稱為測試題的預測試。
(2)數(shù)據(jù)收集上來之后,就應該利用這些數(shù)據(jù)對題目進行了分析,刪除不好的題目或對題目進行修改,這個過程稱為題目分析。
(3)對測試題的預測試應注意以下問題:
1)預測試對象必須和將來正式測試的對象相似,取樣應注意其代表性,人數(shù)不必太多,但不能太少,一般不應少于三十人。
2)預測試的實施過程與情境應力求與將來正式測量工具實施時的情況相似。
3)預測試的時限可稍寬些,最好使每個被試都能將題目答完,以便搜集充分的反應資料,使統(tǒng)計分析的結果更為可靠。
4)在預測試過程中,應將被試的各種反映情況隨時加以記錄。
(4)預測試完成后,可以根據(jù)預測結果進行題目分析,對每個題目的具體分析稱為項目分析。
4、測驗手冊的內容一般包括:
(1)測驗的一般信息:標題名稱、作者、施測形式、記錄形式。
(2)測驗目的和作用。通常手冊應指出測驗可作何種用途,如選拔、指導、評價,適用對象,以及所測量的內容,如測量何種能力、特質等。
(3)測驗編制的理論背景和題目的來源。
(4)測驗的實施方法、時間要求及注意事項,包括對施測現(xiàn)場環(huán)境的要求、指示語和對主試的訓練要求。
(5)測驗的標準答案和記分方法。
(6)常模表、常模知縣團體及測驗計分系統(tǒng)、解釋系統(tǒng),以及樣本的選擇方法。
(7)測驗的信度資料和效度資料,以及這些資料取得的條件和情境,包括調查的樣本和時間。
測驗使用手冊可以說是測驗的“門面”,其編寫的好壞、形式十分重要。