1. 項(xiàng)目概述從“問(wèn)”到“測(cè)”的本質(zhì)跨越在數(shù)據(jù)驅(qū)動(dòng)的決策時(shí)代無(wú)論是學(xué)術(shù)研究、市場(chǎng)洞察還是用戶調(diào)研收集和分析人的態(tài)度、認(rèn)知與行為數(shù)據(jù)都至關(guān)重要。我們常常聽(tīng)到“問(wèn)卷”和“量表”這兩個(gè)詞它們似乎都用于收集信息但在實(shí)際工作中混用它們可能導(dǎo)致數(shù)據(jù)質(zhì)量低下甚至得出完全錯(cuò)誤的結(jié)論。我自己在多年的用戶研究工作中就曾因?yàn)樵缙趯?duì)這兩者區(qū)別的模糊認(rèn)識(shí)踩過(guò)不少坑——比如試圖用一份簡(jiǎn)單的滿意度問(wèn)卷去測(cè)量用戶對(duì)品牌的忠誠(chéng)度結(jié)果數(shù)據(jù)波動(dòng)巨大根本無(wú)法用于指導(dǎo)產(chǎn)品迭代。簡(jiǎn)單來(lái)說(shuō)問(wèn)卷更像是一個(gè)“信息收集籃”它的核心目標(biāo)是獲取事實(shí)性、描述性的信息比如“您的年齡是”、“您最近一次購(gòu)買我們的產(chǎn)品是在什么時(shí)候”。而量表則是一個(gè)“心理測(cè)量?jī)x”它的目標(biāo)是量化那些看不見(jiàn)、摸不著的心理構(gòu)念比如“滿意度”、“焦慮程度”、“品牌認(rèn)同感”。前者問(wèn)的是“是什么”后者測(cè)的是“有多強(qiáng)”。這個(gè)根本性的區(qū)別直接決定了從設(shè)計(jì)、施測(cè)到數(shù)據(jù)分析的全流程方法論。今天我們就來(lái)徹底厘清這兩者的區(qū)別并重點(diǎn)深入探討量表的核心生命線——信度與效度以及如何用實(shí)操方法去測(cè)量它們。無(wú)論你是社科領(lǐng)域的研究生、市場(chǎng)部的分析師還是產(chǎn)品經(jīng)理掌握這些知識(shí)都能讓你設(shè)計(jì)出的調(diào)研工具更可靠得出的結(jié)論更經(jīng)得起推敲。2. 核心概念辨析問(wèn)卷與量表的本質(zhì)差異2.1 設(shè)計(jì)目的與測(cè)量對(duì)象問(wèn)卷和量表最根本的差異在于其設(shè)計(jì)初衷。問(wèn)卷的設(shè)計(jì)目的是為了獲取廣泛的信息其問(wèn)題通常稱為“題項(xiàng)”可以是開(kāi)放式的也可以是封閉式的但核心是描述現(xiàn)狀。例如一份用戶畫(huà)像問(wèn)卷可能包含人口統(tǒng)計(jì)學(xué)問(wèn)題性別、職業(yè)、行為事實(shí)問(wèn)題使用頻率、常用功能以及一些簡(jiǎn)單的態(tài)度題“您是否喜歡這個(gè)功能”是/否。它的結(jié)構(gòu)可以非常靈活各部分之間邏輯關(guān)聯(lián)可強(qiáng)可弱。量表則截然不同它是為了精確測(cè)量一個(gè)特定的、抽象的“理論構(gòu)念”而存在的。這個(gè)構(gòu)念比如“工作投入度”、“感知易用性”、“社會(huì)支持”無(wú)法被直接觀察必須通過(guò)一系列精心設(shè)計(jì)的、相互關(guān)聯(lián)的題項(xiàng)來(lái)間接推斷。每一個(gè)題項(xiàng)都是這個(gè)構(gòu)念的一個(gè)“指示器”或“側(cè)面反映”。因此量表的所有題項(xiàng)都服務(wù)于同一個(gè)核心概念它們之間必須具備高度的內(nèi)在一致性。例如測(cè)量“焦慮”的量表可能會(huì)從“緊張感”、“憂慮想法”、“生理反應(yīng)”等多個(gè)維度設(shè)計(jì)題項(xiàng)所有這些題項(xiàng)得分匯總起來(lái)才能代表“焦慮”這個(gè)構(gòu)念的水平。注意一個(gè)常見(jiàn)的誤區(qū)是認(rèn)為使用了李克特量表如“非常不同意”到“非常同意”的五點(diǎn)或七點(diǎn)選項(xiàng)的就是量表。實(shí)際上李克特只是一種評(píng)分格式。一個(gè)問(wèn)卷中的某個(gè)部分可以采用李克特格式來(lái)詢問(wèn)態(tài)度但只有當(dāng)一個(gè)模塊的所有題項(xiàng)都在共同測(cè)量同一個(gè)理論構(gòu)念并且需要評(píng)估其信效度時(shí)這個(gè)模塊才能被稱為一個(gè)量表。2.2 題項(xiàng)結(jié)構(gòu)與計(jì)分方式在題項(xiàng)設(shè)計(jì)上問(wèn)卷的題項(xiàng)通常是獨(dú)立的。一個(gè)問(wèn)題對(duì)應(yīng)一個(gè)答案答案之間一般沒(méi)有疊加或換算關(guān)系。例如“您的學(xué)歷是”和“您的月收入?yún)^(qū)間是”這兩個(gè)問(wèn)題各自獨(dú)立答案直接使用。量表的題項(xiàng)則是一個(gè)緊密的整體。它們通常采用統(tǒng)一的應(yīng)答格式如李克特五點(diǎn)量表并且計(jì)分方式有嚴(yán)格規(guī)定。常見(jiàn)的計(jì)分方式包括累加計(jì)分將各題項(xiàng)得分直接相加。這是最常用的方式。平均計(jì)分將總分除以題項(xiàng)數(shù)便于在不同題項(xiàng)數(shù)量的量表間比較。加權(quán)計(jì)分根據(jù)不同題項(xiàng)對(duì)構(gòu)念的貢獻(xiàn)度通過(guò)因子分析得出賦予不同權(quán)重后再累加。更重要的是量表設(shè)計(jì)中常包含“反向計(jì)分題”。為了防止受訪者不假思索地勾選同一側(cè)的選項(xiàng)反應(yīng)心向我們會(huì)故意插入一些表述與構(gòu)念方向相反的題項(xiàng)。例如在測(cè)量“生活滿意度”的量表中大部分題項(xiàng)是正向的如“我對(duì)我的生活感到滿意”但會(huì)加入一兩個(gè)反向題如“我常常覺(jué)得生活很無(wú)聊”。在數(shù)據(jù)分析前必須將這些反向題的得分進(jìn)行反轉(zhuǎn)例如五點(diǎn)量表中1分變?yōu)?分2分變?yōu)?分以此類推否則會(huì)嚴(yán)重破壞量表的信度。2.3 數(shù)據(jù)分析與結(jié)果解釋的層次數(shù)據(jù)分析方法的差異直接體現(xiàn)了二者本質(zhì)的不同。對(duì)問(wèn)卷數(shù)據(jù)的分析大量使用描述性統(tǒng)計(jì)和交叉分析。我們關(guān)注的是頻數(shù)、百分比、平均值以及不同群體如不同年齡、性別在事實(shí)和行為上的差異。例如“我們30歲以下的用戶中有60%每周使用App超過(guò)5次”。而對(duì)量表數(shù)據(jù)的分析則復(fù)雜和深入得多。在計(jì)算總分或均分以代表構(gòu)念水平之前我們必須先對(duì)量表本身的質(zhì)量進(jìn)行檢驗(yàn)這就是信效度分析。我們首先需要確認(rèn)收集到的數(shù)據(jù)是否可靠信度以及是否真的測(cè)量到了我們想測(cè)的東西效度。只有通過(guò)了基本的信效度檢驗(yàn)基于量表得分進(jìn)行的差異比較t檢驗(yàn)、方差分析、關(guān)系探究相關(guān)分析、回歸分析乃至更高級(jí)的模型檢驗(yàn)結(jié)構(gòu)方程模型才有意義。否則我們可能只是在分析一堆“噪音”。特征維度問(wèn)卷量表核心目標(biāo)收集事實(shí)、行為、描述性意見(jiàn)精確測(cè)量抽象的心理構(gòu)念題項(xiàng)關(guān)系相對(duì)獨(dú)立邏輯關(guān)聯(lián)可靈活高度相關(guān)共同指向同一構(gòu)念計(jì)分方式直接使用答案通常獨(dú)立計(jì)分統(tǒng)一格式常需累加/平均含反向計(jì)分?jǐn)?shù)據(jù)分析重點(diǎn)描述性統(tǒng)計(jì)、交叉表、百分比信效度檢驗(yàn)、因子分析、構(gòu)念得分計(jì)算結(jié)果輸出現(xiàn)狀描述、群體畫(huà)像、事實(shí)分布構(gòu)念水平得分、潛變量關(guān)系、理論驗(yàn)證3. 量表的生命線信度與效度詳解如果說(shuō)量表是測(cè)量心理的尺子那么信度和效度就是評(píng)價(jià)這把尺子好壞的兩個(gè)核心標(biāo)準(zhǔn)。一把尺子如果今天量是10厘米明天量同一物體變成12厘米那它不可信信度低。如果這把尺子本意是量長(zhǎng)度但實(shí)際上卻受溫度影響很大測(cè)的是“熱脹冷縮”而不是純粹的長(zhǎng)度那它無(wú)效效度低。3.1 信度測(cè)量結(jié)果的穩(wěn)定性和一致性信度關(guān)注的是測(cè)量工具是否可靠、穩(wěn)定。它回答的問(wèn)題是如果用同一把尺子多次測(cè)量同一物體假設(shè)物體不變結(jié)果是否一致在量表里由于我們無(wú)法對(duì)同一個(gè)人短時(shí)間內(nèi)重復(fù)測(cè)量同一心理狀態(tài)因?yàn)闇y(cè)量本身可能帶來(lái)學(xué)習(xí)或疲勞效應(yīng)所以我們主要通過(guò)評(píng)估量表內(nèi)部題項(xiàng)之間的一致性來(lái)估計(jì)信度?？寺“秃瞻柗ㄏ禂?shù)是目前最常用、最通用的信度指標(biāo)。它的原理是評(píng)估量表中所有題項(xiàng)得分之間的相關(guān)性。如果所有題項(xiàng)都在測(cè)量同一個(gè)東西那么它們的得分趨勢(shì)應(yīng)該是一致的——在某構(gòu)念上得分高的人在所有題項(xiàng)上得分都應(yīng)該相對(duì)較高得分低的人則相反。α系數(shù)的取值范圍在0到1之間通常有以下經(jīng)驗(yàn)標(biāo)準(zhǔn)α 0.9信度極佳。0.8 α 0.9信度很好適用于大多數(shù)研究。0.7 α 0.8信度可以接受對(duì)于探索性研究或短量表尚可。α 0.7信度不足量表需要修訂。計(jì)算α系數(shù)的公式看似復(fù)雜但現(xiàn)代統(tǒng)計(jì)軟件如SPSS, R, Python都可以輕松完成。其核心思想基于題項(xiàng)間的協(xié)方差。實(shí)際操作中我們更需關(guān)注如何解讀和優(yōu)化它。實(shí)操心得不要盲目追求極高的α系數(shù)如0.95。過(guò)高的α系數(shù)有時(shí)可能意味著題項(xiàng)間存在冗余即多個(gè)題項(xiàng)問(wèn)的是幾乎完全相同的意思這反而會(huì)令受訪者感到煩躁。通常0.7到0.9之間是一個(gè)理想且務(wù)實(shí)的區(qū)間。另外計(jì)算α系數(shù)前務(wù)必檢查并處理好反向計(jì)分題這是新手最容易忽略導(dǎo)致信度奇低的主要原因之一。3.2 效度測(cè)量工具的有效性和準(zhǔn)確性效度比信度更根本也更具挑戰(zhàn)性。它回答的問(wèn)題是這把尺子測(cè)的是它聲稱要測(cè)的東西嗎一個(gè)量表可能非?？煽啃哦雀叩耆珳y(cè)錯(cuò)了方向。例如一個(gè)旨在測(cè)量“數(shù)學(xué)能力”的測(cè)驗(yàn)如果題目大量依賴復(fù)雜的閱讀理解那么它可能更多測(cè)量的是“語(yǔ)言能力”效度就有問(wèn)題。效度是一個(gè)累積證據(jù)的過(guò)程主要包括以下幾種類型內(nèi)容效度指題項(xiàng)是否充分覆蓋了所要測(cè)量構(gòu)念的全部范疇。這通常通過(guò)專家判斷法來(lái)確定。例如編制一個(gè)“職場(chǎng)幸福感”量表需要邀請(qǐng)人力資源管理、組織行為學(xué)、心理學(xué)等領(lǐng)域的專家評(píng)審題項(xiàng)是否涵蓋了情緒體驗(yàn)、工作意義、人際關(guān)系、成就感知等關(guān)鍵維度。結(jié)構(gòu)效度這是效度檢驗(yàn)的核心指量表得分是否與理論上的構(gòu)念結(jié)構(gòu)相符。最常用的檢驗(yàn)方法是探索性因子分析和驗(yàn)證性因子分析。探索性因子分析當(dāng)我們沒(méi)有一個(gè)預(yù)先確定的因子結(jié)構(gòu)時(shí)使用。它通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式找出哪些題項(xiàng)自然地聚集在一起形成幾個(gè)潛在的“因子”并檢查這些因子是否與我們理論上的維度劃分吻合。我們主要看KMO值0.7為宜和巴特利特球形檢驗(yàn)需顯著以及旋轉(zhuǎn)后的因子載荷矩陣題項(xiàng)在其所屬因子上的載荷通常應(yīng)0.5在其它因子上的載荷應(yīng)較低。驗(yàn)證性因子分析當(dāng)我們有明確的理論模型例如量表包含三個(gè)維度每個(gè)維度對(duì)應(yīng)哪幾個(gè)題項(xiàng)時(shí)使用。它檢驗(yàn)實(shí)際數(shù)據(jù)與預(yù)設(shè)模型的擬合程度。常用擬合指標(biāo)包括χ2/df3、CFI0.9、TLI0.9、RMSEA0.08等。效標(biāo)效度指量表得分與某個(gè)外部、公認(rèn)的效標(biāo)之間的相關(guān)程度。分為兩種同時(shí)效度新量表得分與一個(gè)同時(shí)測(cè)量的效標(biāo)量表得分相關(guān)。例如新編的“簡(jiǎn)版抑郁量表”得分與權(quán)威的“貝克抑郁量表”得分高度相關(guān)。預(yù)測(cè)效度量表得分能預(yù)測(cè)未來(lái)的某些結(jié)果。例如“求職自我效能感”量表得分能預(yù)測(cè)三個(gè)月后實(shí)際找到工作的成功率。4. 信效度分析的實(shí)操測(cè)量流程理論清晰后我們進(jìn)入實(shí)戰(zhàn)環(huán)節(jié)。假設(shè)我們已經(jīng)編制或采用了一個(gè)包含20個(gè)題項(xiàng)、采用李克特五點(diǎn)計(jì)分的“數(shù)字產(chǎn)品用戶沉浸感”量表并已經(jīng)收集了300份有效數(shù)據(jù)。接下來(lái)我們一步步進(jìn)行信效度分析。4.1 數(shù)據(jù)準(zhǔn)備與預(yù)處理這是所有分析的基礎(chǔ)也是最容易出錯(cuò)的環(huán)節(jié)。數(shù)據(jù)清洗檢查是否有異常值、缺失值。對(duì)于量表數(shù)據(jù)如果個(gè)別題項(xiàng)有少量缺失如5%可以考慮用該題項(xiàng)的平均值或該受訪者在其他相似題項(xiàng)上的得分中位數(shù)進(jìn)行填補(bǔ)。如果缺失過(guò)多可能需要考慮刪除該樣本。反向計(jì)分處理仔細(xì)檢查量表手冊(cè)或題項(xiàng)表述識(shí)別出反向計(jì)分題。在數(shù)據(jù)文件中對(duì)這些題項(xiàng)的得分進(jìn)行轉(zhuǎn)換。例如原始得分為1、2、3、4、5則轉(zhuǎn)換為5、4、3、2、1。務(wù)必在分析前完成此步驟并雙重檢查。正態(tài)性檢驗(yàn)雖然很多信效度分析對(duì)正態(tài)性要求不嚴(yán)格但嚴(yán)重的偏態(tài)或峰態(tài)可能影響結(jié)果?？梢圆榭锤黝}項(xiàng)的偏度和峰度系數(shù)絕對(duì)值分別小于3和10通?？山邮芑蚴褂孟钠ち_-威爾克檢驗(yàn)。4.2 信度分析實(shí)操以SPSS為例我們將使用最常用的克隆巴赫α系數(shù)。操作路徑在SPSS中點(diǎn)擊【分析】→【刻度】→【可靠性分析】。變量選擇將量表的全部20個(gè)題項(xiàng)選入“項(xiàng)目”框。模型選擇在“模型”下拉菜單中默認(rèn)即為“α”。點(diǎn)擊“統(tǒng)計(jì)”按鈕勾選上“如果項(xiàng)目已刪除則進(jìn)行度量”和“摘要”下的“項(xiàng)之間”相關(guān)性。結(jié)果解讀主要看“可靠性統(tǒng)計(jì)”表格中的“克隆巴赫 Alpha”值。假設(shè)我們得到α0.86說(shuō)明量表整體信度很好。更重要的是看“如果項(xiàng)目已刪除則進(jìn)行度量”表格。這個(gè)表格顯示了如果刪除某一個(gè)特定題項(xiàng)量表的整體α系數(shù)會(huì)變成多少。如果刪除某個(gè)題項(xiàng)后整體α系數(shù)顯著上升例如上升0.02以上則說(shuō)明這個(gè)題項(xiàng)與其他題項(xiàng)的一致性較差可能質(zhì)量不佳需要考慮修改或刪除。例如刪除第15題后α從0.86升至0.88我們就需要仔細(xì)審視第15題的表述是否有問(wèn)題。4.3 效度分析實(shí)操探索性因子分析在進(jìn)行EFA前需要先判斷數(shù)據(jù)是否適合做因子分析。適用性檢驗(yàn)執(zhí)行EFA操作【分析】→【降維】→【因子】。將20個(gè)題項(xiàng)選入變量框點(diǎn)擊“描述”勾選“KMO和巴特利特球形度檢驗(yàn)”。結(jié)果解讀KMO值應(yīng)大于0.7巴特利特球形檢驗(yàn)的顯著性p值應(yīng)小于0.05。只有兩者都通過(guò)才適合進(jìn)行因子分析。假設(shè)我們得到KMO0.89巴特利特檢驗(yàn)顯著p0.001非常適合。提取公因子點(diǎn)擊“抽取”方法選擇“主成分分析”基于特征值大于1的標(biāo)準(zhǔn)來(lái)提取因子這是默認(rèn)且常用的方法。也可以根據(jù)研究預(yù)設(shè)的維度數(shù)來(lái)固定提取因子個(gè)數(shù)。點(diǎn)擊“旋轉(zhuǎn)”選擇“最大方差法”。旋轉(zhuǎn)的目的是讓因子結(jié)構(gòu)更清晰便于解釋。勾選“載荷圖”。結(jié)果解讀與結(jié)構(gòu)驗(yàn)證查看“總方差解釋”表格看提取的幾個(gè)因子累計(jì)能解釋多少百分比的總變異。通常希望達(dá)到60%以上。核心是看“旋轉(zhuǎn)后的成分矩陣”。我們會(huì)看到一個(gè)表格顯示每個(gè)題項(xiàng)在每一個(gè)提取出的因子上的“載荷值”絕對(duì)值。判斷標(biāo)準(zhǔn)一個(gè)題項(xiàng)在其“所屬”因子上的載荷應(yīng)較高通常0.5理想0.7而在其他因子上的載荷應(yīng)較低通常0.4。這被稱為“簡(jiǎn)單結(jié)構(gòu)”。與實(shí)際理論模型對(duì)照檢查這些自然形成的因子群是否與我們編制量表時(shí)預(yù)設(shè)的維度比如“沉浸感”可能包含“時(shí)間感扭曲”、“自我意識(shí)喪失”、“交互愉悅感”三個(gè)理論維度相匹配。如果大部分題項(xiàng)的歸屬符合理論預(yù)期則結(jié)構(gòu)效度良好。如果出現(xiàn)嚴(yán)重不符例如一個(gè)理論維度的題項(xiàng)分散到了多個(gè)因子或一個(gè)因子包含了多個(gè)理論維度的題項(xiàng)則說(shuō)明量表結(jié)構(gòu)可能需要調(diào)整。4.4 驗(yàn)證性因子分析進(jìn)階以AMOS軟件為例如果研究假設(shè)非常明確或者量表是成熟量表我們通常直接使用驗(yàn)證性因子分析進(jìn)行更嚴(yán)格的檢驗(yàn)。模型構(gòu)建在AMOS軟件中根據(jù)理論畫(huà)出模型圖。例如畫(huà)一個(gè)橢圓形的潛變量“沉浸感”再畫(huà)出三個(gè)橢圓形的子維度一階因子最后將20個(gè)觀測(cè)題項(xiàng)矩形分別連接到對(duì)應(yīng)的子維度上并設(shè)定好測(cè)量關(guān)系和誤差項(xiàng)。參數(shù)估計(jì)導(dǎo)入數(shù)據(jù)運(yùn)行計(jì)算。軟件會(huì)給出模型擬合指標(biāo)。模型評(píng)價(jià)不是看單個(gè)指標(biāo)而是綜合判斷。χ2/df小于3表示模型擬合較好但該指標(biāo)易受樣本量影響。CFI和TLI大于0.9表示擬合良好大于0.95表示非常好。RMSEA小于0.08表示可接受小于0.05表示擬合很好。模型修正如果初始模型擬合不佳可以查看“修正指數(shù)”它建議了哪些參數(shù)如誤差項(xiàng)之間的相關(guān)如果被釋放能顯著改善模型擬合。但修正必須有理論依據(jù)不能純粹數(shù)據(jù)驅(qū)動(dòng)。例如允許同一維度下兩個(gè)表述非常相似的題項(xiàng)的誤差項(xiàng)相關(guān)是合理的。5. 常見(jiàn)問(wèn)題、陷阱與排查技巧實(shí)錄在實(shí)際操作中理論完美但結(jié)果糟糕的情況比比皆是。以下是我在項(xiàng)目和咨詢中遇到的典型問(wèn)題及解決思路。5.1 信度分析中的典型問(wèn)題問(wèn)題1克隆巴赫α系數(shù)低于0.7甚至很低。排查步驟檢查反向計(jì)分這是頭號(hào)嫌疑犯。確認(rèn)所有反向題已正確處理。檢查“如果項(xiàng)目已刪除”表格找出刪除后能大幅提升α系數(shù)的題項(xiàng)。仔細(xì)審視這些題項(xiàng)的表述是否含糊不清是否涉及雙重否定是否與其他題項(xiàng)測(cè)量的內(nèi)容實(shí)質(zhì)不同檢查樣本量樣本量過(guò)小如100可能導(dǎo)致α系數(shù)不穩(wěn)定。盡量保證樣本量是題項(xiàng)數(shù)的5-10倍以上。檢查數(shù)據(jù)質(zhì)量是否存在大量受訪者隨意作答如所有題項(xiàng)都選同一個(gè)選項(xiàng)或呈現(xiàn)規(guī)律性波浪形作答需進(jìn)行“無(wú)意義回答”篩查并刪除無(wú)效數(shù)據(jù)。審視量表結(jié)構(gòu)量表可能本身就在測(cè)量多個(gè)維度。嘗試對(duì)量表進(jìn)行因子分析如果確實(shí)存在多個(gè)維度應(yīng)分別計(jì)算每個(gè)子維度的α系數(shù)而不是計(jì)算總量表的α系數(shù)。問(wèn)題2α系數(shù)過(guò)高0.95?？赡茉蚺c對(duì)策題項(xiàng)間可能存在高度冗余。例如三個(gè)題項(xiàng)分別是“我感到快樂(lè)”、“我感到愉快”、“我感到高興”這幾乎是在重復(fù)提問(wèn)。這不僅令受訪者厭煩也無(wú)法增加信息量。應(yīng)考慮刪除或合并語(yǔ)義高度重疊的題項(xiàng)保留最具區(qū)分度的表述。5.2 效度分析因子分析中的典型問(wèn)題問(wèn)題1KMO值過(guò)低0.6無(wú)法進(jìn)行因子分析。排查步驟檢查樣本量樣本量嚴(yán)重不足是常見(jiàn)原因。檢查題項(xiàng)間相關(guān)性通過(guò)“項(xiàng)之間”相關(guān)性矩陣查看是否大部分題項(xiàng)之間的相關(guān)系數(shù)都非常低如0.3。如果量表題項(xiàng)彼此獨(dú)立說(shuō)明它們可能沒(méi)有在測(cè)量同一個(gè)共同構(gòu)念這本身就意味著量表結(jié)構(gòu)效度有問(wèn)題需要重新審視理論框架。檢查是否存在大量反向題未處理未處理的反向題會(huì)嚴(yán)重破壞題項(xiàng)間的正相關(guān)性導(dǎo)致KMO值降低。問(wèn)題2旋轉(zhuǎn)后因子矩陣結(jié)構(gòu)混亂題項(xiàng)“交叉負(fù)載”嚴(yán)重?，F(xiàn)象一個(gè)題項(xiàng)在多個(gè)因子上的載荷都超過(guò)0.4無(wú)法明確歸類。原因與對(duì)策題項(xiàng)表述模糊該題項(xiàng)可能同時(shí)涉及多個(gè)概念。例如“這個(gè)產(chǎn)品讓我感到高效和愉悅”就混合了“效能感”和“情感體驗(yàn)”。應(yīng)拆分成兩個(gè)清晰、單一的題項(xiàng)。因子間相關(guān)過(guò)高如果提取出的幾個(gè)因子本身理論相關(guān)度就很高例如“認(rèn)知投入”和“情感投入”在正交旋轉(zhuǎn)如最大方差法下可能無(wú)法清晰分離?？梢試L試使用斜交旋轉(zhuǎn)法如直接斜交法它允許因子之間存在相關(guān)可能得到更清晰、更符合理論的結(jié)果。因子數(shù)選擇不當(dāng)嘗試指定不同數(shù)量的因子重新進(jìn)行抽取看哪種情況下結(jié)構(gòu)更清晰。可以結(jié)合碎石圖來(lái)輔助判斷。問(wèn)題3驗(yàn)證性因子分析擬合指標(biāo)不達(dá)標(biāo)。系統(tǒng)排查思路檢查模型誤設(shè)是否遺漏了重要的測(cè)量關(guān)系比如某個(gè)題項(xiàng)理論上確實(shí)可能受到另一個(gè)潛變量的影響。檢查局部問(wèn)題查看“標(biāo)準(zhǔn)化殘差協(xié)方差矩陣”絕對(duì)值大于2.58的殘差表明模型對(duì)該處關(guān)系的擬合特別差。對(duì)應(yīng)到具體題項(xiàng)思考其關(guān)聯(lián)是否未被模型考慮。理性修正結(jié)合修正指數(shù)的建議但只釋放那些有合理解釋的參數(shù)。最常見(jiàn)且合理的修正是允許同一潛變量下、表述高度相似或存在共同方法偏差的兩個(gè)題項(xiàng)的誤差項(xiàng)相關(guān)?？紤]替代模型也許你的理論模型不是最優(yōu)的。例如單因子模型、不同因子數(shù)的模型哪個(gè)擬合更好通過(guò)模型比較如比較AIC、BIC值來(lái)選擇。5.3 量表使用中的整體性建議先效度后信度邏輯上我們必須先確保量表測(cè)的是對(duì)的東西效度然后才關(guān)心它測(cè)得好不好、穩(wěn)不穩(wěn)定信度。一個(gè)無(wú)效的量表信度再高也無(wú)用。但在實(shí)際分析報(bào)告時(shí)通常先報(bào)告信度因?yàn)橛?jì)算簡(jiǎn)單再詳細(xì)報(bào)告效度證據(jù)。信效度不是“一錘子買賣”為一個(gè)量表提供的信效度證據(jù)是基于特定樣本、特定文化和特定時(shí)間點(diǎn)的。將量表應(yīng)用于新的群體如從大學(xué)生換到企業(yè)員工或翻譯成不同語(yǔ)言時(shí)必須重新進(jìn)行信效度檢驗(yàn)這稱為“跨文化效度”或“測(cè)量等值性”檢驗(yàn)。結(jié)合使用定性研究在量表開(kāi)發(fā)的初期通過(guò)訪談、開(kāi)放式問(wèn)卷等定性方法深入理解構(gòu)念的內(nèi)涵和表現(xiàn)是保證內(nèi)容效度的基石。在效度分析結(jié)果不理想時(shí)回到定性資料中去尋找原因往往比單純?cè)跀?shù)據(jù)上“折騰”更有效。不要神化統(tǒng)計(jì)指標(biāo)信效度系數(shù)是重要的量化參考但最終判斷一個(gè)量表好壞還需要結(jié)合理論邏輯、實(shí)際應(yīng)用效果和專家判斷。一個(gè)在統(tǒng)計(jì)上擬合完美的模型如果其題項(xiàng)表述在實(shí)際施測(cè)中經(jīng)常引起受訪者誤解那它依然不是一個(gè)好工具。量表的開(kāi)發(fā)與檢驗(yàn)是一個(gè)嚴(yán)謹(jǐn)?shù)?、循環(huán)往復(fù)的過(guò)程。從清晰的理論定義開(kāi)始到題項(xiàng)編制、專家評(píng)審、預(yù)測(cè)試、信效度分析、題項(xiàng)修訂再到正式施測(cè)每一步都需要精心設(shè)計(jì)和嚴(yán)格把關(guān)。理解問(wèn)卷與量表的區(qū)別掌握信效度分析的原理與實(shí)操本質(zhì)上是在培養(yǎng)一種科學(xué)的、審慎的測(cè)量思維。這種思維能讓你在紛繁復(fù)雜的數(shù)據(jù)面前保持清醒知道手中的“尺子”究竟在量什么以及它量的到底準(zhǔn)不準(zhǔn)。這不僅是做好一次調(diào)研的關(guān)鍵更是任何基于數(shù)據(jù)進(jìn)行決策的工作所必需的基礎(chǔ)素養(yǎng)。