Hur Bias-delen av kriterieförorening bidrar till en riktigt hög giltighetskoefficient?

Tidigare var termen kriterieförorening definierad som den del av det faktiska kriteriet som inte överlappades med det ultimata kriteriet. Vidare påpekades att kriterieförorening består av två delar, fel och förspänning. Fel, per definition; brukar anses vara slumpmässig variation och kan inte, förutom av en slump, korreleras med någonting, inklusive prediktorvariabeln. Emellertid är biasdelen av kriterieförorening systematisk variation, och den kan korrelera med prediktorn. Detta framgår av vår modell, där prediktorkorrelerad förorening (vilket måste vara en förutsägelsekorrelerad förspänning) bidrar till en för högt erhållen validitet.

Vilken typ av bias kommer sannolikt att gå in i kriteriumföroreningar och vilka typer kan också korreleras med prediktorvariabeln? Kanske Brogden och Taylors (1950) formella definition av kriteriefördomar hjälper till att svara på denna fråga.

De definierar bias i form av "någon variabel, förutom mätfel och provtagningsfel, vilket ger en avvikelse från erhållna kriterionsresultat från ett hypotetiskt" sant "kriteriescore. Figur 6.4 illustrerar denna punkt. Sådana förspänningsfaktorer är frekventare än man kan misstänka och bör noggrant bevakas. De kan uppstå på grund av olika omständigheter och som en funktion av ett antal variabler.

1. Opportunity Bias:

Denna typ av kriterieförspänning hänvisar till de situationer där faktorer som är bortom arbetstagarens kontroll väsentligt påverkar den producerade mängden. Exempel på opportunitet är många. I försäljningsarbetet kan det specifika territoriet eller försäljningsdisken påverka en anställdes försäljningsvolym - kanske ännu mer än hans egen förmåga. I fabriksarbetet kan möjlighetsförspänning hänföras till sådana enkla saker som kvaliteten på verktygen och villkoret för den maskin som en arbetare har, oavsett om han måste arbeta dagskiftet eller nattskiftet, där hans arbetsstation ligger, hur bra hans belysning är och en mängd andra variabler.

Kort sagt, om inte arbetsmiljöerna och jobben är identiska, har jämförelser mellan arbetsuppgifterna bland individer sina begränsningar. Om arbetsprestandan är korrelerad med prediktoranordningar under sådana omständigheter, har man ingen möjlighet att verkligen veta om den resulterande korrelationen är en korrelation med äkta arbetsprestanda eller i första hand är en korrelation med exempelvis kvaliteten på en arbetsstation. Medan möjlighetsförspänning inte nödvändigtvis korrelerar med prediktorn, även om det är förutsägelsevärt, kommer det att påverka den erhållna validiteten.

Andra mer subtila exempel på möjlighetsförspänning kan ofta hittas genom närmare granskning av prediktorvaliditeterna för sådana saker som ålder och erfarenhet. I många jobb får folk som är äldre och har fått mer erfarenhet, bättre resultatresultat, helt enkelt på grund av fackföreningsförhållanden, genom att dessa människor får bättre arbetsstationer, bättre säljare, etc.

2. Grupp Karaktäristiska Bias:

En annan viktig källa till kriterieförspänning avser egenskaperna hos den grupp som en person tillhör. Till exempel, om en person tillhör en grupp som artificiellt begränsar medlemmarnas produktivitet, kommer det att finnas en klar förspänning av kriteriedata. På samma sätt, om en person tillhör en grupp som tidigare har valts ut och om den gruppen jämförs med en grupp som inte är så vald, är en valvariabel som är relaterad till variabeln a priori lämplig för att visa falsk validitet.

Brogden och Taylor (1950) ger ett exempel på den situation där en verkställande har bestämt att alla kontorspojkar som anställs måste ha en högskoleutbildning. Om en grupp av nuvarande anställda jämförs med ett prov av arbetssökande, är det nästan säkert att en prediktor som sannolikt kommer att korrelera med utbildningsantalet visar på giltighet!

Problemet med ålder och arbetstid är en annan illustration av möjlighetsförskjutning. När jobbet är ett där produktiviteten tenderar att öka med ytterligare erfarenhet och där ett brett utbud av erfarenheter existerar (det finns både erfarna och oerfarna anställda), är det oundvikligt att kriteriet (produktivitet) och erfarenhet kommer att korreleras . Kriteriet är således förspänt av kännetecknen för erfarenhet, och varje prediktor som sannolikt kan korrelera med erfarenheten är lämplig för att sluta med en felaktigt hög giltighet.

3. Bias i betyg:

Ett av de mer vanliga kriterierna inom industrin - en kompetensbedömning av chefer - är också föremål för bias. Det bör här påpekas att alla vanliga källkällor i produktionsregistret också sannolikt kommer att förskjuta betyg av individuell kompetens. Kan chefer, vid bedömning av kompetens, göra justeringar för ojämlik möjlighet bland de som är nominerade? Om de kan, kommer deras betyg att leda till ett mindre förutbestämt kriterium än den faktiska produktionsrekordet skulle vara.

Den mest omtalade förspänningseffekten i betyg är fenomenet "haloeffekten". Kortfattat hänvisar det till den situation där en rater anser att en person är enastående på alla drag bara för att han (den som utvärderas) har en enastående karakteristisk.

Till exempel, om en person har utfört enastående på en aspekt av arbetsprestanda, skulle ett halofel göras om vi antog att personen också måste vara bra på alla andra aspekter av hans arbete. Halofel uppstår ofta när en rater uppmanas att betygsätta individer med trevliga personlighetsegenskaper ("Om en person är fin, måste han också kunna") och trevliga funktioner ("Om en tjej är söt måste hon också vara begåvad"). Naturligtvis kan test som korrelerar högt med betyg som har en halo-bias helt enkelt korrelera med halovariabeln snarare än med "sann" jobbkompetens.

4. Kunskap om prediktorbias:

När kriteriedata erhålls med hjälp av betyg, är det allvarligaste felet som kan uppstå för rater att ha förkunskap om prediktionsresultatet. Detta kallas kunskap om predictor bias. Om en rater känner till de poäng som människorna uppnått på prediktorvariabeln är det helt möjligt att han skulle låta hans kriteriedömningar påverkas av denna kunskap. Ett sådant fel kan orsaka en ökning av en helt falsk natur i den erhållna giltigheten.

Tyvärr är inte bara denna typ av fel mest allvarlig i kriteriebetyg (eftersom det per definition är en bias som alltid kommer att vara prediktorskorrelerad), men det är också en av de mest förekommande felen. Exempel är kanske enklast att hitta iii skolinställningar, där lärare gör bedömningar om akademiska talang hos sina elever efter att ha sett sina inträdesprov poäng.

Man kan inte överemphasize det strikta behovet att alltid hålla predictorinformation isolerad från individer som tillhandahåller kriteriedata. Således bör övervakare aldrig få tillgång till sökandes testbatterier. När en sådan kontamineringsförspänning har uppstått kan eventuella efterföljande försök att validera testet empiriskt enkelt resultera i överinflaterade korrelationskoefficienter.