Bestämning av verktyget för ett urvalsinstrument i industrier

Användningen av en prediktionsanordning är graden av vilken användningen förbättrar kvaliteten hos de personer som väljs utöver vad som skulle ha inträffat om den enheten inte använts. Giltighet och tillförlitlighet, som båda spelar en viktig roll för att bestämma nyttan av valbara instrument. Dessutom finns det flera andra faktorer som är lika kritiska för att bestämma användbarheten i alla situationer som innefattar gruppval.

Dessa ytterligare variabler är:

(1) Kriteriesäkerhet,

(2) Kriterie relevans,

(3) Urvalsförhållandet, och

(4) Procentandelen av nuvarande anställda ansågs framgångsrika.

Läsaren är varnad att komma ihåg att gruppprediction är processen att systematiskt välja ett exempel på sökande som är mer benägna att lyckas i genomsnitt än antingen gruppen som helhet eller någon undergrupp som valts slumpmässigt från hela. Detta skiljer sig från processen med individuell förutsägelse där man är intresserad av att förutsäga sannolikheten för en viss persons framgång snarare än en grupp personer.

Det finns naturligtvis urvalssituationer som involverar både grupp- och individuella aspekter av urvalet. Ett exempel är ett urvalsprogram som används av Förenta staterna Navy i valet av flygkadetter. Marinan använder grupptolkningstekniker före och under flera olika faser av flygträning.

Dessutom är det också nödvändigt att förutsägelser görs för en viss kadett och hans individuella sannolikhet för framgång i programmet. Behovet av dessa senare typer av förutsägelser inträffar när en kadettrekord under träningen har varit dålig nog för att ta med honom innan en granskningstavla. För detta marinprogram används samma grundläggande prediktorer för både gruppen och de enskilda förutsägelserna.

Predictor Giltighet:

Det primära statistiska indexet som påverkar nyttan av ett eventuellt prediktionsinstrument är dess giltighet. Även om det kommer att påvisas att låga och jämna nollgiltighetssituationer fortfarande kan resultera i ganska framgångsrikt urval under speciella förhållanden, fortsätter validitetskoefficienten den centrala variabeln i valet. För att illustrera, överväga de diagram som visas i figur 2.10 där två olika prediktorkriteriumsförhållanden visas, en med en giltighet på 0, 00 och den andra med en validitet på 0, 70. I båda fallen har det fastställts ett avslag på prediktorn som gör att vi kan ta de bästa 50 procenten av de personer som tar testet.

Vilken prediktor kommer att resultera i den största ökningen av den genomsnittliga kriteriepoängen för den valda gruppen över vad som har uppnåtts med tidigare metoder (det vill säga slumpmässigt urval)? När vi först tittar på prediktor A när det gäller hur människorna distribueras endast efter kriteriedimensionen, finner vi att medelklasspoängen för den "accepterade" gruppen är exakt densamma som den "avvisade" gruppen. Det vill säga, de personer som accepteras genom att ta den övre halvan av poängen på test A tenderar inte att ha högre kriteriescore än de lägsta 50 procenten av poängen på test A, vilket visas i figur 2.11.

Men när vi tittar på prediktor B får vi en ganska annan bild. Vi kan se omedelbart att de människor som är ovanför cut-offen verkar göra bättre på kriteriet än göra dem under cutoff. Det vill säga, folket ovanför cut-offen har ett högre genomsnittskriteriumpoäng än vad som gör dem nedan. Detta visas i figur 2.12, som åter visar de tre fördelningarna av kriterievärden.

Således verkar vi ha vår första generella princip i testverktyget: givet en godtyckligt definierad cut-off på ett test, desto högre giltighet, desto större ökning av medelkriteriepoäng för den valda gruppen över det som observerats för den totala gruppen.

Med andra ord skillnaden:

(X _{vald grupp} ) - (X _{totalt grupp} )

kommer att öka i direkt proportion till testgiltigheten. Det kan faktiskt visas algebraiskt att detta är så (senare kommer vi att se vissa undantag från denna första princip). Nyligen har Naylor och Shine (1965) publicerat en uppsättning tabeller som erbjuder enkel beräkning av ökningen i medelkriteriepoäng som kommer att uppnås med något test med tanke på att provgiltigheten och testavstängningspunkten kan specificeras. Tabellen ges i tillägget tillsammans med förklaringar och exempel på användningen.

Urvalsförhållande och Procent av framgångsrika medarbetare:

Två andra variabler som spelar en viktig roll för att bestämma nyttan av en prediktor är urvalskvoten och procentandelen av nuvarande anställda anses vara framgångsrika. Läsaren kommer ihåg att nyttan av en prediktor definierades som kvalitetsförbättringen hos de erhållna hyrorna med hjälp av en prediktionsanordning jämfört med nuvarande metoder för urval.

Kvalitet definieras typiskt i form av (1) gruppens genomsnittliga kriteriepoäng, eller (2) i förhållande till andelen personer i den gruppen som har kriteriepoäng över något värde som anses vara minimal för att man ska kunna vara en framgångsrik anställd. För en given erhållen validitetskoefficient mellan kriterium och förutsägare kommer en manipulering av antingen urvalsförhållandet och / eller en förändring i procenten av nuvarande anställda som anses vara framgångsrika att resultera i markanta förändringar i den resulterande kvaliteten hos de anställda (valda) anställda.

Urvalsförhållande:

Enkelt beskrivet kan urvalsförhållandet (SR) uttryckas som:

n / N = SR

Där n = antal arbetsöppningar

N = antal arbetssökande som är tillgängliga för placering

När SR är lika med eller större än 1, 00, har användningen av valenheten liten betydelse. Med fler arbetstillfällen än arbetssökande finns sökanden på en säljare marknad där företaget kan behöva köpa sina tjänster oberoende av sin kvalitet. Om SR är mindre än 1, 00, då finns det fler arbetssökande än positioner och arbetsgivaren är i stånd att vara selektiv när det gäller vilka han anställer.

Det sätt på vilket SR kan påverka urvalsprocessen kan bäst påvisas genom att referera till Figur 2.13. I figur 2.13a visas en scatter-plot av poäng som är ungefär den form som kan förväntas med ett stort antal människor och en korrelation mellan prediktor och kriterium på 0, 70 (ju högre korrelation desto närmare scatter-plot kommer att närma sig en rak linje, ju lägre korrelation desto närmast scatter-plot kommer att närma sig en cirkel). Andelen av den ovala som är skuggad representerar andelen sökande som faktiskt är anställda, det vill säga SR. I figur 2.13a presenteras en SR av 100; Det finns en arbetsöppning för varje sökande så alla kommer att anställas.

I del b i Figur 2.13 ser vi vad som händer med den genomsnittliga kvaliteten hos de som anställs när SR blir 0.80. Eftersom det finns jobb för endast 80 procent av sökandena, kommer arbetsgivaren logiskt att anställa de 80 procent som har högsta prediktionsresultat, eftersom prediktorn är mycket relaterad till efterföljande kriterieprestanda.

Dessa 80 procent representeras av det skuggade området av det ovala som faller till höger om avstängningspunkten på prediktorn. Eftersom de som elimineras generellt har låga kriterier, är det lätt att se hur genomsnittskriteriet för de anställda med en SR på 0, 80 är högre än det är om en slumpmässig grupp av sökande placerades på jobb enligt Figur 2.13a. Denna ökning i genomsnittskvaliteten visas ännu mer dramatiskt i Figur 2.13c som illustrerar en SR på 0, 20. Faced med en situation där det finns tio sökande för var och en av två jobb, är arbetsgivaren "sitter vacker", och nu kan hon välja de 20 procent av utövande. Dessa individer representeras av det skuggade området av det ovala som faller till höger om avsnittet i figur 2.13c. Skillnaden i genomsnittskvaliteten för kriteriepoäng för denna valda undergrupp i motsats till den för hela gruppen är mycket stor. Fördelarna för arbetsgivaren när det gäller dollar i denna situation borde säkert vara betydande.

Den allmänna principen att ett lägre urvalsförhållande alltid leder till att anställda av högre kvalitet anställs hålls så länge som förhållandet mellan prediktorn och kriteriet är något värde större än noll (negativa eller positiva r är lika effektiva om de är lika stora) . Det kan faktiskt bevisas att principen om urvalsförhållandet effektivt kan utnyttjas i vissa fall, även om alla sökande behöver anlitas. Detta kan inträffa om det finns minst två jobb, var och en med ett antal öppningar och var och en har sin egen prediktor med större än noll validitet.

Procent av nuvarande anställda som är framgångsrika:

I vår diskussion om validitet och SR har vi hittills antagit att kriteriet är fortlöpande och därför ju högre kriteriet poäng, desto mer tillfredsställande den anställde anses vara. Låt oss nu antar att ett kriterium finns ett poäng som definierar om en arbetare är antingen tillfredsställande eller otillfredsställande, det vill säga om han utför en standard, anses han vara tillfredsställande och om han utför den här standarden anses han vara otillfredsställande. Diagrammen i Figur 2.14 illustrerar detta.

I del a visas ett förhållande på ca 0, 70 mellan kriteriet och prediktorn. Observera att den horisontella linjen, som kallas kriteriet cut-off, skiljer alla arbetare i två grupper: de anses vara framgångsrika och de som anses misslyckade. En sådan cut-off måste naturligtvis vara ganska godtycklig i sin natur. Men i många fall är det inte för svårt att komma fram till enighet om minimalt acceptabelt resultat.

Del b i Figur 2.14 visar samma data med en prediktoravgränsning baserat på ett urvalsförhållande på ca 0, 5. Den sista delen av figuren visar båda avsnitten tillsammans. När det kombineras på detta sätt blir det möjligt att skilja mellan de olika delportionerna av de data som bildas av skärningen mellan de två avskärningslinjerna.

Del A. De sökande som är till höger om testresultatet och utanför kriteriet cut-off kallas riktiga positiva. De är de som säger att testet borde vara framgångsrikt och som verkligen kommer att bli framgångsrikt enligt kriteriet. De representerar korrekta beslut baserat på testet.

Del B. Det här segmentet omfattar de sökande som har poäng under prediktionsavbrottet och under kriteriet cut-off. Kallade de sanna negativen, dessa sökande, som de sanna positiva, representerar korrekta beslut utifrån prediktorn.

Del C. Dessa sökande har poäng under prediktorns cut-off men över kriteriet cut-off. Dessa personer skulle inte anlitas om anställningsbeslut baserades på testet, trots att deras eventuella kriteriescore var tillräckligt hög för att placera dem i tillfredsställande kategori. Detta representerar en typ av misstag eller fel som uppstår vid testning och kallas falska negativ.

Del D. Det sista segmentet av det ovala består av arbetssökande som skulle anställas men som senare skulle visa sig vara otillfredsställande i sitt arbete. Dessa personer representerar också "misstag" i urvalsprocessen och är kända som falska positiva.

Flera meningsfulla förhållanden kan konstrueras med användning av de olika delarna i figur 2.14c. Till exempel,

(1) C + D / A + B

Detta är ett förhållande mellan antalet fel i valet till antalet anställda korrekt placerade. Storleken på detta förhållande beror på alla tre variablerna: Placeringen av kriteriet cut-off, placeringen av prediktor cut-off och validitetskoefficienten. Inte bara är storleken på detta förhållande påverkat av dessa variabler, men det är också den relativa storleken på de två typerna av fel, C och D. Vanligtvis är arbetsgivaren mer oroad över att minimera falska positiva än han är orolig för antalet falska negativa .

Detta hanteras ofta av de som motsätter sig provning som en av de största ondskan i vetenskapligt urval genom test, nämligen att vissa människor avvisas som skulle vara framgångsrika på jobbet om de fick möjlighet att bevisa sig. Läsaren måste överväga fördelarna och nackdelarna med detta problem för sig själv - författarna pekar bara på svårigheten.

Författarna skyndar dock att tillägga att industrilivologer kan vara lika socialt inställda som sina kritiker. Industripsykologer har i allmänhet uppgifterna för att berätta hela historien, medan vissa kritiker utan några data bara "holler" om ett fel.

Ett annat förhållande av betydelse ges av

(2) A + C / A + B + C + D = procent framgångsrikt

Detta representerar andelen av nuvarande anställda som är tillfredsställande. Det är en basprocent som uttrycker graden av framgång som erhålls med vilka valmetoder som användes före införandet av prediktorn. Det tredje förhållandet,

(3) A / A + D = procent framgångsrikt med hjälp av predictor är ett uttryck för andelen anställda sökande som kommer att lyckas om man använder prediktorn som ett hjälpmedel för urval tillsammans med de metoder som för närvarande används. I den utsträckning som (3) är större än (2), lägger prediktorn till något i urvalsprocessen.

Vid jämförelse av den relativa storleken av (2) och (3) kan vissa allmänna principer anges:

1. För en viss grad av giltighet och kriterium kommer en minskning av SR att orsaka en ökning av den effektiva giltigheten. Således kan man kompensera för låg statistisk validitet om man kan vara selektiv i sina anställningar.

2. För en viss statistisk validitet och urvalskvot, desto mindre procentandelen av nuvarande anställda ansåg tillfredsställande, ju större procentuell ökning av tillfredsställande sökande erhållna med hjälp av prediktorn. Med andra ord, om vi definierar skillnaden mellan förhållandena (2) och (3) som

Utility = A + C - A + C / A + B + C + D = procentuell ökning av effektiviteten

Där effektiviteten definieras som den procentuella framgången som används, kommer den största fördelen att observeras under de förhållanden där det fattigaste jobbet för närvarande görs - ett logiskt utfall. Det finns naturligtvis några undantag. Se till exempel bild 2.15.

Notera från Figur 2.15 att oavsett vilken av de tre olika urvalsförhållandena man använder, kommer 100 procent av alla anställda sökande i slutändan att bedömas tillfredsställande. Således är det här en situation där stora förändringar i urvalskvoten inte har någon konsekvens.

Taylor-Russell Tabeller:

Ett detaljerat uttryck för de exakta förhållandena mellan storleken på validitetskoefficienten, urvalskvoten och procenten av nuvarande tillfredsställande anställda har beretts av Taylor och Russell (1939). Under givna villkor för validitet, urvalsförhållande och procent tillfredsställande tillåter deras tabeller en att bestämma procentandelen av anställningar som kommer att vara tillfredsställande med hjälp av prediktorn i samband med nuvarande metoder.

Naylor-Shine-tabellerna som diskuteras i avsnittet om prediktorgiltighet förefaller emellertid ha flera fördelar jämfört med Taylor-Russell-tabellerna. Naylor-Shine-tabellerna formuleras i termer av skillnader i medelkriteriepoäng mellan den valda gruppen och den ursprungliga gruppen; Taylor och Russell använder skillnader i procent som lyckats mellan den valda gruppen och den ursprungliga gruppen.

Således tycks Naylor-Shine-tabellerna ge ett mer meningsfullt index för testverktyg. Användningen av Taylor-Russell-tabellerna kräver också att anställda separeras i två grupper, "framgångsrika" och "misslyckade" genom att välja någon godtycklig punkt på kriteriedimensionen som representerar "minimal tillfredsställande prestanda". Naylor-Shine-tabellerna kräver inget beslut av detta slag för deras användning och är därför mer generella i deras tillämplighet.

En försiktighetsåtgärd. Både Naylor-Shine-tabellerna och Taylor-Russell-borden har vissa begränsningar som är mycket viktiga. Båda metoderna för att utvärdera testverktyget baseras på antagandena att (1) förhållandet mellan prediktor och kriterium är en linjär, och (2) den använda validitetskoefficienten är en som erhålls genom samtidiga validitetsprocedurer.

Smith (1948) och andra har påpekat de faror som finns om man försöker använda tabeller som Taylor och Russell under förhållanden där förhållandet inte är linjärt mellan prediktorn och kriteriet. Ett sådant förhållande visas i figur 2.16. När sådana olinjära förhållanden existerar är båda tabellerna helt olämpliga för att bestämma testverktyget.

Det faktum att båda tabellerna antar en validitetskoefficient baserad på samtidiga valideringsprocedurer kan komma som en överraskning, eftersom det tidigare påpekades att samtidig giltighet inte var ett särskilt bra substitut för prediktiv validitet. Testverktyget innebär dock att ökningen av antingen genomsnittskriteriepoäng (Naylor-Shine-tabeller) eller procent av framgångsrika anställda (Taylor-Russell-tabeller) över det som för närvarande uppnås med nuvarande anställda. Grundprotokollet är en baserad på nuvarande anställda som anställs av de normala urvalsförfarandena - det typiska parallella validitetsparadigmet.

Tillförlitlighet för Predictor och Kriterium:

Kriteriums och prediktorns tillförlitlighet är också viktigt, främst för att de påverkar eller sätter gränser för storleken på den validitetskoefficient som kan erhållas. Det finns en grundläggande algebraisk relation som existerar mellan validitet och predictorens tillförlitlighet och kriteriet som är

r _pc (erhållen) = r _pc (sant) √r _pp xr _cc

Var

r _pc (erhållen) = observerad korrelation (validitet) mellan prediktorn och kriteriet

r _pc (true) = "true" korrelation (validitet) mellan prediktorn och kriteriet

r _pp = tillförlitlighetens tillförlitlighet

r _cc = kriteries tillförlitlighet

Observera från ovanstående förhållande att endast när r _pp och r _pcc är enhet (perfekt tillförlitlighet) kommer den erhållna giltigheten att vara lika med den sanna validiteten. Eftersom tillförlitligheten av de två åtgärderna minskar, så kommer den erhållna giltigheten. Antag exempelvis r _{pc (sant)} = 0, 06, r _pp = r _pcc = 0, 08, sedan r _{pc (erhållen)} = 0, 06 √0, 80 x 0, 80 = 0, 60 (0, 80) = 0, 48. Observera också att om pålitligheten av antingen prediktorn eller kriteriet är noll, kommer de erhållna giltigheten också att vara noll.

Kriterie Relevans:

En kriteries relevans har litet att göra med det faktiska empiriska verktyget för ett prediktionsinstrument, även om det har en hel del att göra med det logiska verktyget.