Tvångsrättssystem: Används för att erhålla prestationsbedömningar för jobb

En av de mest populära metoderna för att uppnå prestationsbedömningar är genom tekniken känd som "tvångsval." Denna klassificeringsmetod, som var en utväxt av de vanliga problem som uppstod vid utvecklingen av personlighetsmätinstrument, anpassades snabbt för användning i prestanda värdering.

Historiskt synes metoden att ha uppstått med Horst under början av 1940-talet, och användes också av Wherry på ungefär samma gång. Metoden har använts i en mängd olika situationer och för en mängd olika ändamål. I en utmärkt kritik av tvångsalternativmetoden summerar Zavala (1965, s. 117) följande:

FC-tekniken har använts för att betygsätta professionell personal som flygvapenofficer och tjänstemän (Gough, 1958, Wherry, 1959), motorvägspatruller och poliser (Peres, 1959; Stander, 1960), ingenjörer (Lepkowski, 1963), lärare (Leftwich, 1962, Tolle och Murray, 1958) och läkare (Newman and Howell, 1961, Newman, Howell och Harris, 1957). FC-konceptet har också använts för att utveckla test för betyg eller mätinteresser (Bendig, 1958, Peel, 1961), ledarskap och övervakning (Izard och Rosenberg, 1958, Wollack, 1959) och anställdas attityder (Miller och Gekoski, 1959) .

Gordon (1951), Denton (1954) och Hatch (1962) har satt FC-tekniker att använda i personlighetsmätning och för att få empatiåtgärder. FC-metoden har också använts i problem relaterade till signaldetekterbarhet och auditiva tröskelvärden (Lukaszewski och Elliott, 1962; Swets, 1959). Blackwell (1952) använde FC-metoden för den psykofysiska mätningen av sensoriska funktioner. Webster (1959) utvecklade ett figurpreferenstest med FC-tekniken.

Konstruktion av tvångsvaluta Betygsskala:

Guilford (1954, s. 275) har tydligt skisserat de lämpliga åtgärderna för att utveckla ett tvångsoptionsinstrument, så klart att de är värda att upprepa här.

Han föreslår följande åtta steg:

1. Beskrivningar erhålls avseende personer som är erkända som de högsta och lägsta ytterligheterna av prestanda kontinuum för den specifika gruppen som ska klassificeras.

2. Beskrivningar analyseras i enkla beteendeegenskaper, angivna i mycket korta meningar eller fraser eller med egenskaper som kan kallas element som används för att konstruera objekt.

3. Två värden bestäms empiriskt för varje element: ett diskrimineringsvärde och ett preferensvärde. Diskrimineringsvärdet är ett giltighetsindex, och preferensvärdet är ett index för graden till vilken kvaliteten värderas av personer som räknarna som kommer att använda instrumentet.

4. Vid bildning av ett objekt är element kopplade. Två uttalanden eller termer med ungefär samma höga preferensvärden är parade, varav en är giltig och den andra inte. Båda borde ha "ansikte validitet" för rater, det vill säga rater bör tro att de båda är gynnsamma för överlägsen prestanda i den grupp som räknas. Två uttalanden eller termer med ungefär lika låga preferensvärden är också parade, en är giltig och den andra inte.

5. Två par uttalanden, ett par med högt preferensvärde och ett med lågt preferensvärde, kombineras i en tetrad för att bilda ett objekt. Anledningen till denna typ av kombination är att även om den genomsnittliga rater inte kommer att motsätta sig att välja en av två gynnsamma beskrivningar för en person som han vet, räcker han ibland med att välja en av två ogynnsamma beskrivningar. Ibland läggs en femte, neutral, beskrivning till för att bilda en pentad, men detta är mindre vanligt.

Ett exempel på en tetrad följer:

Slarvig

Allvarliga sinnade

Energisk

Snobbig

Egenskaperna "allvarliga" och "energiska" skulle ha visat sig ha samma preferensvärde eftersom de applicerades ungefär lika ofta som fördelaktiga egenskaper för att beskriva den typ av personal för vilken skalan utvecklades. Egenskapen "seriös" visade dock sig vara giltig, eftersom den applicerades på högkriteriumgruppen betydligt oftare än för lågkriteriegruppen. Egenskaperna "slarviga" och "snobbiga" hittades lika impopulära, men "slarviga" diskriminerar låga från högkriteriegruppen.

6. Instruktionen till rateren är förberedd. Ratten är att reagera på varje tetrad som en vara och säga vilken av de fyra bästa som passar rateren och vilken av de fyra som är minst lämplig.

7. En försöksform av instrumentet provas i ett prov för vilket det finns ett yttre kriterium för att validera svaren när beskrivningarna åt sattes upp i denna form. Diskriminerande svar bestäms, och om så önskas, tilldelas differentialvikter.

8. En poängnyckel är uppbyggd baserat på resultaten i steg 7. Vanligtvis är ett giltigt gynnsamt drag som är märkt som mest beskrivande av rateren en positiv vikt, även ett giltigt og ogynnsamt drag som bedöms som minst beskrivande.

Logisk grund:

Naturligtvis är logiken från namnet "tvångsval" givetvis utgående från beskrivningen ovan, genom att rater kontinuerligt tvingas välja mellan lika gynnsamma (eller ogynnsamma) alternativ. Detta förhindrar förmodligen att rateren medvetet kontrollerar de mest fördelaktiga egenskaperna när de värderar de arbetare som han kanske vill visa viss grad av favoritism.

Om han väljer sina svar strikt utifrån hur gynnsamma de verkar vara, kommer han teoretiskt att inte ha någon anledning att välja ett drag över det andra i några par eftersom de har likställts på denna grund. Således skulle hans val vara slumpmässigt och han kommer av en slump att sluta välja den diskriminerande egenskapen hälften av tiden.

Eftersom varje tetrad har ett positivt par (med en positiv diskriminator i det) och ett ogynnsamt par (med en negativ diskriminator i det) skulle ett slumpmässigt urval i varje par innebära att ratern skulle tendera att välja en gynnsam diskriminator ungefär hälften tid och en ogynnsam diskriminator ungefär hälften av tiden.

Således skulle ett slumpmässigt eller chansvärde vara noll (förutsatt att vi ger +1 för varje positiv diskriminator och en -1 för varje negativ diskriminator kontrollerad). I den utsträckning som löntagaren verkligen försöker ge en korrekt bedömning av arbetaren, kommer han att tendera att välja egenskaper som diskriminerar i det positiva paret och inte att välja egenskaper som diskriminerar i det negativa paret (förutsatt att han betygsätter en bra arbetare) .

Om han betygsätter en fattig arbetare skulle hans mönster vända om att han skulle tendera att välja den diskriminerande egenskapen oftare än chansen bland det negativa paret och välja den icke-diskriminerande egenskapen oftare än chansen i det positiva paret. Goda arbetstagare bör därmed hamna med höga positiva poäng och stackarsarbetare med höga negativa poäng.

Tvingade valindex:

Nyckeln till en framgångsrik tvångsvalskala ligger i de olika typerna av index som erhålls för varje egenskap före konstruktionen av den slutliga versionen av betygsskalan.

De olika indexen är som följer:

A. Diskrimineringsindex

B. Jämförande index

1. Preferenceindex

2. Favourability index

3. Viktighetsindex

4. Önskningsindex

Diskrimineringsindex:

Det diskriminerande indexet är helt enkelt ett mått på graden av vilken ett drag befinner sig att skilja mellan bra och fattiga arbetare. Alla index som normalt används vid analys av föremål är potentiellt lämpliga för användning som åtgärder för egenskapsdiscriminitet, eftersom man enbart berörs av hur giltig varje egenskap är att förutsäga hur bra en anställd kan vara. För en diskussion av objektanalysmetoder, konsultera någon grundläggande text i psykologisk testning.

Jämförande index:

Grunden för det tvångsvalande systemet kräver att drag sätts ihop på ett sådant sätt att de är lika "attraktiva" för löparen. Med andra ord måste ett drag inte ha mer av någon egenskap som skulle leda till att den plockades över det andra draget av en rater som hade en önskan att förvirra sina svar. Urvalet av egenskaper i vilket par som helst ska baseras enbart på deras diskriminerande kraft snarare än i termer av någon stereotyp för befolkningen om egenskaperna själva.

Vi leder omedelbart till problemet med att försöka bestämma vilka typer av egenskapsegenskaper som är lämpliga för att påverka svaret hos en rater som vill fördjupa sina svar.

Fyra sådana egenskaper kan anses vara potentiellt viktiga:

1. Preferens för ett drag:

Detta kan bäst definieras som den allmänna tendensen för ratatörer att använda egenskapen hos alla människor, oavsett om de är bra eller dåliga arbetare. Sisson (1948) definierade denna egenskap som "i vilken utsträckning människor i allmänhet brukar använda det för att beskriva andra människor." På ett visst sätt är egenskapsegenskap ett mått på att en egenskap är gemensam i den beskrivande vokabulären för ratatörer. Att jämföra par av egenskaper i form av deras allmänna preferens skulle säkert verka som ett logiskt steg om man försökte ta bort externa objektegenskaper som sannolikt skulle påverka valet av en rater.

2. En egenskaps gynnsamhet:

Egenskaper skiljer sig tydligt från deras tydliga förmåga när de används som en beskrivare av människor. Som det har nämnts parar tvångsvalsformatet vanligtvis två fördelaktiga drag med två ogynnsamma egenskaper. Det är också viktigt att de två gynnsamma egenskaperna verkar lika gynnsamma och de två ogynnsamma egenskaperna är lika gynnsamma, eller om raterna kan frestas att välja det mest gynnsamma i varje par i ett försök att göra kursen så bra som möjligt.

Egenskapsfärdighet är förmodligen det mest använda indexet för likvärdiga par för tvångsval. Det är ett index som är relativt enkelt att få genom att ha ett antal domare betygsätta varje egenskap när det gäller dess förmånlighet till den person som den kommer att användas för att beskriva och använda medelvärdesvärdet som favourability index.

3. Viktighetsindex:

Detta index har nämnts av Zavala (1965) och är ett mått på "betydelsen av uttalandet som kvalifikation för den aktuella positionen" (Zavala, 1965, s. 118). Detta index erkänner att en person med en bias tendens tenderar att använda en specifik situation som en referensram än en mer allmän referens. Det vill säga att en rater som vill göra en kurs ser bra ut kan vara mer lämplig att välja den specifika egenskap som han anser är viktigast för det aktuella arbetet än att han väljer det egenskap som är den mest gynnsamma generella deskriptorn.

Raterens val av vilket drag är bäst att använda är därför sannolikt att vara jobbspecifik. För att framgångsrikt jämföra egenskaper för deras betydelse är det nödvändigt att viktvärdesskala värden erhålls (vanligtvis på samma generella sätt att man erhåller förmånskalansvärden) för varje olika betygssituation-en uppgift som ibland kan vara svår att utföra.

4. Önskningsindex:

Begreppet social önskvärdhet diskuterades som ett inflytande vid bestämning av individernas svar på personlighetsinventarier. Effekten av denna egenskapskarakteristik är förmodligen lika viktig i betygssituationer. Att skilja mellan förmånlighet och social önskan är inte alltid en lätt sak att göra.

Visserligen är egenskaper som bedöms gynnsamma också lämpliga för att betraktas som socialt önskvärda. Skillnaden kan illustreras genom att beakta förmånligheten hos en egenskap som intelligens som kan vara ganska hög, medan dess sociala önskvärdhet tenderar att vara något lägre på grund av en allmän kulturreaktion mot "äggkoppar" etc.

Referensramar:

Inte bara finns det en mängd olika index som kan användas för att jämföra par av egenskaper i ett tvångsvalgt format, men det finns också flera instruktionssatser eller referensramar som kan ges till domarna när man erhåller skalvärden för likvärdiga ändamål . Som ett resultat kan olika instruktioner vara ganska kritiska.

Om man till exempel är intresserad av att få viktiga index kan han ge domarna någon av följande uppsättningar instruktioner:

(I) Ger varje drag en poäng baserat på hur viktigt du känner att egenskapen är för framgångsrik jobbprestation, eller

(2) Ge varje drag en poäng baserat på hur viktigt du tycker att rateren så småningom använder skalan kommer att känna egenskapen för framgångsrik jobbprestation.

I första hand erhåller man skalvärden baserat på domarnas egna referensram. I andra instans uppmanas domarna att placera sig i "skorna" hos den person som så småningom kommer att bli ombedd att använda prestationsbedömningsinstrumentet och att döma som om de var den personen. De viktvärdesskalavärden som erhållits under dessa två uppsättningar av förhållanden kan visa sig vara helt annorlunda.

"Ideal-Man" -strategin:

Ett relaterat problem med referensfrågan är raterstrategin som kallas "ideal-man" -strategin. Ett mycket typiskt sätt att förspänna svaren på en skala för tvångsvalutan är att rateren väljer sin bästa arbetare och mentalt byter ut sina egenskaper för de arbetare som han faktiskt betygsätter och vem han vill ha bra poäng.

Om han inte har någon anställd tillräckligt bra för att kunna användas som vägledare i betyg, kan raterna dra en mental bild av en idealarbetare och använda detta som referensram för att göra sina betyg. Denna typ av avsiktlig förspänning är extremt svår att klara av, eftersom raternären på ett visst sätt inte uppmärksammar de särdrag av egenskapsegenskaper som tvångsvalskalan tenderar att skydda mot.

Det betyder att rater tenderar att göra ett "ärligt" jobb med betyg, förutom att "mannen" han är betyg när han fullbordar skalan är en ganska annorlunda person än den han ska vara betygsättning. När en rater är klok nog att anta denna betygsstrategi som en metod för att höja prestationsresultatet för sina vänner etc. är det lite som kan göras för att undvika den resulterande förspänningen, även med tvångsval.

Forskning om tvångsalternativmetod:

Metoden för tvångsval har varit föremål för stor forskning sedan dess introduktion på 1940-talet. Som med många nyare metoder har det visat sig vara något mindre av botemedel - allt än många hade hoppats, men det verkar fortfarande vara ett av de mest effektiva sätten att reducera rater bias tillgänglig för industripsykologen. En kort översikt över några av fynden som behandlar olika aspekter av tvångsalternativmetoden kommer att ge en uppfattning om metodens allmänna status.

Forced-Choice Artikelformat:

I det som har kommit att betraktas som en av de klassiska studierna om tvångsalternativmetoden, jämförde Highland och Berkshire (1951) sex olika typer av objektformat med avseende på (1) deras konstiga jämnhet, (2) deras känslighet för bias när räknarna fick instruktioner för att försäkra sig om en hög poäng, (3) deras giltighet mot ett kriterium som består av instruktörernas rangordningar av eleverna, och (4) deras allmänna popularitet som bestämts av ratarna.

De sex olika typerna av artikelformat som användes var:

1. Två uttalanden per föremål, antingen gynnsamma eller båda ogynnsamma. Rater blev ombedd att välja mest beskrivande av paret av uttalanden.

2. Tre uttalanden per punkt, antingen alla gynnsamma eller alla ogynnsamma. Rater blev ombedd att välja den mest och minst beskrivande uttalandet.

3. Fyra uttalanden per föremål, alla gynnsamma. Rater blev ombedd att välja de två mest beskrivande uttalandena.

4. Fyra uttalanden per föremål, alla gynnsamma. Rater blev ombedd att välja den mest beskrivande och minst beskrivande.

5. Fyra uttalanden per föremål, två gynnsamma och två ogynnsamma. Rater blev ombedd att välja både de mest och minst beskrivande uttalandena.

6. Fem uttalanden per föremål, två gynnsamma, två ogynnsamma och en neutral. Rater blev ombedd att välja både de mest och minst beskrivande uttalandena.

Resultaten av studien ledde Highland och Berkshire till följande slutsatser:

Pålitlighet:

Alla format ledde till höga pålitlighetskoefficienter, även om format 5 och 6 kan anses vara det bästa sättet att visa på detta kriterium.

Giltighet:

Format 4 var generellt sett det mest giltiga, med format 3 som körde en stark sekund. Detta tyder på att användningen av endast gynnsamma alternativ tycks påverka validiteten.

Rater preferens:

Företrädarna för räknarna för de sex formaten som (från de flesta till minst föredragna) 3, 1, 6, 5, 4 och 2.

Känslighet för förspänning:

Blanketterna skilde sig väsentligt när det gällde i vilken grad de var resistenta mot avsiktliga försök att förspänna. Ordningen av biasresistens (från mest till minst) var 3, 2, 1, 4, 5 och 6.

Highland och Berkshire föreslår att format 3 är det bästa av de sex som studeras när de fyra kriterierna ovan beskrivs.

Jämförande giltighet av tvångsval:

Highland och Berkshire-studien undersökte olika format av tvångsval bland dem själva. En lika viktig fråga gäller metodens giltighet och tillförlitlighet jämfört med andra prestationsbedömningsförfaranden.

Vid granskning av de studier som har påstått att undersöka fördelen av tvångsval när det gäller giltighet gör Zavala (1965) följande punkter:

1. För många studier av giltigheten av tvångsval har tenderat att använda andra former av betyg som ett kriterium. Detta är förmodligen mer av en tillförlitlighet än en giltighetsåtgärd.

2. De flesta jämförande studierna verkar visa en liten överlägsenhet för tvångsval över konventionella betygsmetoder.

3. Ju längre betygsskalan är, desto lämpligare är den tvungna valmetoden att vara överlägsen.

4. Giltigheten för en tvångsvalskala är också lämplig för att vara en funktion av typen av likvärdigt index som används vid konstruktionen av objekten.

Känslighet för bias:

Även om frågan om giltighet är förmodligen den viktigaste som kan användas för att utvärdera tvångsalternativmetoden, är frågan om graden till vilken metoden är föremål för förspänning eller avsiktlig förvrängning också kritisk. Faktum är att metoden speciellt utformades för att minska responsförspänningen, eftersom responsförspänning tenderar att minska giltigheten.

Beviset på effektiviteten av tvångsvalutan som en förspänningsreducerare är något tvetydig. Det förefaller vara liten tvivel om att faking fortfarande är möjligt under ett kraftval, enligt Sisson (1948), Howe (1960) och Howe och Silverstein (1960).

Det verkar emellertid vara väsentligt bevis på att graden av funktionsnedsättning minskas av tvångsalternativ. Karr (1959), Taylor och Wherry (1951) och Izard och Rosenberg (1958) erbjuder tre exempel på forskningsstudier som indikerar ett motstånd mot faking genom tvångsval som överstiger det hos andra typer av vågar.

Waters (1965) har nyligen föreslagit att en av de stora svårigheterna med forskning om funktionsförmågan hos tvångsval har varit att "uppsättningen" för att fejka det test som fastställts har vanligtvis avvikit från "uppsättningen" under vilken jämställdhetsindexen var ursprungligen erhållen. Således är indexen aldrig riktigt helt lämpliga för den faktiska bedömningssituationen. Han föreslår att det finns tre olika svarssatser enligt vilka jämställda index kan erhållas (oavsett vilket index som används).

1. Ärlig bedömning:

Att svara som svaranden verkligen tror att uttalandet gäller den person som utvärderas

2. Social acceptans:

Svara så att det är acceptabelt för sig själv och för andra i allmänhet

3. Framträdande utseende:

Svara så att personen verkar ha de egenskaper som är nödvändiga eller önskvärda i förhållande till ett visst jobb eller en verksamhet

Det föreslås vidare av Waters att fakthetsstudier kan klassificeras i tre generella klasser, beroende på hur svarssatsen och gruppkompositionen varieras.

Att citera från Waters (1965, s. 189) har vi:

1. Färdighetsstudier:

Satser och grupper som åtminstone liknar de situationer där attraktivitetsindex uppnås och skalan administreras.

2. Generaliseringsstudier:

Varken uppsättningar eller grupper, men inte båda, ändras från situationen där attraktivitetsindex uppnås i den situation där skalan administreras.

3. Förlängningsstudier:

Både uppsättningar och grupper förändrades från den situation där attraktivitetsindexen erhålls i den situation där skalan administreras.

Fakthetsstudier ska inte förväxlas med de senare typerna av studier. De är den enda typen som direkt ger ett test av hur adekvata de jämställande indexerna är i sitt jobb. De senare två utvärderar helt enkelt indexets generality i andra situationer. Tyvärr, enligt Waters, har de flesta fakabilitystudier hittills varit antingen generaliserings- eller förlängningsstudier. Det finns ett starkt behov av en del undersökningar som direkt attackerar problemfrågan.

Norman Studie:

En av de mer intressanta studierna om problemet med tvångsvalidering och upptäckt är studien av Norman (1963). Han var oroad över dynamiken hos objekt popularitet och objekt diskriminering index under normala förhållanden och under faking förhållanden. Dessutom var han intresserad av att bestämma i vilken utsträckning faking, om det inträffade, kunde kontrolleras och / eller upptäckas.

De viktigaste resultaten av forskningen i förhållande till beteendet hos indexen av popularitet och diskriminering ges nedan:

1. Diskrimineringsindex under normala och falska förhållanden var korrelerade ungefär

2. Popularitetsindex under normala och falska förhållanden var korrelerade låga (0, 24 och 0, 23).

3. Tillförlitligheten av diskrimineringsindex under falska förhållanden var noll.

4. Tillförlitligheten av diskrimineringsindex under normala förhållanden var måttligt hög.

5. Tillförlitligheten hos popularitetsindex var nästan perfekt under både normala och falska förhållanden (0, 97 och 0, 98).

Det sista av dessa resultat (att hitta nummer 5) innebär att skillnaden i popularitet mellan normala och falska förhållanden också måste vara väldigt tillförlitlig (det där konstaterande nummer 2, som säger att det finns väsentliga skillnader, kan modifieras för att antyda att sådana skillnader är tillförlitliga och konsekvent). Detta utvärderades dock inte direkt i studien.

Norman föreslår då ett förfarande för att utveckla ett tvångsvalgt instrument som kommer att ha samma medel under falska förhållanden, eftersom det under normala förhållanden kommer att ha en mindre varians under falska förhållanden och ha en mycket känslig detekteringsskala för identifiering av fakers.

För att uppnå detta skisserar han följande steg:

1. Välj artiklar med högdiskrimineringsindex under normala förhållanden (välj mer än vad som krävs så småningom).

2. Rangera de valda objekten med avseende på storleken på deras skillnader i popularitet under normala och falska förhållanden (se nummer 2 i ovanstående lista).

3. Välj objekt från båda sidor av noll (så många som önskas), och se till att den algebraiska summan av popularitetskillnader är lika med noll när den är klar.

Steg 3 kommer att säkerställa (eftersom vi vet att popularitetskillnader är tillförlitliga) att det genomsnittliga testresultatet för personer under normala förhållanden kommer att motsvara det under de falska förhållandena. Detta sker eftersom medelvärdet av fördelningen av testresultat är lika med summan av objektets popularitet. Sålunda är medelvärden under normala och falska förhållanden likställda. Tester konstruerade med denna procedur tenderar också att avvika av deras testpoängfördelningar när de tas under en uppsättning till falska. Detta är ett resultat som tenderar att minska möjligheten att personer som är benägna att falska kommer att få tillräckligt höga poäng för att bli accepterade.

För att illustrera, överväga det diagram som visas nedan (Figur 7.4) där vi har fördelningen av testresultat taget under normala förhållanden. (7.4a), fördelningen av testresultat taget under en uppsättning till falsk (7.4b), och en kompositfördelning bestående av fakers och non-fakers (7.4c).

Undersökning av figur 7.4c ger en indikation på den kontrollerande effekten som denna metod utövar på avsiktliga fakers. I den vanliga utvärderingsprestationen är vi intresserade av att belöna de personer som står högt på tvångsformuläret. Eftersom variationen i den falska fördelningen är reducerad kan man välja de bästa scoring-personerna (de till höger om cut-off-linjen i 7.4c) utan risk att få för många fakers inkluderade bland den valda eller belönade gruppen.

Figur 7.5 visar fem olika empiriska demonstrationer av denna begränsning i varians erhållen i den normaniska studien.

En sista egenskap hos den normaniska metoden är att det är väldigt enkelt att konstruera en "upptäckt" skala för att bestämma vem som är faking och vem som inte är.

En innehåller helt enkelt på skalan ett antal artiklar som uppfyller följande krav:

1. De måste ha nära noll validiteter för kriterievariablerna.

2. De måste ha visat ett stort skifte i popularitet från det normala till det falska tillståndet.

3. Deras popularitet under normala förhållanden måste antingen vara mycket hög eller mycket låg.

En konstruerar sedan en nyckel som anger det sällsynta svaret under det normala tillståndet för varje objekt (det vill säga det frekventa svaret under det falska tillståndet), eftersom ett svar tenderar att indikera faking och det andra svaret indikerar normalt svarande.

Ett annat sätt att beskriva dessa detekteringsobjekt är att deras popularitet hör ihop med tendensen att förfalska. Figur 7.6 visar fördelningen av poäng på detektorskalan som erhållits av Norman under normala och under falska förhållanden. Lägg märke till det stora skiftet av poäng när folk blev ombedda att förfalska. En avstängningspunkt på ca 20 skulle tendera att identifiera de flesta fakerna utan att falsamt anklaga mycket av normalerna.