Professor Scott Highhouse från Bowling Green State University är i Stockholm för att opponera på en avhandling på Stockholms universitet. Vi har följt hans arbete under ett antal år med stort intresse. Dagen före disputationen ska han hålla en öppen föreläsning på universitetet om databaserat urval. Maria Åkerlund, träffar Highhouse för en intervju strax före hans föreläsning.
Du har länge försökt förstå varför beslutsfattare och bedömnings- och urvalsexperter är ovilliga att använda standardiserade metoder för urval. Du skriver om ”stubborn reliance on intuition and subjectivity” [1] och om vad du kallar den ”functional autonomy” [2] som bedömnings- och urvalsexperter sedan länge åtnjuter.
Vad fick dig intresserad av det här området?
Min doktorandutbildning innehöll traditionell HR-kunskap och ekonomi. Vi hade föreläsningar i psykologi som handlade om urval och om JDM (judgement and decision making theory). Den mixen fungerade bra för mig. Att tillämpa JDM-teori på urvalsområdet var nytt.
Vad menar du med ”functional autonomy”?
Det begreppet kom från en artikel från 1950-talet tror jag, om klinisk psykologi och hänvisar till det faktum att klinisk, psykologisk praktik hade rört sig så långt ifrån klinisk psykologisk forskning att området hade uppnått så kallad funktionell autonomi. I min artikel drog jag en parallell till området personbedömning. Urval inom arbetslivet fungerar på samma okritiska sätt samtidigt som vi inom arbets- och organisationspsykologin förespråkar ett evidensbaserat tillvägagångssätt.
I din artikel Lay perceptions of selection decision aids in US and non US samples [3] skriver du att ”holistisk bedömning med hjälp av traditionella intervjuer förblir det dominerande tillvägagångssättet inom urval” (författarens översättning). Vad tror du orsaken till detta är?
Det är en stor fråga! Generellt rör det sig om en motvilja mot formler. Jag skiljer på inställningen till att strukturera intervjun å ena sidan och att använda en formel för att kombinera olika delar information eller data, testresultat, skattningar och så vidare. När det gäller att strukturera intervjun tror jag det handlar om förlust av autonomi, människor vill inte ha begränsningar när det gäller vilka frågor de ska ställa. Sedan är det också en fråga om överdriven tilltro till den egna förmågan att predicera människors arbetsprestation, man glömmer sina misstag och kommer ihåg när man prickat rätt. När det gäller kombinationen av data, alltså att strukturera beslutet, tror jag det finns ett ännu större motstånd och en tro att en sådan struktur förenklar en komplex process. Utan tvivel är det så att det förenklar en komplex process, det är bara det att om vi inte strukturerar beslutsprocessen förenklar vi den ännu mer.
Vi accepterar standardiserade och databaserade tillvägagångssätt vid urval till utbildningar, åtminstone här i Sverige. Varför tror du det är så, när vi har så svårt att acceptera det vid urval i arbetslivet?
I USA accepterar vi det inte till fullo. Det förekommer men vi har sett en ”backlash”. Nu görs mer och mer intervjuer utöver, eller till och med i stället för, intagning baserat på betyg.
University of Michigan använde standardiserade test och en formel för sammanvägning av data och hade byggt upp en helt transparent process. Studenter stämde universitetet för att poäng gavs baserat på ras och det strider mot the Civil rights act. Högsta domstolen gav studenterna rätt och bestämde att universitetet måste använda holisitisk bedömning – vilket innebär en icke transparent process!
Har du själv lyckats få klienter att se att standardiserade urvalsmetoder har högre träffsäkerhet än intuition och holistisk sammanvägning av data. Hur gjorde du i så fall?
Det är svårt. Bara att strukturera intervjun är svårt. Jag ger rekryterande chefer en standardiserad lista med frågor som de kan välja emellan. På så sätt säkrar vi att frågorna är relevanta för jobbet och ger den rekryterande chefen en känsla av autonomi. Det finns ett starkt motstånd mot personlighetstest och en helt standardiserad approach är sällsynt. Det finns konsultfirmor som har framgång med standardiserade test särskilt vid rekrytering på lägre nivåer i organisationer.
Vad skulle konsekvensen bli om vi implementerade standardiserade, evidensbaserade urvalsmetoder?
Vi skulle få ökad produktivitet! När arbets- och organisationspsykologer talar om de tio största framgångarna för arbets- och organisationspsykologin nämner de i allmänhet saker som den forskningsbaserade teorin om målsättning, men enligt mig är det att vi lyckats minska felmarginalen i prediktionen av arbetsprestation. Urvalsbedömning är också arbets- och organisationspsykologins äldsta uppgift. Om vi lyckas omsätta denna kunskap på bred front kommer vi att vinna mycket.
Problemet för oss är frågan om ”adverse impact”. Det finns några artiklar av Winfred Arthur som driver tesen att idén att vi ska kunna minska adverse impact genom att kombinera bedömningsdata på olika sätt är ett falskt löfte. Vårt mål bör vara att anställa dem som är bäst lämpade. Frågan om adverse impact hindrar utvecklingen. Folk är rädda för att bli stämda och det hindrar meritbaserat urval. Om man kan visa att ens urvalsprocess är valid är den inte olaglig även om den leder till adverse impact. Rättegångar är emellertid så dyra att man vill undvika att hamna där till nästan vilket pris som helst.
Ett annat problem, som jag ser det, är att klienter och andra berörda parter mycket sällan ställer oss till svars för hur vi går tillväga. Hur kan vi få dem att kräva att vi använder vetenskapligt grundade metoder och underbygger våra påståenden med forskning?
Det är en svår fråga. Det finns många testföretag som ger falska löften genom att exempelvis hänvisa till någon forskare på Harvard som stöd för deras tests validitet utan att det finns substantiellt stöd för det. Folk köper det. I USA går många kliniska psykologer av arbetsmarknadsmässiga skäl över till konsultbranschen och de har ingen psykometrisk bakgrund och saknar därmed det kunnandet.
Att skilja ut sig från charlataner och grupper av praktiker utan ett evidensbaserat förhållningssätt är avgörande!
Ett skäl till att mekanisk sammanvägning har högre validitet är holistisk datakombination är så kallat bias. Finns det fler områden inom arbetslivet där vi skulle kunna förbättra våra beslut genom att använda standardiserade beslutsstrategier?
Performance management, lönefrågor och så vidare. Jag är tillsammans med två kolleger redaktör för en bok som just kommit ut, ”Judgement and Decision Making at Work” [4] , som handlar om just detta.
Hur ser du på framtiden för psykologer som arbetar med urvalsbedömning? Hur, om alls, kan vi omdefiniera vår roll? Vad kan vi göra i stället för holistiska bedömningar?
Jag tror inte på expertis inom prediktion men jag tror på expertis inom bedömning. Det finns en roll för arbets- och organisationspsykologer i att göra observationer av social kompetens och arbetsbeteende, att strukturera och poängsätta dessa och kombinera dem med varandra och med andra bedömningsdata på ett standardiserat sätt. Idén att vi kan bli experter på intuitiv prediktion är felaktig.
Håller du också med om att det ingår i rollen som arbets- och organisationspsykolog att känna till den forskning som visar detta? Att känna till den mänskliga prediktionsförmågans begränsningar och vara insatt i forskningen om bedömning och urval?
Absolut, det gör jag!
Hur envis är vår envisa tillit till intuition och subjektivitet? Förutser du någon förändring? Kuncel et al. skriver i sin artikel från i år, [5] att endast ”2 % of people involved in individual assessment make use of purely mechanical methods”. Finns det hopp?
Det finns en tendens till alltmer evidensbaserat beslutsfattande, boken och filmen ”Money ball” och den sanna historien bakom är exempel på det och hela området ”big data”, och det hjälper. Det är emellertid svårt att få budskapet om behovet av evidens att gå fram. De som tjänar mest pengar är de som arbetar minst evidensbaserat. Det finns en stor marknad för urval till höga chefsbefattningar. Urval inom offentlig sektor i USA är dock mer strukturerat på grund av risken för stämningar. Så det är inte helt uteslutet att vi kommer att se en mer evidensbaserad praktik. Men det kommer förmodligen att ta lång tid.
Jag startar en ny tidskrift om bedömning och beslutsfattande med ett par kolleger. Den kommer att vara tillgänglig för alla, läsare och författare. Det första numret kommer 2015.
[1] Highhouse, S (2008). Stubborn reliance on intuition and subjectivity. Industrial and organizational psychology. 333-342.
[2] Highhouse, S (2002) Assessing the candidate as a whole, A historical and critical analysis of individual psychological assessment for personnel decision making, Personnel psychology, 363-396.
[3] Diab, D.L., Pui, S-Y., Yankelevich, M., & Highhouse, S. (2011). Lay perceptions of selection decision aids in US and non US samples. International journal of selection and assessment. Vol 19, No 2 pp 209-216.
[4] Highhouse, S., Dalal, R.S., & Salas, E.(2013). Judgement and decision making at work, Routledge. NY.
[5] Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013, September 16). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology. Advance online publication. doi: 10.1037/a0034156