Forfatter: Lars Vegheim Haraldsen, PhD-kandidat og rådgiver i Lent AS
Hvordan måle og dokumentere effekt av leder- og ledelsesutvikling?
Måling av lederutviklingstiltak er lettere sagt enn gjort, og et stort tema. En fremgangsmåte passer sjelden alle - målinger må tilpasses organisasjon, deltakere, ledernivå og mål.
1. Behovsanalyse
Evalueringen starter ikke etter tiltaket, men i behovsanalysen, som skal fastslå hva som skal utvikles og for hvem, og som gir kriteriene tiltaket senere bør vurderes mot (Salas et al., 2012). Analysen bør munne ut i konkrete utviklingsmål — hva lederne skal vite, kunne gjøre eller gjøre annerledes — og de samme målene bør styre både valget av øvelser underveis i tiltak og valg av evalueringsmål (Day et al., 2021). Tiltak uten uttalte mål er vanskelig å evaluere.
2. Avklar hvorfor man måler
Formålet med målingen avgjør hva som er relevant (Kraiger, 2002): skal det måles effekt for beslutninger om tiltaket skal videreføres, endres eller utvides; for tilbakemelding til dem som utformer og gjennomfører tiltaket; eller som markedsføring overfor andre enheter eller framtidige deltakere i organisasjonen?
3. Mål det tiltaket er designet for å få til
Kunnskap, ferdighet og atferd er ulike utfall, og et tiltak som skal endre atferd, men måles med en kunnskapstest, kan framstå mer virkningsfullt enn det er. Er tiltaket bygget for å styrke samspillet i en ledergruppe eller samarbeid på tvers, sier fornøydhet med tiltaket lite.
4. Bruk validerte måleinstrumenter
Skal dere måle f.eks. psykologisk trygghet, finnes det etablerte spørsmålsbatterier utviklet og testet i forskning for nettopp det. Bruk dem, framfor fire spørsmål man formulerer selv: egne spørsmål måler noe, men sjelden ikke alltid det de er ment til, og lar seg ikke enkelt sammenligne med andres eller tidligere målinger.
5. På hvilket nivå bør det måles?
Kirkpatricks (1959) rammeverk med 1) reaksjoner, 2) læring, 3) anvendelse og 4) resultater er mye brukt. Det er ikke noe lineært forhold mellom nivåene: positive reaksjoner fører ikke automatisk til læring, læring til anvendelse, osv. Det kan argumenteres for tilstrebing av måling på nivå 2 og 3. Positive reaksjoner er ingen garanti for læring, og læring kan også skje uten positive reaksjoner. Likt kan anvendelse av nye ferdigheter skje uten at det synes på f.eks. sykefravær, tjenestekvalitet eller bunnlinje - disse kan påvirkes av mye utenfor lederen og tiltaket, og kan være vanskelig å kontrollere for. Inkluderes slike mål bør det gjøres med en på forhånd uttalt virkningskjede som forklarer hvordan lederens læring forventes å gi organisatoriske utfall, samt hva annet som kan påvirke.
6. Hvem vurderer?
Ledernes egne vurderinger av anvendelse og endring er systematisk høyere enn medarbeidere og andres (Taylor et al., 2009). Samme gjelder lederes vurdering av egen ledelse (Day et al., 2014). Selvrapportering av lederne selv er ikke verdiløs og det spørs på målet med tiltaket, men én kilde alene kan ikke sikkert måle f.eks. reell atferdsendring. Tilstreb minst to: lederen selv, medarbeidere, nærmeste leder, eller alle/flere.
7. Når bør det måles, og hvordan?
Måling før tiltaket bør tilstrebes for å ha noe å sammenligne med, rett etter, og helst en gang til når lederne har hatt reell anledning til å anvende. En kontrollgruppe å sammenligne med er ikke alltid mulig, men bør tilstrebes. F.eks. ledere som ennå ikke har deltatt, eller har fått annen trening. Randomisering er anbefalt, men kan være vanskelig i praksis. Kvasieksperimentelle design uten dette fungerer også og gir flere designmuligheter (Shadish, Cook & Campbell, 2002), der et mye brukt er å måle neste kull samtidig med første gruppe deltakere (ventelistedesign). Slik kan man måle effekt samtidig som man gir alle mulighet til samme kompetanse.
Til sist: måling blir ofte i praksis noe som reduserer usikkerhet, ikke noe som fjerner den og gir et helt sikkert svar (Hubbard, 2014), og målet om perfekt design kan fort bli til at terskelen for å måle blir for høy. Spørsmålet er ikke alltid om man kan bevise at tiltak virker, men om man vet mer etterpå enn før og har økt sannsynligheten for at endringer/effekter er som følge av tiltaket (Kraiger, 2002). Er gruppen liten, gjør det likevel — få observasjoner reduserer usikkerheten mer enn ingen. Får man ikke til perfekt design, gjør det likevel dersom det vil fortelle dere mer enn dere visste før.
Referanser
Day, D., Bastardoz, N., Bisbey, T., Reyes, D., & Salas, E. (2021). Unlocking human potential through leadership training & development initiatives. Behavioral Science & Policy, 7(1), 41–54.
Day, D. V., Fleenor, J. W., Atwater, L. E., Sturm, R. E., & McKee, R. A. (2014). Advances in leader and leadership development: A review of 25 years of research and theory. The leadership quarterly, 25(1), 63-82.
Hubbard, D. W. (2014). How to measure anything: Finding the value of "intangibles" in business (3. utg.). Wiley.
Kraiger, K. (2002). Decision-based evaluation. I K. Kraiger (Red.), Creating, implementing, and managing effective training and development: State-of-the-art lessons for practice (s. 331–375). Jossey-Bass.
