Hvordan ser vi på effekt i Lent?

I Lent baserer vi vårt syn på effekt av kompetanseheving og utviklingstiltak på Donald Kirkpatricks firenivåmodell, kombinert med nyere teori innen læringsoverføring (training transfer) og organisasjonsatferd (Blume et al., 2019; Reio et al., 2017). Vår grunnleggende filosofi inn mot effekt er at det første og viktigste steget etter et endringstiltak ikke nødvendigvis er umiddelbare resultater på organisasjonsnivå eller fornøydhet blant deltakere, men at det skjer en faktisk atferdsendring hos deltakerne (Reio et al., 2017).

Det "glemte" nivået og skillet mellom atferd og resultat
Kirkpatricks modell deler evaluering inn i fire nivåer: reaksjon (nivå 1), læring (nivå 2), atferdsendring/anvendelse (nivå 3) og resultater (nivå 4). Av disse nivåene er det ofte lettest å måle reaksjonene til utviklingstiltaket (f.eks. er deltakerne fornøyde?) og om de har lært (f.eks. har de fått ny kunnskap eller opplever de å ha fått bedre ferdigheter?). Det som ofte fokuseres på er nivå 1 reasksjoner, siden det er lettest å måle. Utenom dette har mange organisasjoner og ledere har et sterkt fokus og ønske om måling og dokumentering på nivå 4, og ønsker å se overordnede forretningsmessige resultater kort tid etter at et tiltak er gjennomført. Problemet er imidlertid at man ofte prøver å hoppe direkte fra læring til organisasjonsresultater, samtidig som nivå 3 – selve atferdsendringen – ofte utelates og dermed blir stående som "det glemte nivået" (Reio et al., 2017). Ingen endelige resultater på organisasjonsnivå kan forventes med mindre det først skjer en positiv og ønskelig endring i atferd på arbeidsplassen.

Litteraturen på training transfer støtter opp om dette, og skiller tydelig mellom direkte arbeidsatferd (prestasjon) og de endelige utfallene av denne atferden (Blume et al., 2019). Deltakernes atferd kan påvirkes direkte av det de har lært og erfart, mens de overordnede organisatoriske utfallene ofte påvirkes av andre og ukontrollerbare eksterne faktorer (Blume et al., 2019). Å utelukkende vurdere et utviklingstiltak ut fra resultater kan derfor gi et ufullstendig bilde av effekten. Har et utvikingstiltak ført til ønskelig atferdsendring kan man derfor se at selve tiltaket var vellykket, men dersom denne atferdsendringen ikke førte til de ønskelige og forventede organisatoriske resultatene kan det være nyttig info til å se på selve “miljøet” og systemet de nye ferdighetene og atferdsendringen blir satt inn i - som kan gi verdifull læring.

Samspillet mellom individ og miljø
For å oppnå atferdsendring er vi i Lent opptatt av at læring ikke skjer i et vakuum. Overføring av kunnskap til praksis er en dynamisk prosess som oppstår i samspillet mellom deltakeren og arbeidssituasjonen over tid (Blume et al., 2019). Gode intensjoner rett etter et endringstiltak fører ikke nødvendigvis til handling dersom støtteapparatet mangler.

Kontekstuelle faktorer i arbeidsmiljøet – som for eksempel læringskultur, støtte fra ledere og kolleger, og at man faktisk får muligheten til å utføre og øve på de nye ferdighetene – er avgjørende for at læring skal resultere i faktisk atferdsendring (Salas et al., 2012). Uten de riktige signalene og rammene fra arbeidsmiljøet, vil selv de beste kompetansetiltak kunne være effektløse.

Essensen for oss i Lent er derfor: Vil vi skape varige resultater og verdi for organisasjonen, må design og evaluering av utviklingstiltak først og fremst ha fokus på å skape, støtte og måle endret atferd i hverdagen. Resultatene på organisasjonsnivå kan forventes som en konsekvens av atferden, men er ikke garantert gitt alt annet som også kan påvirke organisasjonsresultater.

Kritikken av Kirkpatrick-modellen

Selv om Kirkpatricks modell er utbredt, har forskere over tid rettet tre hovedkritikker mot rammeverket (Bates, 2004; Reio et al., 2017). For det første kan modellen gi inntrykk av en enkel, lineær årsakssammenheng, der man antar at positive reaksjoner automatisk fører til læring, som igjen garanterer atferdsendring og gode resultater. Forskning viser imidlertid at det sjelden finnes en så direkte og lineær sammenheng (Bates, 2004; Reio et al., 2017). Positive reaksjoner er ingen garanti for læring, og læring kan også skje uten positive reaksjoner. Likt kan anvendelse av nye ferdigheter skje uten at det synes på f.eks. sykefravær, tjenestekvalitet eller bunnlinje - disse kan påvirkes av mye utenfor lederen og tiltaket, som kan være vanskelig å kontrollere for. For det andre påpekes det at modellen ignorerer det komplekse samspillet av kontekst og miljø. Variabler som lederstøtte, læringskultur og muligheten til faktisk å utføre det man har lært på jobben er avgjørende for at læringsoverføring skjer (Salas et al., 2012), men disse elementene inngår ikke formelt i Kirkpatricks fire nivåer (Bates, 2004). For det tredje mangler modellen diagnostisk evne fordi den primært fokuserer på sluttresultatene og ikke på mekanismene bak potensielle resultater. Hvis atferden ikke har endret seg, gir ikke selve modellen svar på om feilen lå i selve kurset eller om manglende oppfølging på arbeidsplassen var årsaken. Andre perspektiver er for eksempel Kurt Kraiger (2002) sin beslutningsbaserte evaluering, som sier formålet med målingen avgjør hva som er relevant: skal det måles effekt for beslutninger om tiltaket skal videreføres, endres eller utvides; for tilbakemelding til dem som utformer og gjennomfører tiltaket; eller som markedsføring overfor andre enheter eller framtidige deltakere i organisasjonen? Rammeverket vil ikke gås mer inn på her, men er anbefalt lesing.

Hvorfor vi likevel bruker Kirkpatrick som grunnmur
Til tross for disse faglige svakhetene, forblir Kirkpatricks rammeverk svært populært på grunn av dets enkelhet, praktiske overførbarhet og evne til å gi organisasjoner et systematisk felles språk rundt målingen (Bates, 2004; Reio et al., 2017). Modellen hjelper oss med å rydde i forventningene, og fungerer som en verdifull rettesnor som tvinger fokuset bort fra kun å måle om et tiltak var bra og deltakere er fornøyde (reaksjons-evalueringer på nivå 1), til systematisk å vurdere læring (nivå 2), atferdsendring (nivå 3) og effekter (nivå 4).

Hva har vi evaluert til nå på de fire nivåene og hva er planene videre?

I Lent har vi til nå evaluert effekt på nivå 1 og 2: reaksjoner og læring. Blant et utvalg på 865 deltakere fra 2019-2023 svarte 92% at det de lærer og trener på underveis i Prosesslederstudiet er relevant for deres arbeidshverdag, med et gjennomsnitt på 4.59 på en skala fra 1-5. I 2025 ble 787 deltakere spurt hvor fornøyde de var med Prosesslederstudiet, der 93% svarte de var fornøyd, med et snitt på 4.54 på en skala fra 1-5. På nivå 2 læring har vi i 2024 evaluert 177 deltakere før og etter Prosesslederstudiet der de selvevaluerte egne ferdigheter studiet er ment å forbedre. I henhold til Kirkpatrick telles dette inn på læring, selv om det ikke var en formell kunnskaps/ferdighetstest. Resultatene var signifikante, der deltakerne ble tryggere i møte- og prosesslederrollen, flinkere til å planlegge møter og prosesser, opplevde få bedre ferdigheter i å skape eierskap, samarbeid, involvering, psykologisk trygghet og engasjement, i tillegg til å håndtere motstand og utfordrende situasjoner. På et kull opplevde de også å ha fått et bedre språk seg i mellom i organisasjonen. Selv om det metodiske rundt disse evalueringene ikke er så sterkt som man ønsker innen forskning, kan de ses som verdifull kunnskap rundt hva deltakere og organisasjoner får ut av det - og det reduserer usikkerheten rundt om det har en effekt eller ikke.

Nivå 3 atferdsendring og nivå 4 organisasjonsresultater er planlagt å måles videre fremover, samt å bli forsket på og dokumentert ytterligere i en næringslivs-PhD på BI, finansiert av Lent og Forskningsrådet.

Oppsummering

Ved å kombinere Kirkpatricks rammeverk med training transfer-litteraturen forsøker vi tette hullene modellen kritiseres for (Blume et al., 2019). Overføringslitteraturen minner oss på at læring ikke skjer i et vakuum, og hjelper oss med å designe tiltak som ivaretar lederstøtte og et godt miljø for prøving og feiling i arbeidshverdagen. Essensen for oss i Lent er derfor: Vil vi skape varige resultater og verdi for organisasjonen, må design og evaluering av utviklingstiltak i første rekke ha fokus på å skape, støtte og måle endret atferd. Resultatene kommer som en konsekvens av atferden.

Skrevet av Lars Vegheim Haraldsen, PhD-kandidat og rådgiver i Lent