Hvordan ser vi på effekt i Lent?

I Lent baserer vi vårt syn på effekt av kompetanseheving og utviklingstiltak på Donald Kirkpatricks anerkjente firenivåmodell, kombinert med nyere teori innen læringsoverføring (training transfer) og organisasjonsatferd (Blume et al., 2019; Reio et al., 2017). Vår grunnleggende filosofi inn mot effekt er at det første og viktigste steget etter et endringstiltak ikke nødvendigvis er umiddelbare resultater på organisasjonsnivå, men at det skjer en faktisk atferdsendring hos deltakerne (Reio et al., 2017).

Det "glemte" nivået og skillet mellom atferd og resultat Kirkpatricks modell deler evaluering inn i fire nivåer: reaksjon (nivå 1), læring (nivå 2), atferdsendring/anvendelse (nivå 3) og resultater (nivå 4). Av disse nivåene er det ofte lettest å måle reaksjonene til utviklingstiltaket (f.eks. er deltakerne fornøyde?) og om de har lært (f.eks. har de fått ny kunnskap eller opplever de å ha fått bedre ferdigheter?). Mange organisasjoner og ledere har et sterkt fokus på nivå 4, og ønsker å se overordnede forretningsmessige resultater kort tid etter at et tiltak er gjennomført. Problemet er imidlertid at man ofte prøver å hoppe direkte fra læring til organisasjonsresultater, samtidig som nivå 3 – selve atferdsendringen – ofte utelates og dermed blir stående som "det glemte nivået" (Reio et al., 2017). Ingen endelige resultater på organisasjonsnivå kan forventes med mindre det først skjer en positiv og ønskelig endring i atferd på arbeidsplassen.

Litteraturen på training transfer støtter opp om dette, og skiller tydelig mellom direkte arbeidsatferd (prestasjon) og de endelige utfallene av denne atferden (Blume et al., 2019). Deltakernes atferd kan påvirkes direkte av det de har lært og erfart, mens de overordnede organisatoriske utfallene ofte påvirkes av andre og ukontrollerbare eksterne faktorer (Blume et al., 2019). Å utelukkende vurdere et utviklingstiltak ut fra resultater kan derfor gi et ufullstendig bilde av effekten. Har et utvikingstiltak ført til ønskelig atferdsendring kan man derfor se at selve tiltaket var vellykket, men dersom denne atferdsendringen ikke førte til de ønskelige og forventede organisatoriske resultatene kan det være nyttig info til å se på selve “miljøet” og systemet de nye ferdighetene og atferdsendringen blir satt inn i - som kan gi verdifull læring.

Samspillet mellom individ og miljø For å oppnå atferdsendring er vi i Lent opptatt av at læring ikke skjer i et vakuum. Overføring av kunnskap til praksis er en dynamisk prosess som oppstår i samspillet mellom deltakeren og arbeidssituasjonen over tid (Blume et al., 2019). Gode intensjoner rett etter et endringstiltak fører ikke nødvendigvis til handling dersom støtteapparatet mangler.

Kontekstuelle faktorer i arbeidsmiljøet – som for eksempel læringskultur, støtte fra ledere og kolleger, og at man faktisk får muligheten til å utføre og øve på de nye ferdighetene – er helt avgjørende for at læring skal resultere i faktisk atferdsendring (Salas et al., 2012). Uten de riktige signalene og rammene fra arbeidsmiljøet, vil selv de beste kompetansetiltak kunne være effektløse.

Essensen for oss i Lent er derfor: Vil vi skape varige resultater og verdi for organisasjonen, må design og evaluering av utviklingstiltak først og fremst ha fokus på å skape, støtte og måle endret atferd i hverdagen. Resultatene på organisasjonsnivå kommer som en konsekvens av atferden.

Kritikken av Kirkpatrick-modellen

Selv om Kirkpatricks modell er utbredt, har forskere over tid rettet tre hovedkritikker mot rammeverket (Bates, 2004; Reio et al., 2017). For det første kan modellen gi inntrykk av en enkel, lineær årsakssammenheng, der man antar at positive reaksjoner automatisk fører til læring, som igjen garanterer atferdsendring og gode resultater. Forskning viser imidlertid at det sjelden finnes en så direkte og lineær sammenheng (Bates, 2004; Reio et al., 2017). For det andre påpekes det at modellen ignorerer det komplekse samspillet av kontekst og miljø. Variabler som lederstøtte, læringskultur og muligheten til faktisk å utføre det man har lært på jobben er avgjørende for at læringsoverføring skjer, men disse elementene inngår ikke formelt i Kirkpatricks fire nivåer (Bates, 2004). For det tredje mangler modellen diagnostisk evne fordi den primært fokuserer på sluttresultatene og ikke på mekanismene bak potensielle resultater. Hvis atferden ikke har endret seg, gir ikke selve modellen svar på om feilen lå i selve kurset eller om manglende oppfølging på arbeidsplassen var årsaken.Andre perspektiver er for eksempel Kurt Kraiger (2002) sin beslutningsbaserte evaluering, som sier formålet med målingen avgjør hva som er relevant: skal det måles effekt for beslutninger om tiltaket skal videreføres, endres eller utvides; for tilbakemelding til dem som utformer og gjennomfører tiltaket; eller som markedsføring overfor andre enheter eller framtidige deltakere i organisasjonen? Rammeverket vil ikke gås mer inn på her, men er anbefalt lesing.

Hvorfor vi likevel bruker Kirkpatrick som grunnmurTil tross for disse faglige svakhetene, forblir Kirkpatricks rammeverk svært populært på grunn av dets enkelhet, praktiske overførbarhet og evne til å gi organisasjoner et systematisk felles språk (Bates, 2004; Reio et al., 2017). Modellen hjelper oss med å rydde i forventningene, og fungerer som en verdifull rettesnor som tvinger fokuset bort fra kun å måle om et tiltak var "hyggelig" (smilefjes-evalueringer på nivå 1), til systematisk å vurdere læring (nivå 2), atferdsendring (nivå 3) og effekter (nivå 4).

Hva har vi evaluert til nå på de fire nivåene og hva er planene videre?

I Lent har vi til nå evaluert effekt på nivå 1 og 2: reaksjoner og læring. Blant et utvalg på 865 deltakere fra 2019-2023 svarte 92% at det de lærer og trener på underveis i Prosesslederstudiet er relevant for deres arbeidshverdag, med et gjennomsnitt på 4.59 på en skala fra 1-5. I 2025 ble 787 deltakere spurt hvor fornøyde de var med Prosesslederstudiet, der 93% svarte de var fornøyd, med et snitt på 4.54 på en skala fra 1-5. På nivå 2 læring har vi i 2024 evaluert 177 deltakere før og etter Prosesslederstudiet der de selvevaluerte egne ferdigheter studiet er ment å forbedre. Resultatene var signifikante, der deltakerne ble tryggere i møte- og prosesslederrollen, flinkere til å planlegge møter og prosesser, opplevde få bedre ferdigheter i å skape eierskap, samarbeid, involvering, psykologisk trygghet og engasjement, i tillegg til å håndtere motstand og utfordrende situasjoner. På et kull opplevde de også å ha fått et bedre språk seg i mellom i organisasjonen.

Nivå 3 atferdsendring og nivå 4 organisasjonsresultater er planlagt å måles videre fremover, samt å bli forsket på og dokumentert ytterligere i en næringslivs-PhD på BI, finansiert av Lent og Forskningsrådet.

Oppsummering

Ved å kombinere Kirkpatricks rammeverk med training transfer-litteraturen forsøker vi tette hullene modellen kritiseres for (Blume et al., 2019). Overføringslitteraturen minner oss på at læring ikke skjer i et vakuum, og hjelper oss med å designe tiltak som ivaretar lederstøtte og et godt miljø for prøving og feiling i arbeidshverdagen. Essensen for oss i Lent er derfor: Vil vi skape varige resultater og verdi for organisasjonen, må design og evaluering av utviklingstiltak i første rekke ha fokus på å skape, støtte og måle endret atferd. Resultatene kommer som en konsekvens av atferden.

Skrevet av Lars Vegheim Haraldsen, PhD-kandidat og rådgiver i Lent