Fem forskningsspørgsmål har været centrale for vores forskning med at arbejde systematisk med effekter som et styrende redskab i udviklingen af it-systemer:
  1. Hvordan kan ønskede effekter specificeres og specificerede effekter måles?

  2. Hvordan kan pilotimplementeringer gennemføres, så der bliver mulighed for at evaluere effekten af at bruge et system?
  3. Hvordan kan effekter, der er specifikke for brugernes arbejdsprocesser, relateres til overordnede strategiske og politiske effekter?
  4. Hvordan kan det partnerskab, som er nødvendigt for en effektdrevet tilgang, etableres mellem kunde og leverandør?

  5. Hvordan kan en effektdrevet tilgang tænkes ind i kontraktstyringen af it-projekter, og hvad er konsekvenserne af at gøre det?

Status er overordnet, at vi har mange elementer af svar på spørgsmål 1, 2 og 3, mens der stadig ligger et stort arbejde forude for at belyse spørgsmål 4 og 5.

Iterativ procesmodel for effektmåling og evaluering

Iterativ procesmodel for effektmåling og evaluering

En overordnet procesmodel for effektdrevet it-udvikling er blevet udviklet og afprøvet. Modellen anbefaler en iterativ, brugerinvolverende og eksperimentel udviklings- og implementeringsproces drevet af effektspecifikationer og effektmålinger.

Derudover har vi udviklet et effekt-hierarki visualiseret ved en tabel over effekter.

Forskningsspørgsmål 1: Hvordan kan ønskede effekter specificeres og specificerede effekter måles?

Vi har specificeret ønskede effekter på workshops med klinikere og ledelsesrepræsentanter. Effekterne omhandler mål for det kliniske domæne – ikke it-funktionalitet – og klinikerne er generelt hurtige og præcise til at specificere de effekter, de ønsker ved at anvende nye it-systemer.

I Sundhedsjournalprojektet blev alle effekterne fx specificeret på én 4-timers workshop, og der var efterfølgende ganske få ændringer til dem, dvs. de var stabile gennem hele projektet.

Effekter er ofte knyttet direkte til bedre behandling og pleje af patienterne. Fx definerede klinikerne i KLIMO projektet effektmål relateret til en hurtigere regulering af diabetespatienter, der indlægges for akut apopleksi. Dette er en situation, hvor der ofte er behov for regulering, men hvor personalet ikke er specialister i diabetes.

Effektspecifikationer er instrumentelle med hensyn til at udpege de informationer og funktioner, som it-systemer skal stille til rådighed. Vi har demonstreret, hvordan effektspecifikationer kan udgøre en central del af ’kravspecifikationen’ for et udviklingsforløb, fx ved helt at erstatte use-cases, og hvordan effektspecifikationer støtter kommunikationen mellem forskellige roller i udviklings- og konfigurationsprocessen:

  • Ledelse
  • Bruger (kliniker)
  • EPJ-ansvarlig
  • Konfiguratør
  • Udvikler.

Det har også vist sig, at it-leverandørens konfiguratører med en kort efteruddannelse kan planlægge og gennemføre effektspecifikationer og efterfølgende systemkonfigurering.

Dokumenteret nytteværdi

Der er dokumenteret positiv nytteværdi af brugen af EPJ ved at identificere, kvantificere og efterfølgende måle planlagte effekter af anvendelsen af en EPJ-løsning. Mange effekter kan måles med internationalt anerkendte metoder som fx Task Load Index (TLX), Technology Acceptance Model (TAM) og Health Care Empowerment Questionnaire (HCEQ). Mere specifikt definerede effekter kan fx måles ved spørgeskemaer udviklet med direkte fokus på disse mål, men her kan fortolkningen af spørgsmål og målingens resultat i højere grad være genstand for diskussion. Et alternativ til spørgeskemaer er journalaudits, som ikke forstyrrer klinikerne i udførelsen af deres daglige arbejde.

Udviklingen af målemetoder vil fremover koncentrere sig om metoder, der er anerkendte, og/eller hvor der på forhånd kan skabes konsensus om metode og fortolkning af resultat. Målingerne skal også kræve et minimum af ressourcer fra de deltagende klinikere. Her eksperimenterer vi bl.a. med analyser af logdata fra brugen af it-systemerne samt med online spørgeskemaer integreret i de systemer, der evalueres.

Forskningsspørgsmål 2: Hvordan kan pilotimplementeringer gennemføres, så der bliver mulighed for at evaluere effekten af at bruge et system?

Pilotimplementeringer er en mulighed for at gennemføre formative evalueringer af effekter og dermed informere den videre udvikling og implementering af it-systemer. Derved muliggøres, at effekterne fra klinikernes anvendelse af systemet kan måles, før systemet endeligt implementeres. Klinikernes erfaring med at anvende systemet giver også anledning til nye ideer og forslag:

  • I Klinisk Proces projektet blev samtlige designforslag fra klinikerne registreret, og 38% af disse (183 af i alt 482 forslag) opstod i løbet af de kun fem dage, systemet var i brug.

En pilotimplementering af et integreret EPJ-system på én afdeling må anvende kreative metoder for fuldt ud at simulere drift af det endelige system. Det kan gøres bl.a. med Wizard-of-Oz teknikker, der simulerer online transaktioner med afdelinger på hospitalet, som ikke deltager i pilotimplementeringen.

Ved en pilotimplementering afprøves et system i realistiske arbejdssammenhænge, hvilket giver mulighed for at evaluere de specificerede effekter, men også for at opdage uforudsete effekter (positive såvel som negative), som altid er en følge af at introducere nye it-baserede arbejdsredskaber. Vi har oplevet uforudsete, positive effekter, som opstod spontant og efter kort erfaring med et EPJ-systems muligheder. Disse effekter blev identificeret ved hjælp af etnografiske observationsteknikker og viser nødvendigheden af at supplere målinger af planlagte effekter med observation af udvalgte arbejdssituationer. Dette hjælper til at afdække uforudsete effekter og indarbejde uventet brug af it-systemet i nye arbejdspraksisser og i den videre udvikling og implementering.

Teknologisk modenhed

Brug af pilotimplementeringer ved effektdrevet it-udvikling kræver, at teknologien er fleksibel nok til at blive anvendt i en iterativ udviklingsproces, og at den er moden nok til at blive afprøvet i realistiske kliniske arbejdssammenhænge med egentlig patientbehandling. Klinisk Proces projektet demonstrerede, at teknologien, i form af konfigurerbare rammeteknologier, er tilstrækkeligt moden til, at EPJ-løsninger iterativt kan konfigureres og tilpasses til det enkelte kliniske speciale, uden at der gås på kompromis med eksisterende standarder, integration til andre systemer, udviklingstid og systemperformance.

Iterationer kræver ressourcer

Iterative udviklingsprocesser med pilotimplementeringer er ressourcekrævende. Det er vigtigt at kunne forudse, hvilke dele af systemet som kræver eksperimenter, og hvilke dele som kan udvikles på traditionel ’vandfaldsorienteret’ vis, ved at systemet designes, udvikles og tages i drift uden videre afprøvning.

Vores analyser indikerer, at kun en mindre del af et EPJ-system behøver gennemgå flere iterationer og intensiv afprøvning ved pilotimplementeringer, herunder speciale-specifikke skærmbilleder som sammensætter information på nye måder i forhold til papirjournalen (fx statusoversigter). Vi forventer, at yderligere forskning på dette område kan bidrage til, at der udvikles et estimeringsværktøj, så kunde og leverandør i god tid inden en pilotimplementering kan identificere de dele af systemet, der er behov for at eksperimentere med.

Pilotimplementeringer er i praksis vanskelige at gennemføre. Ofte opgives de, inden systemet når at være i pilotdrift over en længere periode. Dette var fx tilfældet i to af vores projekter. Udfordringerne handler bl.a. om, at pilotimplementeringer, der har et læringsfokuseret formål, har vanskeligt ved at ’konkurrere’ med kravene fra den daglige produktion og drift hos såvel kunde (mht. patientbehandling mv.) som leverandør (mht. udvikling og support af den eksisterende it-produktportefølje).

Problemerne ved pilotimplementeringer, og hvordan de kan overvindes, er ikke undersøgt systematisk, og der er behov for meget mere forskning på dette område.

Forskningsspørgsmål 3: Hvordan kan effekter, der er specifikke for brugernes arbejdsprocesser, relateres til overordnede strategiske og politiske effekter?

Nytteværdien af en stor investering i et it-system og effekterne af at anvende systemet kan anskues fra flere vinkler og på forskellige abstraktionsniveauer. Vi har udviklet en model, der repræsenterer og relaterer effekter i et hierarki fra overordnede politiske/strategiske mål til klinikeres mål for anvendelsen af specifikke dele af systemet.

Modellen er inspireret af Cognitive Systems Engineering, Cognitive Work Analysis og vores tidligere forskning i metoder til it-forundersøgelse (MUST-metoden). Modellen specificerer effekter i et hierarki i fem niveauer: Omgivelser (politiske forventninger, nationale standarder mv.), strategien som svar på omgivelseskrav (fx strategi for EPJ), processen som it-systemet skal understøtte (patientforløb mv.), de konkrete kliniske arbejdsområder involveret i denne proces, samt – nederst i hierarkiet – de mest specifikke krav til it-systemet og anvendelsen af det.

Effekthierarki
Tabel over effekter på forskellige strategiske niveauer

Vores erfaringer med modellen er, at klinikere og deres ledelsesrepræsentanter kan anvende modellen efter en kort introduktion. Ledelsen fokuserer mest på de to øverste niveauer, mens klinikerne typisk fokuserer på de tre nederste niveauer, hvor der kræves indgående viden til det konkrete kliniske arbejde. Effektspecifikationer på de fire øvre niveauer har vist at være påfaldende stabile: Formuleringen af dem ændres stort set ikke i løbet af et projekt, og de repræsenterer ofte generiske mål, som går på tværs af afdelinger og kliniske specialer. Samtidig har effektspecifikationerne vist sig brugbare som udgangspunkt for såvel udvikling og konfigurering af it-systemer som systematisk arbejde med deres organisatoriske implementering.

Vores videre forskning vil fokusere på at integrere modellen i effektdrevet it-udvikling og udvikle teknikker og værktøjer til støtte for dens brug.

Forskningsspørgsmål 4: Hvordan kan det partnerskab, som er nødvendigt for en effektdrevet tilgang, etableres mellem kunde og leverandør?

Effektdrevet it-udvikling indebærer, at teknisk og organisatorisk implementering af et it-system betinger hinanden og må gennemføres som en sammenhængende proces. Dette nødvendiggør en ny og innovativ relation mellem kunde og leverandør. Vi har erfaret, at den traditionelle opdeling i ansvarsområder er en nærmest kulturbunden opdeling, som er forbundet med stor inerti:

  • leverandøren er ansvarlig for udvikling og levering af it-systemet
  • kunden er ansvarlig for den organisatoriske implementering
En effektdrevet tilgang udvisker skellet mellem brug og udvikling af it-systemer og gør konfigurering og tilpasning af systemer til en mere løbende og integreret del af arbejdet med systemerne. Fremover vil vi søge at afdække følgende spørgsmål:
  • Hvilke dele af it-produktet skal leverandøren løbende udvikle og vedligeholde
  • Hvilke dele kan bedst udvikles og vedligeholdes hos kunden, som besidder domæneekspertisen og den største viden om lokale betingelser og behov?

Leverandøren oplever, at arbejds- og ansvarsområdet udvides fra primært at handle om teknisk systemudvikling til i stigende grad at omfatte deltagelse i den organisatoriske implementering af it-systemer. Kunden oplever, at leverandøren stiller krav om medindflydelse på den organisatoriske implementering – som minimum i forbindelse med pilotimplementeringer, der skal evaluere, hvorvidt it-løsningen kan levere de ønskede effekter.

Barrierer i processen

Behovet for pilotimplementeringer og for at arbejde systematisk med den organisatoriske implementering af it-systemer understreges af, at den ønskede effekt af systemer kan udeblive, selv efter systemerne har været i brug gennem længere tid. Vi har identificeret en række barrierer, der hæmmer konsistent brug af EPJ-systemer i overensstemmelse med krævede procedurer, bl.a. at klinikerne oplever, at der er barrierer, men ikke kan formulere hvad disse barrierer konkret består i. Det gør det svært at komme fri af barriererne. Vi har gjort os nogle indledende erfaringer med at integrere identifikation af barrierer i processer, der primært sigter på specifikation af effekter; men det er et område, vi skal arbejde mere med fremover.

Vi har i OPUS Sundhedscheck projektet gennemført et forløb, hvor den organisatoriske implementering af et system blev forbedret gennem specifikation og efterfølgende iterativ intervention og effektmåling. Dette forløb viste, at der kan opnås resultater alene ved at arbejde med den organisatoriske implementering af et system, men også at det ville have været en fordel at arbejde med såvel den tekniske som den organisatoriske implementation af systemet. Ændringer i den tekniske implementering var imidlertid ikke mulige inden for en tidsramme, der kunne kombineres med en iterativ proces med månedlige effektmålinger. Det understreger behovet for et tæt kunde-leverandør samarbejde, hvor forløb med hurtige, iterative evalueringer og ændringer i system og arbejdspraksis kan gives høj prioritet. Uden et sådant samarbejde er der stor risiko for, at implementeringsforløb simpelthen går i stå, og de ønskede effekter kun opnås delvis eller slet ikke.

Forskningsspørgsmål 5: Hvordan kan en effektdrevet tilgang tænkes ind i kontraktstyringen af it-projekter, og hvad er konsekvenserne af at gøre det?

For at effektdrevet it-udvikling skal få stor gennemslagskraft kræves, at den effektdrevne tankegang kan afspejles i den kontraktlige styring af it-projekter, så et optimalt partnerskab mellem kunde og leverandør kan opnås. Dette forskningsspørgsmål har vi indtil videre ikke haft mulighed for at arbejde særlig konkret med.

Planen for vores videre forskning er at gennemføre et antal projekter opdelt i to faser. I den første fase gennemføres effektdrevne forløb samtidig med at udkast til et tillæg til den traditionelle kontrakt eller en ny alternativ kontrakt udvikles. Udkast til en ny kontraktform vil blive evalueret ved at fungere som ’skyggekontrakt’ for et projekt, dvs. uden juridiske bindinger. Når en kontraktform er udviklet afprøves den i en efterfølgende ”proof-of-concept” fase, hvor kontrakten er juridisk bindende.

Igangsættelsen af denne fase forudsætter, at der forinden er opnået tilfredsstillende resultater, dvs. at:

  1. effektmålingerne har givet troværdige resultater, som der er konsensus om
  2. erfaringerne med kunde-leverandør partnerskabet og den organisatoriske implementering vurderes som lovende
  3. den effekt-drevne kontrakt vurderes som tilstrækkeligt udviklet
  4. der er gensidig tiltro til, at it-systemet kan implementeres organisatorisk, så brugen af det genererer de i kontrakten lovede effekter.