1. No category

Inflätat, löpande och praktikbaserat
Utvärderandet i GEVALIS Vuxna 2011-2014
PM presenterad på SVUFs konferens i Stockholm den 8 oktober 2015
Evert Vedung
Prof emer Uppsala universitet
evert.vedung@ibf.uu.se
Du får gärna använda denna pm. Men gör, vänligen, referens! Så här:
Vedung, Evert, 2015, Inflätat, löpande och praktikbaserat: Utvärderandet i GEVALIS Vuxna 2011-2014,
Uppsala: Evert Vedungs privata arkiv, opublicerad pm.
Att hämta brukbar kunskap ur social vardagspraktik, det har varit utvärderandets sakinriktade problem
i projekt GEVALIS Vuxna.1 Brukbar kunskap är kunskap om handlande som gör en skillnad. Vad är
det i coachernas insatser i mötet med deltagarna (brukarna) som får effekter på brukarnas sociala
problem? Vad är det som fungerar? Denna uppdragsbeskrivning har legat under den utvärderingsmodell som vuxit fram under projektarbetet i GEVALIS Vuxna.
Praktikbaserad evidens genom utvärdering
Utvärderingen har med andra ord velat få fram praktikbaserad evidens, s.k. PBE. Den evidens som
erhålls ur praktiken ska kunna användas för att förbättra denna praktik. Motsatsen är EBP,
evidensbaserad praktik. EBP betyder praktik som bygger på evidens från randomiserade experiment
(eller möjligen matchade experiment) inte från praktiken självt.
Som framgår av tidigare kapitel i denna skrift har kunskap frambringad genom utvärderingen också
bidragit till att vi fått fram en modell för att integrera människor i långvarigt utanförskap till aktivitet
utanför hemmet och till ordnat arbete eller ordnade studier. Utvärderingen har bidragit till att bygga
ÅKA-modellen.
Intern utvecklande, inte extern kontrollerande utvecklande utvärdering
Det finns en missuppfattning ute i samhället, bland centrala aktörer och även bland foskare att
utvärdering måste vara extern och på armlängds avstånd. Den ska utföras av obundna, oberoende
institutioner, t.ex. revisionsorgan, huvudmän eller fristående konsulter med gott rykte för
självständighet och hög kvalitet. Utvärderarna ska stå fritt i förhållande till den verksamhet som ska
bedömas. I ett bestämt avseende ligger det något viktigt i denna uppfattning. Om utvärderingen
1
Schwandt 2003, Shaw & Faulkner 2006, Karlsson 2000.
innebär kontroll från en överordnads sida av hur en underordnad sköter sitt uppdrag bör den inte
utföras av den underordnade själv, även om den underordnade naturligtvis ska höras.
Annorlunda ställer sig saken om syftet är utvecklande eller som vi också säger främjande eller entydigt
lärande. I idealfallet tänker vi då inte i termer av överordnad–underordnad. Då kan och bör
utvärderingen utföras internt av den verksamhet som ska utvecklas. Utvärderingen kan då t.o.m.
utföras som självvärdering. Då bör t.ex. personal och deltagare i den verksamhet som ska främjas
själva göra utvärderingen. Den blir i så fall intern så till den milda grad att berörd arbetsstyrka och
deltagare utvärderar sig själva.
Utvärdering görs för att kontrollera eller utveckla. Kontrollerande utvärdering ska ge underlag för att
ställa personalen till ansvar (eng. accountability). Utvecklande utvärdering däremot är tänkt att
förbättra, antingen det pågående som utvärderas eller med tanke på att sjösätta en ny omgjord
intervention (eng. promotion, improvement).
GEVALIS Vuxna – två huvudsyften – två uppnådda resultat
Som projekt har GEVALIS Vuxna har haft två övergripande syften. Att utveckla en metod för
integrerad rehabiliterande arbete för långvarigt arbetslösa har varit det ena. Det har resulterat i ÅKAmodellen. Att utveckla en intern, praktikbaserad metod för utvärdering har varit det andra. Det har lett
till intern, inflätad, utvecklande utvärdering.
I projekt GEVALIS Vuxna har det viktigaste övergripande syftet med utvärderingen varit utvecklande.
Det har handlat om att lära sig något som kan förbättra bestående och framtida verksamheter. När det
övergripande syftet är utvecklande bör utvärderingen inte bara vara intern utan också integrerad i den
utvärderade interventionen.
En faktor som stärker detta utvecklande, främjande, interna synsätt på utvärdering i fallet GEVALIS
Vuxna är att det samtidigt genomförts extern, kontrollerande och ansvarsutkrävande utvärdering. Den
har skett från synpunkten ekonomiska förehavanden och med inslag av förvaltningsrevision. Den har
utförts oberoende av GEVALIS Vuxna och GEVALIS Vuxnas utvecklande utvärdering.
Utvärderingssystemet som helhet med såväl intern, inflätad, utvecklande utvärdering som extern
kontrollerande skulle kunna komma i bruk i många sammanhang. Inte minst borde det kunna spridas
vad gäller strukturfonderna och projet i strukturfonderna i EU. Särskilt tror vi dock på den interna,
inflätade och utvecklande utvärderingsvariantens framtid. Det är också den som innebär att evidens
hämtas från lokal praktik dvs ger praktik-based evidens, PBE.
Extern kontrollerande utvärdering
Externt kontrollerande utvärderingar av GEVALIS Vuxna har gjorts från två håll. En har genomförts
av personal från svenska ESF-rådet. Det var en s.k. 13b-kontroll som utfördes i december 2011. Två
andra – av typen revisioner – har statliga Ekonomistyrningsverket svarat för. Den första genomfördes
under 2012, den andra under 2013. I ingetdera fallet har GEVALIS Vuxnas utvärderingsgrupp varit
involverad. Initiativ, genomförande, rapportering och användning av utvärderingarna för praktiska
förbättringar har ägt rum helt oberoende av GEVALIS Vuxnas utvärderingsgrupp.
Vid ESF-rådets 13b-kontroll framfördes kritik mot projektets dokumentation kring den s.k.
medfinansieringen. Medfinansieringen är den vanliga benämningen på de ekonomiska resurser som
2
härrör från svenska offentliga institutioner till skillnad från de medel som härrör från Europeiska
Socialfonden (ESF) och därmed EU. Denna medfinansiering till GEVALIS Vuxna består av två delar.
Den första delen bygger på deltagarnas ersättning som utgår till projektets deltagare från de ordinarie
offentliga välfärdssystemen och den andra att SoF Västra Skaraborg skjuter till offentliga medel från
sitt anslag. Det är enbart den del av den offentliga medfinansieringen som avser deltagarnas ersättning
från de ordinarie systemen som skapar problem.
Medfinansieringen fungerar på följande sätt. Om en deltagare är sjukskriven i 14 dagar, i exempelvis
influensa, så får den deltagarens tid inte räknas för den perioden i GEVALIS Vuxna. Detta får till följd
att medfinansiering från de offentliga välfärdssystemen till GEVALIS Vuxna för den deltagaren
uteblir för den tidsperioden även om ersättning har utbetalats till deltagaren från Försäkringskassan för
denna period.
Med ledning av denna norm påpekade ESF-rådet att mer tydlighet krävs vad gäller tiden för
deltagarnas närvaro i GEVALIS Vuxna eftersom detta är direkt kopplat till den unika deltagarens
ersättning från medfinansieringen. Deltagarnas närvaro och frånvaro i GEVALIS Vuxna måste
registreras. De nya närvarorapporter som måste upprättas .har varit tidskrävande för coacherna men
även för administrationen i stort.
Ekonomistyrningsverket (ESV) är nationellt revisionsorgan för den svenska förvaltningen av program
med EU-medel som genomförs med så kallat delat förvaltningsansvar. För det nationella
strukturfondsprogrammet för regional konkurrenskraft och sysselsättning inom Europeiska
socialfonden lämnade Ekonomistyrningsverket en årlig rapport med yttrande till EU-kommissionen i
slutet av december 2012. Det skall dock sägas att revisionen som de har genomfört är riktad till
Svenska ESF-rådet om de genomfört och vidtagit de åtgärder som kommissionen ställt upp för kontroll
och utbetalning av medel från Europeiska Socialfonden.
Den första revisionen som utfördes av Ekonomistyrningsverkets revisor påbörjades under sommaren
och avslutades under hösten 2012. Revisionsarbetets fokus var riktat mot den ekonomiska
redovisningen. För att kunna genomföra revisionen så effektivt som möjligt hade revisorerna önskemål
om följande material eller information inför besöket:
En kort presentation av projektet och de resultat som uppnåtts
Tillgång till projektpärmar med samlat material om verksamheten samt redovisningar av ekonomin i
projektet.
Ekonomistyrningsverket hade inget att erinra mot ekonomiska redovisningen, inte heller mot
administrationen av medfinansieringen. Revisorerna anförde att GEVALIS Vuxna är komplext
inititiativ, eftersom huvudprojektet och varje delprojekt i de fem deltagande kommunerna måste
särhållas för att uppnå en rimlig kontroll av utgifterna. Det system som Samordningsförbundet byggt
upp för kontroll ansågs översiktligt och ger god insyn i hanteringen av ekonomiska medel. Den andra
revisionen genomfördes under våren 2013 med samma inriktning och med samma resultat.
Intern utvecklande utvärdering
Den mest genomgripande utvärderingen i GEVALIS Vuxna har alltså varit intern och utvecklande. Den
har medvetets utvecklats och testats inom projektet. Denna interna utvärdering kännetecknas av flera
3
utmärkande drag. Den har varit inflätad, löpande och praktikbaserad. Vi ska nu klarlägga vad som
menas med dessa uttryck.2
Inflätad utvärdering
När en utvärdering är inflätad är den integrerad i det insatsarbete som bedöms. I föreliggande fall
manifesteras denna inflätning genom att
1 medlemmarna av utvärderingsgruppen utgörs av personer verksamma i GEVALIS Vuxna
2 viss datainsamling och dokumentation ombesörjs av personer verksamma i GEVALIS Vuxna
3 utvärderingens uppläggning och resultat kopplas fortgående tillbaka till all personal som jobbar i
GEVALIS Vuxna.
Den första typen av inflätning (invävning, integrering) handlar alltså om att utvärderingsgruppens
medlemmar är djupt involverade i det projekt som ska utvärderingar.
Projektägaren, SoF Västra Skaraborg, har en huvudansvarig projektledare för GEVALIS Vuxna som
har utsetts till ordförande i utvärderingen av GEVALIS Vuxna. Projektledaren leder och har
huvudansvaret för jobbet att tänka ut hur utvärderingen ska läggas upp och genomföras. Arbetet består
i att förbereda möten, föreslå dagordning, kalla till möten, sitta ordförande samt initiera, leda och
medverka i jobbet att rapportera resultat. Den huvudansvarige projektledaren har således ansvar för att
hela utvärderingsmaskineriet vevas igång, fungerar och producerar resultat som sprids.
Ur kretsen av verksamhetsaktiva och en bredare krets av verksamhetsansvariga i GEVALIS Vuxna
valde projektledaren ut andra personer att ingå i utvärderingslaget. En linjechef från Arbetsmarknadsenheten i Vara utsågs i samråd med linjecheferna i GEVALIS Vuxnas ledningsgrupp. Projektsamordnaren för verksamheten i GEVALIS Vuxna tillika arbetande rehabcoach ansågs vara ett självklart val.
Processtödjaren från SoF Västra Skaraborg och en utredare som utvecklat den ovan nämnda BEMAmetoden (arbetsförmågebedömning) handplockades till utvärderingsgruppen. Processtödjaren har
flerårig erfarenhet av både socialt arbete och processtödjeri inom samordningsförbundet. Hennes
uppgift i GEVALIS är att informera deltagare och rehabcoacher om de ordinarie välfärdsorganens
möjligheter att bidra med stöd. BEMA-utredaren initierades in i laget från hösten 2011 i och med att
projektet beviljats medel att utveckla två ytterligare faser i behandlingsmetoden förutom den inledande
fasen Återhämta. En politiker tillika ordförande i SoF Västra Skaraborg ingår sedan 2011 i gruppen.
Ytterligare en informant i utvärderingsgruppen är den fristående konsult (psykolog/fil.dr), som
handlett och stöttat rehabcoacherna i GEVALIS Vuxna i de fem kommunerna. Det har skett genom att
hon regelbundet samlat coacherna till träffar. Redan i projektskrivningen framhölls att rehabcoacherna
skulle hållas samman i ett nätverk. Nätverkets uppgift är att ”diskutera erfarenheter där både
framgångsfaktorer och dilemman i det dagliga arbetet” skall utgöra fokus i dialogen. Konsulten har
också varit disponibel för telefonledes konsultationer. Hennes råd och stöd har gällt både gruppen som
helhet och enskilda individer i gruppen. Hon har också tilldelats ansvar för att systematiskt föra en
teoretisk dokumentation över arbetsprocesserna i Projektet GEVALIS Vuxna.
Alla hittills nämnda ledamöter av utvärderingsgruppen är samtidigt intressenter i det projekt som
utvärderas. Men det finns också en ledamot som inte är programintressent. Som expert på utvärdering
har nämligen en professor emeritus i statskunskap vid Uppsala universitet engagerats. Han förväntas
vägleda de övriga ledamöterna i praktiskt och teoretiskt utvärderingsarbete samt tillsammans med
2
I Vedung & Dahlberg 2013 kap 8, finns en längre och något annorlunda version av den utvärderingsmodell som här kommer att utvecklas.
4
projektledaren för utvärderingsgruppen svara för analys och rapportering. Han torde vara hemmastadd
i litteraturen om utvärdering och om allmän forskningsmetodik. Han är också hjälpligt inläst på
sakfrågan. Men han har ingenting med den dagliga verksamheten i GEVALIS Vuxna att göra.
Utvärderingen av GEVALIS Vuxna har varit inflätad i GEVALIS Vuxnas verksamheter också på ett
annat sätt än genom utvärderingsgruppens sammansättning. Denna den andra typen av inflätning eller
integrering har handlat om att viss datainsamling och dokumentation ombesörjts av personer
verksamma i GEVALIS Vuxna. Såväl brukare som rehabcoacher inom GEVALIS Vuxna har varit
insamlare och dokumenterare av information för utvärderingen.
I akademisk empirisk forskning om samhället gör vetenskapsidkaren personligen ofta allt från
avgränsning av ämne och formulering av forskningsfrågor över urval av analysenheter, insamling och
bearbetning av informationer, framställning av delrapporter och slutrapporter samt spridning av dessa.
I utvärdering händer det emellertid att datafångst sköts av människor som arbetar i eller berörs av den
utvärderade interventionen.
I GEVALIS Vuxna förväntas rehabcoacher och brukare delta i generering och dokumentation av
information, som sedan förädlas av den särskilda utvärderingsgruppen. Detta äger rum i realtid
parallellt med att verksamheten fortgår, inte långt efteråt3 Det hela utspelas enligt en i förväg utarbetad
rutin. Denna rutin har knäsatts till en integrerad del av den utvärderade verksamheten och sköts
fortlöpande av personal och brukare. Informationer som på detta sätt strömmar in använder den
särskilda utvärderingsgruppen sedan i sitt förädlingsarbete tillsammans med egna observationer och
insikter.
Slutligen integreras utvärderingen genom att dess uppläggning och resultat fortgående kopplas tillbaka
till all personal som jobbar i GEVALIS Vuxna. Detta är den tredje typen av inflätning eller integrering
som kännetecknat den utvecklande utvärderingen. GEVALIS-personalen ska lära sig att bli bättre
rehabcoacher genom att lära sig av utvärderingens uppläggning och resultat. Utvärderingens
uppläggning och resultat ska integreras i (införlivas i, implementeras i) personalens fortsatta
handlande. Så är det tredje inslaget av integration tänkt att fungera4. Ett viktigt inslag i denna
återkoppling är lärandekonferensen.
Den första lärandekonferensen – Lärandekonferens 2010 – ägde rum i mars 2011. På den behandlades
rapporten GEVALIS Vuxna – en resa i lärande – 2010. Upplägget av denna lärandekonferens ingår i en
serie av dylika lärandekonferenser som skett under 2012 och 2013. Vid lärandekonferensen samlas alla
icke-deltagare som är involverade i projekt GEVALIS Vuxna (coacher, linjechefer, projektansvarig,
politiker, administratörer och ekonomer samt utvärderingsgruppen) för att ha en dialog om resultat och
fortsatt vägval.
Under åren 2010 till 2013 har coacher och linjechefer fått löpande information om uppkomna resultat
av projektsamordnaren, som tillika är deltagare i utvärderingsnätverket. De har därmed erbjudits
möjlighet att göra nya vägval och justera inriktningar under löpande verksamhetsår.
Utvärderingsgruppen har också under åren 2010 till 2013 mottagit och samlat in ett flertal skriftliga
lägesbeskrivningar från coacherna, enkäter från deltagare samt beskrivningar i teoretiska termer av
3
4
För självvärdering, se t.ex. Hertting & Vedung 2009: 63, 153-153, 204, 229-231 och där angiven litteratur.
Jfr Sandell 2003 för en annan sorts integrerad utvärdering.
5
handledaren för coachnätverket av deltagarnas återhämtningsprocesser och de relationsprocesser som
framskridit mellan deltagare och coach.
Löpande utvärdering – bättre översättning av ”ongoing evaluation”
Verksamheten i GEVALIS Vuxna drivs som ett projekt och utvärderingen av verksamheten som ett
annat. Det ska vara en löpande utvärdering, en ongoing evaluation, som ska pågå samtidigt och
parallellt med den intervention som utvärderas. ”Ongoing evaluation” var EU-språk under
programperioden 2007-2013 för vad som på svenska började kallas ”följeforskning” (Svensson mfl
2009a och 2009b).
Ongoing evaluation var och är som sagt EU-språk och ska förstås mot bakgrund av läget för
strukturfonderna vid utgången av programperioden 1 januari 2000 till sista december 2006. Då hade
programmet innehållit krav på en utvärdering mittvägs (midterm evaluation) och en utvärdering efteråt
(ex post evaluation). Dessa utvärderingsformer ansågs inte ha fungerat väl. Utvärderingarna hade inte
kommit till användning. De hade inte lett till lärande. Det var då tanken kom upp att utvärderingarna
borde pågå löpande (ongoing) och avrapporteras löpande (ongoing) för att resultaten skulle komma till
användning. Språkbruket måste förstås mot bakgrund av den politiska situationen i EU.5
Det är mot denna bakgrund som projekt GEVALIS Vuxna har valt upplägget löpande utvärdering.
Eftersom GEVALIS Vuxna delfinansieras av Europeiska Socialfonden, har vi uppfattat att det finns ett
europeiskt intresse av att få fram rehabiliteringskunskaper med denna utvärderingsansats. Att löpande
utvärdering görs som intern utvärdering i form av självvärdering, som i vårt fall, är inte självklart i ett
EU-perspektiv. På EU-nivå kan man mycket väl tänka sig löpande utvärdering som extern utvärdering.
Valet av självvärdering betingas av lokala lärdomar från tidigare utvärderingsprojekt. Det finns ett
behov av metodutveckling i självvärdering (intern utvärdering) inom SoF Västra Skaraborg. Även
regionalt och nationellt i Sverige finns ett intresse för självvärdering som tillnärmelse i
projektverksamheter, som ålagts krav på uppföljning och utvärdering.
Praktikbaserad utvärdering
Den utvecklande, interna utvärderingen är också praktikbaserad. Ordet praktikbaserad har kommit att
beteckna utvärderingar som beskriver och bedömer verksamheter i verkliga livet i motsats till test som
sker i form av randomiserade experiment. De kallas också naturalistiska i motsats till artificiella eller
konstgjorda som betecknar utvärderingar som utförs under laboratorieliknande förhållanden.
Denna del av den utvecklande interna utvärderingen ska här exemplifieras med delen Återhämta i
ÅKA-modellen. I vårt exempel tänker vi oss att hela ÅKA-modellen är införd i Samordningsförbundets fem kommuner men att vi koncentrerar uppmärksamheten på det första inslaget i den tredelade
modellen, nämligen Återhämta.
Tolvschemat för datafångst
När nätverket hade enats om vilka frågor som behövde ställas och besvaras för att i ett senare skede
kunna belysa och bedöma arbetet i projektet, så växte en mall fram för insamling och dokumentation
av information. Trettonschemat för datafångst såg dagens ljus (Figur 2.1).
5
Termen ”löpande utvärdering” som ett bättre svenskt uttryck än ”följeforskning” lanserades i
Vedung & Dahlberg 2013:116. Se också resonemanget där om ”lärande utvärdering”.
6
Idealt sett bör ett tidigt logiskt steg i en utvärdering vara att skaffa fram ingångsdata på den eller de
faktorer som interventionen önskar påverka. I ett inledande skede i GEVALIS Vuxna har deltagarnas
aktivitetsförmåga var tänkt att påverkas. Genom att delta i projektet ska individerna i målgruppen
komma upp i minst 10 timmars aktivitetsförmåga per vecka utanför hemmet. Utvärderingen av
GEVALIS Vuxna har fått tillgång till dessa ingångsdata på två sätt: genom deltagarnas självskattning
av egen aktivitetsförmåga och genom ordinarie remitterande myndigheters redan föreliggande
bedömningar av varje deltagares aktivitetsförmåga. Dessa ingångsdata har legat på individnivå, dvs.
avsett varje deltagares aktivitetsförmåga utanför hemmet omedelbart innan de trätt in i Återhämta och
därmed inlett sin resa genom ÅKA.
Figur 2.1. Tolvschemat för datafångst i den utvecklande utvärderingen av projekt GEVALIS
Vuxna
1.
2.
myndigheter
3.
4.
Sker varje
5.
år
6.
7.
8.
9.
10.
11.
Ingångsdata typ 1: Deltagarens självskattning av sin aktivitetsförmåga utanför hemmet.
Ingångsdata typ 2: Bedömningar av deltagarnas aktivitetsförmåga från ordinarie
12.
Slutrapport – år tre.
Loggbok förd av rehabcoacher
Ifyllning av strukturerat aktivitetsschema
Lägesbeskrivning
Utgångsenkät till deltagare
Årlig rapport
Lärandekonferens
Intervjuer med linjechefer
Efterintervju 1 med deltagarna
Efterintervju 2 med deltagarna
individnivå, d.v.s. avsett varje deltagares aktivitetsförmåga utanför hemmet omedelbart innan
GEVALIS startar.
1.
Ingångsdata typ 1. Deltagarenkät för deltagarnas självskattning av sin
aktivitetsförmåga utanför hemmet
För att få fram ingångsdata beträffande varje deltagares aktivitetsförmåga utanför hemmet har två
frågescheman kommit till användning. Deltagarnas aktivitetsförmåga i hemmet har bedömts utifrån
information insamlad via schemat ADL (allmän daglig livsföring). För att fånga in aktivitetsförmåga
utanför hemmet har en deltagarenkät konstruerats och administrerats till varje deltagare för
självskattning. Deltagarna har ombetts göra en självskattning av sin aktivitetsförmåga utanför hemmet
på en skala av sju punkter. En funktionär från GEVALIS, t.ex. en coach, har varit närvarande i rummet
där deltagarna fyller i enkäten och svarat på deltagarnas frågor om enkätens innehåll (se bilaga 1).
2.
Ingångsdata typ 2. Bedömningar av deltagarnas aktivitetsförmåga från ordinarie
myndigheter
Som ingångsdata typ 2 har utvärderingsgruppen använt sig av de remitterande myndigheternas
uppskattning av deltagarnas aktivitetsförmåga i samband med att de rekommenderades delta i
GEVALIS Vuxna. Remitterande myndigheter har varit Försäkringskassan, Arbetsförmedlingen och
kommunens socialtjänst. Även dessa ingångsdata ligger på individnivå, dvs. de visar varje enskild
deltagares aktivitetsförmåga omedelbart innan GEVALIS Vuxna startar.
7
De remitterande myndigheternas uppskattningar är olika konstruerade.
Vi har alltså försökt fånga aktivitetsförmågan hos deltagarna på två sätt: dels genom att de själva fått
uppskatta vilken aktivitetsförmåga de har har haft i utgångsläget och dels genom att myndigheterna har
uppskattat deras aktivitetsförmåga när de remitterats till GEVALIS. Detta är datatriangulering.
Utvärderingsgruppen har använt sig av två typer av data för att mäta samma sak.
3.
Loggbok för varje delprojekt förd av rehabcoach
I den inledande delen Återhämta i GEVALIS Vuxna är deltagarna tänkta att öka sin aktivitetsförmåga
genom de aktiviteter som erbjuds inom de fem delprojekten. För att få överblick över dessa krävs
dokumentation. Rehabcoacherna i delprojekten ska föra en loggbok över sina aktiviteter. Det ska
finnas en loggbok för varje delprojekt dvs. en för vart och ett av delprojekten i Essunga, Götene,
Lidköpings, Skara och Vara kommuner. Idealt sett ska den föras för varje dag som en dagbok eller
minnesanteckning. Rehabcoacherna bör skriva in sina noteringar varje dag. Som ett minimum bör de
skrivas in en gång i veckan men avse de dagar då aktivitet pågått i projektet. I loggboken ska alltså
coachens aktiviteter stå i centrum. Den ska innehålla hur man som coach närmar sig deltagaren och
coachens arbetsprocess inklusive förbättringar i den. Den ska också visa att och hur coachen reflekterar
över sin egen verksamhet. Att baspersonalen professionaliserar sig själv.
Loggboken tillhör uteslutande coachen. Den ska inte sändas till utvärderingsnätverket. Den ska inte
redovisas till linjechefer. Den ska helt och fullt ut vara ett privat arbetsdokument. Däremot ska den
bevaras så länge GEVALIS Vuxna pågår. Den ska inte successivt förstöras. Det kan nämligen hända att
projektledaren någon gång behöver fråga en coach om någon sak. Och för att besvara sådana
uppdykande frågor kan det bli värdefullt för coachen att ha tillgång till loggboken.
Poängen med loggboken är att ge coacherna ett material som kan tjäna som ett av flera underlag vid
deras utformande av en tillbakarapporterande lägesbeskrivning för varje kvartal (se punkt 5 nedan).
4.
Ifyllning av strukturerat aktivitetsschema (rehabcoacher)
Ett aktivitetsschema har utarbetats inom utvärderingsnätverket. Det är uppdelat på Inskrivningsfasen (i
GEVALIS Vuxna) och Utskrivningsfasen (ur GEVALIS Vuxna). Däremellan ligger Aktivitetsfasen (i
GEVALIS Vuxna). Tanken är att coacherna ska fylla i ett sådant schema för varje deltagare i GEVALIS
Vuxna (se bilaga 2). Data som erhålls genom dessa aktivitetsscheman ligger således på individnivå.
Aktivitetsscheman skall sändas in till projektägaren, i detta fall SoF Västra Skaraborg. De skall också
bevaras hos coacherna.6
5.
Lägesbeskrivning (rehabcoacher)
Rehabcoacherna i varje delprojekt ska tillsammans författa en lägesbeskrivning för varje kvartal.
Lägesbeskrivningen ska innehålla data om gruppen, dvs. informationen ska ligga på gruppnivå.
Lägesbeskrivningen ska sändas till ledningen för projekt GEVALIS Vuxna samt naturligtvis också
bevaras hos coacherna. Underlaget för en sådan lägesbeskrivning utgörs av loggboken (se punkt 3),
men även av ifyllda aktivitetsscheman (punkt 4) och, i förekommande fall, coachernas egna kalendrar.
Innehållet i lägesbeskrivningarna kan variera under projektets gång (se bilaga 3).
6
Prior 2003: 34, 43, 46f deliberates on strengths and particularly weaknesses of such generative documents for data
gathering on individuals. Generative documents – “documents that provide the conceptual framework in terms of which the
world is reported upon” (43).
8
6.
Utgångsenkät till deltagarna
En särskilt konstruerad enkät har gett utgångsdata för varje individ som deltagit i projekt GEVALIS
Vuxna. Den har innehållit frågor om aktivitetsförmåga utanför hemmet. Vilken aktivitetsförmåga
utanför hemmet uppskattar du att du själv har just nu? (se bilaga 4). Enkäten har administrerats till
deltagare i samband med att de skrivits ut ur GEVALIS Vuxna.
7.
Årlig rapport
På grundval av coachernas fem lägesbeskrivningar har projektledningen med bistånd av
utvärderingsgruppen varje år vid årets slut producerat en sammanfattande rapport som ska sändas till
ESF-rådet. Den årliga rapporten kan disponeras enligt det mönster som lägesbeskrivningarna är
disponerade efter.
8.
Lärandekonferens
En lärandekonferens har anordnats en gång per år för att dryfta händelser och resultat under det gångna
året. För det mesta har dessa konferenser ägt rum under tidig vår och avsett det föregående året. Hela
GEVALIS Vuxna har bjudits in. Förutom hela utvärderingsgruppen har coacher, linjechefer från
styrgruppen, politiker från SoF Västra Skaraborg samt från de fem kommuner som ingår i SoF
erbjudits delta. Vid konferensen har den årliga rapporten för föregående år diskuterats. Syftet är att alla
deltagarna ska få någon lärdom med sig hem från sammandragningen.
9.
Intervjuer med linjechefer - En mall för linjechefernas självvärdering
Denna mall har handlat om två självvärderingsuppgifter: 1) Samverkan och struktur för samverkan, 2)
ESF-rådets skall-krav beträffande integrerad politik:
Den ena uppgiften är att reflektera över samverkan i olika avseenden samt hur de lärdomar som
kommer fram i samverkan skall kunna spridas och implementeras i moderorganisationerna.
Den andra uppgiften är att reflektera över ESF-rådets skall-krav beträffande integrerad politik. Skallkraven handlar om de tre horisontella värdena jämställdhet, etnicitet och funktionshinder. Projektet ska
integrera dessa mål i sin verksamhet. Hur det ska integreras i GEVALIS är en sak och hur detta ska
åstadkomma strategisk påverkan i moderorganisationerna och där bortom är en annan.
Kunskapsspridning och strategisk påverkan, det ska tolkas inte bara som spridning utan även av
implementering av lärdomar om samverkan i GEVALIS Vuxnas moderorganisationer samt i andra
sammanhang helt utanför GEVALIS Vuxna. Som det nu är uppfinner man hjulet gång på gång. Projekt
efter projekt gör erfarenheter men det finns ingen som tar tillvara dessa och för dem vidare i strategisk
påverkan. Linjecheferna bör reflektera över det i sina självvärderingar. Arbetsmetoderna i stuprören
bör utvecklas och förändras i riktning mot att samverka kring individer som faller mellan de etablerade
stuprören. Detta är en nyckelformulering i GEVALIS-projektet.
10.
Efterintervjuer med deltagarna
Dessa intervjuer utförs sex månader efter det att deltagarna avslutat sin sejour i GEVALIS Vuxna.
Berätta med egna ord vad som hänt med din aktivitetsförmåga sedan du avslutade din sejour i
GEVALIS Vuxna! Berätta med egna ord hur du nu bedömer din aktivitetsförmåga! Detta är exempel
på frågor som deltagarna ombeds reflektera kring. Administreras av GEVALIS Vuxnas processtödjare.
11.
Efterintervjuer med deltagarna
Dessa intervjuer utförs 12 månader efter det att deltagarna avslutat sin sejour i GEVALIS Vuxna.
Berätta med egna ord vad som hänt med din aktivitetsförmåga sedan du avslutade din sejour i
9
GEVALIS Vuxna! Berätta med egna ord hur du nu bedömer din aktivitetsförmåga! Detta exempel på
frågor som deltagarna ombeds reflektera kring. Administreras av GEVALIS Vuxnas processtödjare.
12.
Slutrapportering
En slutrapport i skriftlig form ska sändas in till ESF-rådet senast tre månader efter projektet avslut.
Deadline är med andra ord den 31 mars 2013.
Utvärderingssystemet för projekt GEVALIS Vuxna 2010-2014: en sammanfattning
Evidens och evidensbaserad praktik (EBP) har blivit modeordet för dagen i socialmedicin, psykiatri,
socialt arbete och andra människobehandlande verksamheter. Godtagbar evidens har sådana
tillvägagångssätt som genom randomiserade kliniska experiment (RCTs= randomized controlled
treatments) visat sig vara effektiva jämfört med placebo eller ingen behandling alls. Mot detta hävdas
ofta att randomiserade kontrollerade experiment i många situationer är svåra att få att tillämpa i
offentliga sektorn. Metoder för praktikbaserad evidens (PBE) förs fram som mer praktiskt användbara
alternativt till metoder för evidensbased praktik. I vårt fall har utvärderingen bidragit till att generera
evidens från socialarbetarens och brukarens praktik och i den meningen ge PBE, dvs. praktikbaserad
evidens.
Utvärderingssystemet för projekt GEVALIS Vuxna kännetecknas också av en stark koncentration på
utvecklande utvärdering. En sådan utvärdering är tänkt att leda till strategisk påverkan och mer
långsiktigt lärande samtidigt som lärande ska ske under projektets gång. Det utvecklande
praktikbaserade utvärderandet har byggt på två principer: principen om inflätning i det objekt som
utvärderas samt principande om löpande utförande. Helt oberoende av det utvecklande utvärderandet
har kontrollerade utvärderingar ägt rum från två reviderande myndigheter: ESF-rådet och
Ekonomistyrningsverket.
”Löpande [utvärdering] ska inte förstås så att utvärderarna springer utan att utvärderingen tänkes pågå
hela tiden och samtidigt med den intervention som utvärderas” (Vedung & Dahlberg 2013:15).
”Ongoing evaluation” är EU-språk för denna typ av utvärdering. Detta språkbruk ska förstås mot
bakgrund av läget för strukturfonderna vid utgången av programperioden 1 januari 2000 till sista
december 2006. Då hade programmet innehållit krav på utvärdering vid två tillfällen: mittvägs
(midterm evaluation) och efteråt (ex post evaluation). Dessa utvärderingsformer ansågs inte ha
fungerat väl. Utvärderingarna hade inte kommit till användning. De hade inte lett till lärande. Det var
då tanken kom upp att utvärderingarna under nästa programperiod 2007-2013 borde pågå löpande
(ongoing) och avrapporteras löpande (ongoing) för att resultaten skulle komma till användning.
Den andra principen, den om inflätning eller integration, har tagit sig följande tre uttryck i det
utvecklande utvärderandet inom GEVALIS Vuxna;.
1 Medlemmarna av utvärderingsgruppen utgörs av personer verksamma i GEVALIS Vuxna
2 Viss datainsamling och dokumentation ombesörjts av personer verksamma i GEVALIS Vuxna
3 Utvärderingens uppläggning och resultat kopplas fortgående tillbaka till all personal som jobbar i
GEVALIS Vuxna.
För den mall i tretton steg som konstruerats inom utvärderingsgruppen hänvisas till figur 2.1.
Tolvschemat för datafångst ovan.
10
Referenser
Hertting, Nils & Evert Vedung, 2009, Den utvärderingstäta politiken: Styrning och utvärdering i
svensk storstadspolitik, Lund: Studentlitteratur.
Karlsson, Ove, 2000, ”Praktikbaserad utvärdering i förskola och fritidshem”, Utbildning och
demokrati, 9:2, 87-106.
Prior, Lindsay, 2003, Using Documents in Social Research, London: Sage.
Sandell, Göran, 2003, Integrerad utvärdering: ideologi, teori, metod och IT-stöd: paradigm och modell
för utvärdering och kvalitetsutveckling inom välfärdsverksamheter, Alingsås: Göran Sandell.
Shaw Ian & Alex Faulkner, 2006, ”Practitioner Evaluation at Work”, American Journal of Evaluation,
2006 27: 44.
Schwandt, Thomas A., 2003, ”Back to the Rough Ground! Beyond Theory to Practice in Evaluation”,
Evaluation, 9 (3): 353-364.
Vedung, Evert & Dahlberg, Magnus, 2013. Demokrati och brukarutvärdering, Lund: Studentlitteratur,
2:a uppl. Publiceringsdatum: 20130520.
Vedung, Evert, 2015, ”Utvärderingsmodellen: löpande, inflätad, evidensproducerande”, i Wohlfarth,
Janet, 2015, red., Zelma Fors, Mona Runesson, Evert Vedung, Holger Jacobsson, Mattias
Gullbrandson samt Ulrika Gardtman, Erik Kvarndal, Jaqueline Karvik, Åka-modellen: En berättelse
om hus ESF projektet GEVALIS Vuxna bidragit till förnyat arbetssätt genom integrerad samverkan,
125-139, Skara: Samordningsförbundet Västra Skaraborg, Rapport 2014:2, 2:a upplagan. [Hur man får
ut människor i långvarigt utanförskap i arbete].
Vedung, Evert, 2015, ”Six Uses of Evaluation”, in Hennefeld, Vera; Meyer, Wolfgang & Silvestrini,
Stefan, Hrsg., Nachhaltige Evaluation? Auftragsforschung Zwischen Praxis und Wissenschaft.
Festscrift zum 60. Geburtstag von Reinhard Stockmann, 187-210, Münster, New York: Waxmann.
Vedung, Evert & Staffan Bjurulf, 2015, ”Three Approaches to Impact Evaluation of Regional
Development,” in Elg, Mattias; Ellström, Per-Erik; Klofsten, Magnus & Tillmar, Malin (eds) (2015).
Sustainable Development in Organizations – Studies on Innovation Practices. Cheltenham, UK &
Northhampton, MA, USA: Edward Elgar Publishing. Forthcoming
Vedung, Evert, 2016, Implementering i politik och förvaltning, Lund: Studentlitteratur, kommande.
Wohlfarth, Janet, 2015, red., Zelma Fors, Mona Runesson, Evert Vedung, Holger Jacobsson, Mattias
Gullbrandson samt Ulrika Gardtman, Erik Kvarndal, Jaqueline Karvik, Åka-modellen: En berättelse
om hus ESF projektet GEVALIS Vuxna bidragit till förnyat arbetssätt genom integrerad samverkan,
125-139, Skara: Samordningsförbundet Västra Skaraborg, Rapport 2014:2, 2:a upplagan. [Hur man får
ut människor i långvarigt utanförskap i arbete].
11