Kehitysevaluoinnin vuosiraportti 2015 - Ulkoasiainministeriö
Kehitysevaluoinnin vuosiraportti 2015 Evaluation on Finland’s Development Policy and Cooperation 2016/1 SISÄLTÖ KEHITYSEVALUOINTI ON OSA STRATEGISTA JOHTAMISTA JA LUOTETTAVAA KEHITYSTULOSTEN RAPORTOINTIA .................................................... 1 EVALUOINTIEN KESKEISET VIESTIT VUONNA 2015....................................................... 3 LAAJAT EVALUOINNIT VETÄVÄT YHTEEN KEHITYSYHTEISTYÖN TULOKSIA PITKÄLTÄ AIKAVÄLILTÄ................................................................................ 5 Evaluointi Suomen kehityspoliittisista ohjelmista tulosjohtamisen näkökulmasta.................................... 6 Evaluointi Kenian maaohjelmasta.............................................................................................................. 7 Evaluointi inklusiivisesta koulutuksesta Suomen kehitysyhteistyössä..................................................... 8 Evaluointi Suomen humanitaarisesta miinatoiminnasta........................................................................... 9 Meta-evaluointi hajautetuista hanke- ja ohjelmaevaluoinneista............................................................ 10 EVALUOINTITULOKSET KERTOVAT TOIMINNAN HAASTEISTA SEKÄ HAASTEELLISESTA TOIMINTAYMPÄRISTÖSTÄ................................................... 12 Positiivisia tuloksia sekä mahdollisuuksia vieläkin parempaan.............................................................. 12 Riskien hallintaa ja hallitsemattomia riskejä ........................................................................................... 14 EVALUOINTIJÄRJESTELMÄKIN KAIPAA KEHITTÄMISTÄ.............................................. 18 © Suomen ulkoasiainministeriö 2016 Raportin voi ladata ulkoasiainministeriön internet-sivuilta: http://formin.finland.fi -> Ministeriö ja edustustot -> Julkaisut -> Kehitysyhteistyön evaluointiraportit. Yhteystiedot: EVA-11@formin.fi ISBN 978-952-281-458-6 (pdf) ISSN 2342-8341 Kannen ja ulkoasun suunnittelu: Innocorp Oy/Milla Toro KEHITYSEVALUOINTI ON OSA STRATEGISTA JOHTAMISTA JA LUOTETTAVAA KEHITYSTULOSTEN RAPORTOINTIA Vuosi 2015 oli monella tapaa muutosten vuosi Suomen kehityspolitiikassa ja -yhteistyössä. Suurin yksittäinen muutos oli kehityspolitiikan budjettiin kohdistuneet mittavat leikkaukset, jotka vaikuttivat niin ulkoministeriön kuin yhteistyökumppaniemmekin toimintaan. Paineita on varmasti koettu kaikilla tahoilla toiminnan suhteuttamisessa uusiin taloudellisiin puitteisiin. Samalla valmisteltiin uutta kehityspoliittista linjausta, joka on nyt valmistunut ja lähetetty eduskunnan käsittelyyn kehityspoliittisena selontekona. Selonteko korostaa kehityspolitiikan tulosperustaisuutta, mitattavuutta ja tietoperustaista johtamista. Kehityspoliittinen selonteko luo tärkeää poliittista pohjaa kehityspolitiikan ja -yhteistyön tuloksellisuudelle. Kehityspolitiikan tulosten ja vaikutusten arvioinnissa evaluointi on kaikkein keskeisin ja kansainvälisesti vakiintunein prosessi. Luotettavien ja hyödyllisten evaluointien ehtona on toiminnan hyvä evaluoitavuus. Se merkitsee taitavaa suunnittelua ja tavoitteiden asettamista, johdonmukaista seurantaa, raportointia ja tietojärjestelmien toimivuutta ruohonjuuritasolta aina ylimpään johtoon saakka. Haasteeksi jää, miten evaluoinnit käytännössä vahvistavat asemaansa osana strategista tulosjohtamista. Kehityspolitiikan tulosten ja vaikutusten arvioinnissa evaluointi on kaikkein keskeisin ja kansainvälisesti vakiintunein prosessi Kehityspolitiikan tuloksellisuus puhutti kehityspolitiikan parissa työskenteleviä laajemminkin, sillä vuonna 2015 valmistui eduskunnan pyytämä kehityspolitiikan vaikutuksia arvioiva ulkopuolinen selvitys. Tämä laatijansa nimellä kutsuttu Reinikan raportti hyödynsi kehityspolitiikasta laadittuja evaluointiraportteja ja päätyi hyvin pitkälle samoihin johtopäätöksiin kuin vuoden 2014 evaluoinnin vuosiraporttikin. Koska tätä selvitystä on hyödynnetty paljon eri puolilla ja kehityspolitiikan tasoilla, se on samalla toiminut hyvänä evaluointitiedon levittäjänä. Evaluointeja tehdään ulkoministeriössä useita kymmeniä joka vuosi. On joskus vaikea hahmottaa, mitä ne ovat kokonaisuudessaan tuoneet esille. Tämä vuosiraportti on yksi keino tuoda tiettynä aikana saavutettuja tuloksia esille tiiviissä muodossa niille, jotka eivät ennätä seuraamaan kaikkia evaluointeja. Kehitysevaluointi pyrkii tuottamaan riippumatonta, luotettavaa ja käyttökelpoista tietoa myös poliittisille päättäjille. Siksi koko kehityspolitiikan uskottavuuden kannalta on erittäin tärkeää, että ulkoministeriön evaluointijärjestelmään voi luottaa. KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 Koko kehityspolitiikan uskottavuuden kannalta on erittäin tärkeää, että ulkoministeriön evaluointijärjestelmään voi luottaa E VA L U O I N T I 1 Evaluoinnin teemavuosi on takana – mitä jäi käteen? Vuosi 2015 oli evaluoinnin kansainvälinen teemavuosi. Evaluoinnin teemavuoden kunniaksi ulkoasiainministeriön kehitysevaluoinnin yksikkö (EVA-11) järjesti useita evaluointia ja erityisesti evaluointikulttuuria edistäviä koulutustilaisuuksia. Systeemistä lähestymistapaa sekä muutosteoriaa esittelevät koulutustilaisuudet keräsivät suuren yleisömäärän. Joulukuun perinteinen evaluointipäivä herätti myös kiinnostusta laajasti, sillä se pureutui muun muassa evaluointien hankintaan sekä nuorten evaluoijien ammatilliseen kehittymiseen liittyviin kysymyksiin. Evaluointikulttuurin edistämisessä yksi keskeinen tekijä on päätöksentekijöiden evaluointitiedon kysyntä Evaluointikulttuurin edistämisessä yksi keskeinen tekijä on päätöksentekijöiden evaluointitiedon kysyntä. Evaluointeja on turha tehdä, jos niille ei nähdä selvää käyttötarkoitusta. Koska evaluoinnit yleensä tuovat esille myös ongelmia ja haasteita, niihin saatetaan helposti suhtautua varauksellisesti ja välttelevästi. Suomi on sitoutunut noudattamaan OECD:n kehitysapukomitean evaluointiohjeita ja standardeja, joissa kiinnitetään erityistä huomiota riippumattomuuteen ja luotettavuuteen sekä evaluointien käyttökelpoisuuteen. Terve kriittisyys on osa evaluointien luonnetta. Näistä lähtökohdista ponnistava riippumaton arviointitoiminta on tärkeä osa hyvää ja vastuullista hallintoa sekä johtamista. Vuoden 2015 evaluoinnin satoa Uusi evaluoinnin normi korostaa evaluointien systemaattisuutta, suunnitelmallisuutta ja tulosten avoimuutta Vuonna 2015 kehitysevaluoinnin yksikkö julkisti viisi laajaa evaluointia ja aloitti neljä uutta evaluointia. Evaluointien normipohjaa vahvistettiin uudella normilla vuoden 2015 alusta lähtien. Uusi evaluoinnin normi korostaa evaluointien systemaattisuutta, suunnitelmallisuutta ja tulosten avoimuutta. Tämä evaluoinnin vuosiraportti luo katsauksen valmistuneisiin evaluointeihin sekä keskeisimpiin kehitysevaluointijärjestelmän ja evaluointikapasiteetin kehittämishankkeisiin. Raportti on kirjoitettu tiiviissä muodossa, joten se soveltuu hyvin yhteenvedoksi kiireisille päättäjille ja poliittisen tason toimijoille. Samalla se on pyritty kirjoittamaan selkeästi ajatellen laajempaa yleisöä. Raportti on osa kehitysyhteistyön tilivelvollisuutta ja läpinäkyvyyttä. Sen pohjalta voi saada hyvän käsityksen siitä, minkälaisia asioita evaluoinnit ovat nostaneet esille kehitysyhteistyöstä ja minkälaisia suosituksia ne ovat antaneet kehityspolitiikan ja -yhteistyön edelleen kehittämiselle. Raportti kuvaa lyhyesti myös sitä, miten ulkoasiainministeriö on päättänyt toimia evaluointien suositusten pohjalta. Vuosiraportista ei voi kuitenkaan tehdä johtopäätöksiä koskien kaikkia kehityspolitiikan ja -yhteistyön kysymyksiä, sillä yhden vuoden evaluoinnit eivät kata kaikkia kehityspolitiikan osa-alueita. Jyrki Pulkkinen Kehitysevaluoinnin päällikkö 2 E VA L U O I N T I KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 EVALUOINTIEN KESKEISET VIESTIT VUONNA 2015 Tulosjohtamista pitää kehittää edelleen Ulkoministeriössä on saavutettu viime vuosina edistystä tulosperustaisten hankkeiden ja ohjelmien suunnittelussa ja toteutuksessa. Hyviä esimerkkejä kehittämistyöstä ovat tulossuuntautuneet maastrategiat sekä monenkeskiset vaikuttamissuunnitelmat, joilla edistetään tulosperustaista toimintaa Suomen kehityspolitiikassa ja -yhteistyössä. Tulosperustaisuus etenee, mutta tulosjohtamisesta ei voi vielä puhua Ulkoministeriö ei kuitenkaan ole vielä onnistunut luomaan tulosjohtamista edistävää organisaatioympäristöä. Lisäksi tietojärjestelmät eivät vielä ole riittävän kehittyneitä kaikki kehitysyhteistyön kanavat ja instrumentit kattavaan tulosten seurantaan ja raportointiin. Tasa-arvon edistäminen koulutuksen avulla on Suomen vahvuus Suomella on kansainvälisesti merkittävä ja johtava rooli vammaisten ihmisten oikeuksien sekä kaikille sopivan, inklusiivisen koulutuksen edistämisessä. Suomen tukemat hankkeet ovat vaikuttaneet positiivisesti inklusiivisen opetuksen toimintatapoihin, käytäntöihin ja tuloksiin. Esimerkiksi Kosovossa inklusiivinen ajattelutapa on integroitu opettajakoulutukseen: inklusiivisen opetuksen valmiudet ovat lisääntyneet ja inklusiivisen oppimisen toimintaperiaatteita ja strategioita on kehitetty. Nykyisin erityistarpeiset lapset käyvät aiempaa enemmän koulua tavallisissa luokissa vaikkakin useimmat erityistarpeiset lapset opiskelevat edelleen erityisopetusympäristöissä. Tasa-arvoa voi edistää koulutuksen kautta, mutta se pitäisi näkyä myös oppimistuloksissa On kuitenkin huomattava, että Suomen suhteellisen pienillä resursseilla ei yksin saavuteta suurta vaikutusta erityistarpeisten lasten oppimistuloksiin. Tulevaisuudessa tulisikin hyödyntää nykyistä enemmän kumppanuuksia samanhenkisten rahoittajien kanssa uusien tukikanavien avautumiseksi inklusiiviselle koulutukselle. Lisäksi saavutetut muutokset kumppanimaiden lainsäädännössä ja asenteissa eivät ole vielä vaikuttaneet erityistuen tarpeessa olevien lasten oppimistuloksiin. Opetustilanteissa erityistuen tarpeessa olevat lapset jäivät usein ilman tarvittavaa tukea. Kahdenvälinen yhteistyö on asianmukaista ja tuottaa myös tuloksia Suomen kahdenväliset hankkeet vastaavat sekä yhteistyömaan että Suomen kehityspolitiikan linjauksia ja tuottavat usein myös tuloksia. Tuloksellisuudessa on kuitenkin paljon haasteita. Konkreettisia esimerkkejä siitä, miten kahdenväliset hankkeet ovat vastanneet köyhien ihmisten tarpeisiin, ovat muun muassa maataloustuotannon lisääntyminen, terveyspalveluiden hinnan aleneminen kotitalouksille, tulvien hallinnan kehittäminen, metsätalouden kautta syntyneet tulot sekä ruokaturvan, säästöohjelmien ja lukutaidon kehittyminen. KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 Kahdenvälinen kehitysyhteistyö vastaa kumppanimaiden tarpeita ja Suomen kehityspolitiikkaa E VA L U O I N T I 3 Keniassa Suomi on saanut rahoitusosuuttaan merkittävämmän roolin valituilla yhteistyösektoreilla. Selittävinä tekijöinä voidaan pitää jatkuvuutta, aktiivista koordinointia sekä edustustoon palkattuja erityisasiantuntijoita. Myös poliittinen vaikuttaminen on edistänyt kehitysyhteistyön tuloksia. Laajempia kehitysvaikutuksia on vielä vaikea arvioida, koska hankkeiden loppuevaluoinneissa vaikuttavuus ei ole vielä arvioitavissa Kahdenvälisissä hankkeissa on kuitenkin parantamisen varaa tehokkuuden ja tulosten kestävyyden suhteen. Kestävyyden edistämisessä keskeistä on vahvistaa paikallista omistajuutta sekä varmistaa tarvittavan kapasiteetin ja resurssien kehittymisen hankkeen aikana. Yksi keino on hyödyntää enemmän paikallisia järjestelmiä. Laajempia kehitysvaikutuksia on vielä vaikea arvioida, koska hankkeiden loppuevaluoinneissa vaikuttavuus ei ole vielä arvioitavissa ja varsinaisia vaikuttavuusevaluointeja tehdään liian vähän. Kehitysevaluoinnin yksikkö (EVA-11) ulkoministeriössä 4 E VA L U O I N T I ■■ Budjetti vuonna 2015: 2 miljoonaa euroa ■■ 3–5 laajaa evaluointia vuodessa ■■ Muut tehtävät: kehitysevaluointitoimen yleinen kehittäminen, evaluointikoulutus ja tukipalvelut yksiköille, evaluoinneista tiedottaminen, osallistuminen kansainväliseen evaluointitoimintaan KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 LAAJAT EVALUOINNIT VETÄVÄT YHTEEN KEHITYSYHTEISTYÖN TULOKSIA PITKÄLTÄ AIKAVÄLILTÄ Evaluointien tavoitteena on tuottaa perusteltua ja luotettavaa tietoa ulkoministeriön kehityspolitiikan johdolle, kumppaneille, poliittisille päätöksentekijöille, kansalaisille sekä hyödynsaajille siitä, miten kehityspolitiikka on saavuttanut sille asetettuja tavoitteita ja tuloksia. Lisäksi evaluoinnit antavat suosituksia siitä, miten kehitysyhteistyötä tulisi jatkossa kehittää. Vuonna 2015 valmistui viisi laajaa evaluointia: neljä temaattista sekä yksi metaevaluointi alueosastojen tekemistä hanke- ja ohjelmaevaluoinneista. Evaluoinnit antavat suosituksia siitä, miten kehitysyhteistyötä tulisi jatkossa kehittää 1.Evaluointi Suomen kehityspoliittisista ohjelmista tulosjohtamisen näkökulmasta 2003–2013 2. Evaluointi Kenian maaohjelmasta 2007–2013 3. Inklusiivinen koulutus Suomen kehitysyhteistyössä 2004–2013 4. Evaluointi Suomen humanitaarisesta miinatoiminnasta 1991–2015 5. Meta-evaluointi yksiköiden hanke- ja ohjelmaevaluoinneista 2012–2014 Kehitysyhteistyön evaluoinnin normin (1/2015) mukaisesti kaikkiin evaluointeihin reagoidaan. Vastineessa kehityspolitiikan johto päättää, miten evaluoinnin tulokset vaikuttavat toimintaan jatkossa. Yhteistyöstä vastaavat yksiköt laativat vastineesta luonnoksen, joka viedään kehityspoliittiseen ohjausryhmään kommentoitavaksi. Lopullisen vastineen vahvistaa kehitysyhteistyöstä vastaava alivaltiosihteeri. Kehitysyhteistyön evaluoinnin normin mukaisesti kaikkiin evaluointeihin reagoidaan Evaluoinnin tuloksista on tärkeää oppia ulkoasiainministeriötä laajemmin. Vastineissa pitääkin harkita, missä määrin johdon tulee reagoida evaluoinnin tuloksiin sisäisesti ja missä määrin yhdessä kumppaneiden kanssa. Johdon vastineessa sovittujen toimenpiteiden toteutumista seurataan kahden vuoden ajan, jonka jälkeen niiden toteutumisesta laaditaan raportti. Kehitysevaluoinnin yksikkö avustaa osastoja tässä prosessissa. Lisäksi se kokoaa säännöllisesti yhteenvetoja evaluointien seurantaraporttien esille tuomista huomioista ja hyvistä käytännöistä kehityspoliittiselle ohjausryhmälle. Yksittäisten hanke-evaluointien tulokset käsitellään hankkeiden ohjausryhmissä ja johtokunnissa. Käsittelyprosessi ja yhdessä tehdyt päätökset kirjataan selkeästi ylös toimintasuunnitelmiin seurantaa varten. Evaluoinnin suositus- KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 E VA L U O I N T I 5 ten seuranta toteutetaan osana yhteistyön normaalia kokonaisseurantaa ja raportointia. Uusimmista evaluoinneista on nähtävissä myös tallenne, jossa evaluoinnin tekijät esittelevät tulokset Seuraavassa on esitetty tiivistetysti vuonna 2015 tehtyjen evaluointien tavoitteet ja keskeiset tulokset sekä niihin laaditut vastineet. Evaluointiraportit löytyvät kokonaisuudessaan ministeriön nettisivuilta: formin.finland.fi -> Ministeriö ja edustustot -> Julkaisut -> Kehitysyhteistyön evaluointiraportit. Uusimmista evaluoinneista on nähtävissä myös tallenne, jossa evaluoinnin tekijät esittelevät tulokset. Evaluointi Suomen kehityspoliittisista ohjelmista tulosjohtamisen näkökulmasta Tulosperustaisessa toiminnassa on edistytty, mutta tulosjohtamisen toimintakulttuuria on syytä kehittää jatkossa Kehityspoliittiset ohjelmat ovat välittäneet onnistuneesti ja vakuuttavasti Suomen kehityspolitiikan arvot ja johtavat periaatteet Evaluointi Suomen kehityspoliittisista ohjelmista tulosjohtamisen näkökulmasta tarkasteli kolmea viimeisintä ohjelmaa vuosilta 2004, 2007 ja 2012. Evaluointi porautui mm. ohjelmien laadintaprosesseihin, ohjauskeinoihin, ohjelmointiin ja raportointiin. Kehitysyhteistyön tuloksellisuutta on kehitetty viime vuosina voimakkaasti hanke- ja ohjelmatasolla. Sen sijaan kehityspoliittisen ohjauksen ylemmät tasot ovat jääneet vähemmälle huomiolle. Kehityspoliittisesta toimenpideohjelmasta on tullut keskeisin strateginen dokumentti ja ohjauksen väline. Evaluointi arvioi, että kehityspoliittiset ohjelmat ovat välittäneet onnistuneesti ja vakuuttavasti Suomen kehityspolitiikan arvot ja johtavat periaatteet. Ne eivät kuitenkaan tarjonneet kattavaa lähestymistapaa tulosperustaiseen johtamiseen ja kehityspolitiikan toteuttamiseen käytännössä. Ohjelmista puuttui asioiden priorisointi: peräkkäiset politiikat lisäsivät uusia tavoitteita, mutta eivät poistaneet aikaisempia. Evaluoinnin mukaan ulkoministeriössä on saavutettu viime vuosina merkittävää edistystä tulosperustaisessa hankkeiden ja ohjelmien suunnittelussa sekä toteutuksessa. Kattavilla tulossuuntautuneilla maastrategioilla sekä monenkeskisillä vaikuttamissuunnitelmilla on mahdollista edistää tulosperustaista toimintaa edelleen Suomen kehityspolitiikassa ja -yhteistyössä. Ulkoministeriö ei ole vielä onnistunut luomaan tulosjohtamista edistävää organisaatioympäristöä. Toiminnan kehittämiseen tähtäävän kokeilun ja oppimisen sijaan nykyinen organisaatiokulttuuri välttelee riskien ottamista ja priorisoi ohjeiden täsmällistä noudattamista. Tällainen organisaatiokulttuuri on esteenä tehokkaalle tulosperustaiselle toiminnalle. Lisäksi tietojärjestelmät eivät vielä ole riittävän kehittyneitä kaikki kehitysyhteistyön kanavat ja instrumentit kattavaan tulosten seurantaan ja raportointiin. Evaluoinnin tuloksien perusteella laadittiin johdon vastine, jonka mukaan: • Ulkoministeriö valmistelee tiiviin kehityspoliittisen linjauksen, jossa määritellään kehityspolitiikan painopisteet hallituskaudelle. Hallituskaudella kehityspolitiikan tuloksellisuutta, vaikuttavuutta ja mitattavuutta parannetaan tulosraportointijärjestelmää kehittämällä. Tuloksia arvioidaan hallituskauden lopulla. • Parannetaan tiedon saatavuutta kehityspolitiikan tuloksista ja vaikutuksista muodoissa, jotka tukevat ulkoista viestintää ja päätöksentekoa. 6 E VA L U O I N T I KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 Tietojärjestelmiä kehitetään palvelemaan näitä tavoitteita. • Myös toiminta- ja taloussuunnittelua kehitetään edelleen edellisten pohjalta. • Aiempaa niukempia henkilöstövoimavaroja kohdennettaessa painotetaan ensisijassa tulosten aikaansaamiseen liittyviä tarpeita. Lisäksi laaditaan tulosohjauksen kehittämisen toimintasuunnitelma sekä vahvistetaan kehitystä tukevaa politikkajohdonmukaisuutta. Lue lisää: Evaluointi Suomen kehityspoliittisista ohjelmista tulosjohtamisen näkökulmasta 2003–2013 Evaluointi Kenian maaohjelmasta Kenia on yksi Suomen pitkäaikaisimmista kehitysyhteistyökumppaneista. Se on afrikkalaisista pääkumppanimaista ainoa niin sanottu keskitulotason maa. Köyhyys ja eriarvoisuus ovat silti polttavia ongelmia. Kenian maaohjelmaevaluointi keskittyi arvioimaan kahdenvälistä kehitysyhteistyötä eli Suomen maaohjelmaa Keniassa. Evaluoinnin mukaan maaohjelma on ollut Kenian tärkeimpien kehityssuunnitelmien mukainen, vaikka se tehtiin pääasiassa ulkoasiainministeriön sisäisenä prosessina ilman laajaa konsultointia kenialaisten kanssa. Suomi on saanut kokoaan merkittävämmän roolin valituilla yhteistyösektoreilla. Tähän ovat vaikuttaneet jatkuvuuden lisäksi huomattavat rahalliset panostukset kyseisille sektoreille sekä edustustoon palkatut kehitysyhteistyön osaavat ja aktiiviset erityisasiantuntijat. Suomen yhteistyö, yleiset tavoitteet ja yhteistyösektorit ovat relevantteja, mutta kehitysyhteistyön tehokkuutta ja tuloksellisuutta voisi tulevaisuudessa parantaa toisilla yhteistyön toimeenpanotavoilla, uusilla kumppaneilla sekä maltillisemmalla budjetoinnilla. Keniassa on kiinnostusta myös uudentyyppiseen yhteistyöhön Suomi on saanut kokoaan merkittävämmän roolin valituilla yhteistyösektoreilla Evaluoinnin tulokset otetaan huomioon Kenian maaohjelmaa päivitettäessä siten, että: • Tulosalueiden määrä suhteutetaan käytettävissä oleviin resursseihin ja tavoitteita tarkennetaan. • Tulostavoitteiden ja sektoreiden valinta sekä päätökset kansallisten järjestelmien käytöstä tehdään tulos- ja riskianalyysin perusteella. Maakuntiin kohdistuvissa ohjelmissa tuetaan maakuntia niille kuuluvien vastuiden hoitamisessa. • Rakennetaan pidemmän aikavälin edellytyksiä monipuolisemmille ja kestäville yhteistyösuhteille. Suomi korostaa eri valtionhallinnon toimijoiden, kansalaisyhteiskunnan ja yksityisen sektorin yhteistyön ja osallistumisen tärkeyttä yhteistyössään ja apukoordinaatioryhmissä. Tässä hyödynnetään kahdenvälisiä instrumentteja suunnitellusti ja räätälöiden, kaupallis-taloudellisen yhteistyön edistämistä sekä yhteistyötä Finnpron ja Team Finlandin kanssa. Lue lisää: Evaluointi Kenian maaohjelmasta 2007–2013 KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 E VA L U O I N T I 7 Evaluointi inklusiivisesta koulutuksesta Suomen kehitysyhteistyössä Vammaisten ihmisten oikeuksien ja inklusiivisen koulutuksen edistämisessä on menty eteenpäin, mutta kansainvälistä yhteistyötä tarvitaan edelleen Inklusiivisen koulutuksen evaluoinnin mukaan ihmisoikeuksien edistäminen sekä vammaisten ihmisten oikeuksien ja mahdollisuuksien parantaminen ovat olleet Suomen kehityspolitiikan keskeisiä teemoja 1990-luvulta lähtien. Kehitysyhteistyö on tukenut vammaisten ihmisten oikeuksia erityisesti koulutuksessa sekä ihmisoikeusperustaisen lähestymistavan toteutumista yleisemmin. Tapaustutkimukset Suomen tuesta inklusiiviselle koulutukselle tehtiin Etiopiassa, Kosovossa ja Andeilla. Lisäksi vammaishankkeista tehtiin erillinen dokumenttianalyysi. Ulkoasiainministeriön tukemat hankkeet ovat muuttaneet monien hallintoviranomaisten, opettajien ja vanhempien asenteita positiivisemmiksi inklusiivista opetusta kohtaan Suomen maakohtaisella tuella on ollut merkittävä vaikutus kumppanimaiden lainsäädännön sekä asenteiden muuttumisessa. Ulkoasiainministeriön tukemat hankkeet ovat muuttaneet monien hallintoviranomaisten, opettajien ja vanhempien asenteita positiivisemmiksi inklusiivista opetusta kohtaan. Muutokset kumppanimaiden lainsäädännössä ja asenteissa eivät ole kuitenkaan vielä vaikuttaneet erityistuen tarpeessa olevien lasten oppimistuloksiin. Opetustilanteissa erityistuen tarpeessa olevat lapset jäivät usein ilman tarvittavaa tukea ja useimmat erityistarpeiset lapset opiskelevat edelleenkin erityisopetusympäristöissä. Tulevaisuudessa pitäisi vahvistaa kumppanuuksia samanhenkisten rahoittajien kanssa, jotta inklusiiviselle koulutukselle löytyisi uusia tukikanavia. Evaluoinnissa todettiin, että Suomella on kansainvälisesti merkittävä ja johtava rooli vammaisten oikeuksien sekä kaikille sopivan, inklusiivisen koulutuksen edistämisessä. Ulkoasiainministeriö on yli kaksinkertaistanut vammaishankkeidensa määrän ja rahoituksen viime vuosikymmenellä. Lisäyksestä huolimatta vammaisnäkökulma on onnistuttu saamaan kiinteäksi osaksi vain joka neljänteen hankkeeseen. Opetussektorilla Suomen kahdenvälistä täydentävää tukea on tarvittu useissa maissa, koska erityisopetusta ei ole saatu osaksi kumppanimaiden sektorirahoitusohjelmia. Evaluoinnin suositusten pohjalta päätettiin: • Vahvistaa edellytyksiä vammaisten ihmisten oikeuksien edistämiseksi kehityspolitiikan ja -yhteistyön keinoin luomalla tiivis kokonaisnäkemys, jota hyödynnetään suunnittelussa ja vaikuttamistyössä. Tiivistetään yhteistyötä sidosryhmien kanssa sekä Suomessa että kansainvälisesti lähtemällä perustajajäseneksi vammaiskysymysten koordinaatioryhmään. • Myös maaohjelmointiohjeistuksen päivityksen yhteydessä selvitetään mahdollisuuksia sisällyttää ohjelmien tavoitteita tukevaa kansalaisjärjestöyhteistyötä sekä ihmisoikeusperustaista lähestymistapaa ja ihmisoikeustavoitteita. Opetussektorin sektoriohjelma- ja hankeyhteistyön keinoja käytetään monipuolisesti inklusiivisen koulutuksen kehittämiseen mm. tietojärjestelmiä kehittämällä, tasa-arvotavoitteita edistämällä (etenkin vammaisten oppilaiden osalta), erityistarpeita ja oppimisvaikeuksia selvittämällä ja oppimistuloksia seuraamalla. • Kansalaisjärjestöyhteistyötä kehitettäessä selvitetään mahdollisuuksia entistä täydentävämpään yhteistyöhön ihmisoikeusperustaisen lähesty- 8 E VA L U O I N T I KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 mistavan soveltamiseksi tilanteissa, joissa ulkoministeriön prioriteetit ja kansalaisjärjestöjenvahvuudet kohtaavat. Lisäksi hyödynnetään entistä systemaattisemmin asiantuntijoita. Lue lisää: Inklusiivinen koulutus Suomen kehitysyhteistyössä 2004–2013 Evaluointi Suomen humanitaarisesta miinatoiminnasta Humanitaarinen miinatoiminta on sekä kehitys- että humanitaarinen kysymys. Se muodostuu viidestä osa-alueesta, jotka ovat miinanraivaus, uhrien avustaminen, miinakieltosopimuksen noudattamisen edistäminen, miinavarastojen tuhoaminen sekä valistaminen miinoihin liittyvistä riskeistä. Humanitaarinen miinatoiminta perustuu Ottawan miinakieltosopimukseen. Humanitaarisen miinatoiminnan evaluoinnin mukaan Suomen toiminta on 25 vuoden aikana muuttunut alkuaikojen tarveharkintaisesta humanitaarisesta rahoituksesta mekaanisen miinanraivaustoiminnan kehittämisen kautta kansainvälisten miinatoimintajärjestöjen tueksi. Nykyinen tuki kanavoituu kokonaisuudessaan järjestöjen kautta. Vuosien 2002–2010 aikana Suomen humanitaarinen miinatoiminta oli melko sirpaloitunutta ja rahoitusta jaettiin pienissä erissä useisiin maihin. Tukea järkeistettiin vuonna 2010 solmimalla muutamia monivuotisia sopimuksia viiden järjestön kanssa. Tuki on pääasiassa kohdentunut Afganistaniin, Angolaan ja Kambodzhaan. Miinanraivaustyö ei yksinään takaa kehitystä, vaan sen lisäksi tarvitaan paljon muuta toimintaa. Humanitaarista miinatoimintaa on toteutettu ulkoministeriössä omana kokonaisuutenaan, erillään muusta kehitysyhteistyöstä. Se tulisikin linkittää selkeämmin muuhun kehitysyhteistyöhön ja esimerkiksi hauraiden valtioiden strategiaan. Evaluoinnin jälkeen humanitaarinen miinatoiminta päätettiin siirtää kehityspoliittiselta osastolta poliittisen osaston vastuulle, jotta sitä pystytään paremmin koordinoimaan muiden aseisiin liittyvien asioiden kanssa. Humanitaarinen miinatoiminta on muuttanut muotoaan 25 vuoden aikana Miinanraivaustyö ei yksinään takaa kehitystä, vaan sen lisäksi tarvitaan paljon muuta toimintaa Evaluoinnin perusteella päätettiin: • Vahvistaa humanitaarisen miinatoiminnan yhteyksiä hauraiden valtioiden toimintaohjelmaan. Poliittinen osasto koordinoi tiiviissä yhteistyössä alueosastojen ja kehityspoliittisen osaston kanssa. • Vähenevien määrärahojen tilanteessa keskitetään toimintaa hauraisiin maihin, joissa avun tarve on suuri ja joissa tuloksellisen toiminnan edellytykset täyttyvät: yhteistyöhallituksen omistajuus ja yhteistyövalmius, Suomen mahdollisuudet aktiivisesti seurata ja vaikuttaa toimintaympäristöön myös muun toiminnan kautta, toiminta täydentää muita Suomen tavoitteita, ml. turvallisuuspoliittiset tavoitteet. • Päätettiin myös hyödyntää Suomen vahvuuksia yhteistyöhankkeissa muiden ministeriöiden ja yksityisen sektorin kanssa. Yhteistyöjärjestöistä päätettäessä säilytetään tasapaino konkreettisen toimeenpanon ja normatiivisen toiminnan tuen välillä. Keskitytään järjestöihin, joissa Suomi voi erilaisin keinoin olla aktiivisesti vaikuttamassa tuloksellisuuden vahvistamiseen, esim. hyödyntämällä suomalaista asiantuntemusta. Kohdennetaan tuki toimintaan, jolla on selkeästi määritellyt tavoitteet, joka täydentää muuta toimintaa ja joka mahdollistaa kokonaisvaltaisen lähestymistavan. KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 E VA L U O I N T I 9 • Humanitaarisen miinatoiminnan alasajo Kambodzhassa ja Angolassa tehdään nykyisten sopimusten päättyessä vuonna 2015. Tulevissa hankkeissa otetaan huomioon exit-suunnittelu alusta lähtien. Mikäli kokonaisvaltainen lähestymistapa tai maan erityistarpeet niin vaativat, Suomi saattaa jatkossakin tukea uhrien avustusta. Lue lisää: Evaluointi Suomen humanitaarisesta miinatoiminnasta Meta-evaluointi hajautetuista hanke- ja ohjelmaevaluoinneista Hankkeissa saatu aikaan tuloksia, mutta pitkän aikavälin vaikutuksista on vain vähän tietoa Hanke- ja ohjelmaevaluointeja teettävät kehitysyhteistyöstä vastaavat yksiköt alueosastoilla sekä kehityspoliittisella osastolla. Näiden evaluointien laatua sekä kehitysyhteistyön tuloksellisuutta laajemmin arvioidaan metaevaluointien avulla, joita kehitysevaluoinnin yksikkö (EVA-11) teettää säännöllisesti vuoden tai kahden vuoden välein. Vuoden 2015 alussa valmistuneessa metaevaluoinnissa oli kaksi osaa: ensimmäisessä arvioitiin evaluointiraporttien laatua ja ulkoministeriön henkilöstön evaluointien hallinnon osaamista. Aineistona oli 57 evaluointia tehtävänkuvauksineen, jotka oli teetetty hankkeista vuosien 2012–2014 aikana. Ensimmäisen osan tuloksia käsiteltiin osittain jo viime vuoden vuosiraportissa, mutta toisen osan tulokset valmistuivat vasta vuoden 2015 puolella. Toisessa osassa analysoitiin, mitä kehitysyhteistyön laadusta ja tuloksista voi sanoa hankkeiden evaluointitulosten perusteella. Sitä varten aineistosta eroteltiin soveltuvat hyvälaatuiset hanke-evaluoinnit ja analysoitiin näiden tuloksia. Tarkastelu kehitysyhteistyön tuloksellisuudesta tehtiin pelkästään luotettavien ja OECD-DAC:n laatukriteerit täyttävien hanke-evaluointien pohjalta. Metaevaluointien kehitysyhteistyön tuloksellisuutta arvioiva osa suunniteltiin siten, että se nostaa kehitysyhteistyön onnistumisia ja haasteita keskusteluun aineistolähtöisesti. Evaluoinneista löytyi monia esimerkkejä siitä, miten hankkeet ovat vastanneet köyhien ihmisten tarpeisiin Arvioitujen evaluointiraporttien mukaan tarkoituksenmukaiset ja useimmiten myös tulokselliset hankkeet ovat Suomen vahvuus. Evaluoinneista löytyi monia esimerkkejä siitä, miten hankkeet ovat vastanneet köyhien ihmisten tarpeisiin: maataloustuotanto on lisääntynyt, terveyspalveluiden hinta kotitalouksille on alentunut, tulvien hallinta on kehittynyt, naisten kyky käynnistää pienyrityksiä on parantunut, metsätalouden kautta on syntynyt tuloja sekä ruokaturva, säästöohjelmat ja lukutaito ovat kehittyneet. Metaevaluoinnin mukaan yhteistyökumppanien rooli hankkeissa oli avaintekijä onnistumisessa. Hankkeet, jotka keskittyvät kumppanien omiin kehityspyrkimyksiin, menestyivät parhaiten. Myös toimivalla yhteistyöllä ja viestinnällä on tärkeä merkitys. Tehokkaimpia olivat sellaiset hankkeet, joissa kumppanien välinen yhteistyö oli toimivaa. Tehokkaille hankkeille on tyypillistä joustavuus ja kyky reagoida muuttuviin tilanteisiin, korjata toimintaa haasteiden mukaisesti sekä kohdentaa resursseja tarpeiden mukaan. Haasteita on kuitenkin edelleen hankkeiden tehokkuudessa ja tulosten kestävyydessä. Tehokkuutta heikensivät hankkeiden puutteellinen suunnittelu ja 10 E VA L U O I N T I KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 johtaminen. Hitaat hallinnolliset prosessit (esim. maksatukset tai hankinnat), prosessien venyminen asiantuntijoiden rekrytoinnissa, epäselvät roolit toteutuksessa ja ylimitoitetut tavoitteet tuottivat myös ongelmia. Hankkeiden kestävyyttä heikentää usein instituutioiden riittämätön kapasiteetti sekä taloudellisten resurssien vähyys hankkeen päättymisen jälkeen. Siten myös kestävyyden takuuna on vahva paikallinen omistajuus ja lähestymistapa, joka varmistaa tarvittavan kapasiteetin ja resurssien kehittymisen hankkeen aikana. Kehitysyhteistyön vaikuttavuuteen liittyvät arviot olivat vaihtelevia. Hankkeiden vaikuttavuutta laski osittain se, että joitain kehityspolitiikan osa-alueita tai linjauksia laiminlyötiin evaluoinneissa. Ulkoministeriö on teettänyt vain muutamia hankkeen päättymisen jälkeen tehtyjä arviointeja. Siten hankkeiden pitkän aikavälin tuloksista ja vaikutuksista on saatavilla vain rajoitetusti tietoa. Hankkeiden riskien hallinta todettiin heikoksi. Myös läpileikkaavien teemojen ja ihmisoikeusperustaisuuden huomioimisen osalta tulokset ovat vaihtelevia. Hankkeiden pitkän aikavälin tuloksista ja vaikutuksista on saatavilla vain rajoitetusti tietoa Meta-evaluoinnin tuloksien pohjalta päätettiin, että • Systematisoidaan ja vahvistetaan evaluointikapasiteetin kehittämistarpeiden kartoitusta. Syksyllä 2015 kartoitetaan erityisesti jatkokoulutustarpeita sekä johdon evaluointikoulutus- ja ohjeistustarpeita. Jatkossa koulutustarpeet kartoitetaan vuosittain evaluointisuunnitelmien keräämisen yhteydessä sekä osastoneuvonantajia konsultoiden. • Tarkastellaan vuodelle 2016 suunnitellussa evaluointikapasiteetin arvioinnissa sitä, miten evaluointien tuloksia käsitellään ja hyödynnetään erilaisissa hankkeissa. Evaluointitietojärjestelmä on kehitteillä ja se helpottaa olemassa olevan evaluointitiedon hakemista. • Päätettiin myös tehdä meta-evaluointeja vuosittain ja hyödynnetään niiden tuloksia tulosraportoinnissa. • Kokeillaan puitesopimuksia EVA-11:n hankinnoissa ja kannustetaan alueosastojakin kilpailuttamaan useita evaluointeja kerralla. Lisäksi päätettiin että ihmisoikeusperustaisuus sisällytetään kaikkiin tuleviin ohjeistoihin. Lue lisää: Meta-evaluointi hajautetuista hanke- ja ohjelmaevaluoinneista 2012–2014 ■■ Hanke-evaluointeja tehdään keskimäärin 30 kpl vuodessa eri osastoilla ■■ Metaevaluoinnin avulla voidaan arvioida evaluointien laatua sekä vetää kehitysyhteistyöhankkeiden tuloksia yhteen ■■ Metaevaluointeja tehdään vuoden tai kahden vuoden välein KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 E VA L U O I N T I 11 EVALUOINTITULOKSET KERTOVAT TOIMINNAN HAASTEISTA SEKÄ HAASTEELLISESTA TOIMINTAYMPÄRISTÖSTÄ Tässä luvussa pohditaan laajojen evaluointien tuloksia kokonaisuutena ja tehdään yhteenvetoa kehitysyhteistyön onnistumisista ja haasteista. Siinä nostetaan esille asioita, joita tämän vuoden evaluointitulosten perusteella on hyvä pohtia laajemmin. On kuitenkin hyvä huomata, että vuoden 2015 evaluointeja ei ole alun perin tehty yleistettäväksi koskemaan koko kehityspolitiikkaa ja -yhteistyötä, vaan ne ovat olleet rajattuja edellisessä luvussa mainittuihin aihepiireihin. Hakasuluissa on numeroviittaus evaluointeihin, joiden tarkemmat tiedot löytyvät lähdeluettelosta. Positiivisia tuloksia sekä mahdollisuuksia vieläkin parempaan Tulossuuntautuneilla maastrategioilla sekä monenkeskisillä vaikuttamissuunnitelmilla voidaan jatkossa edistää tulosperustaista toimintaa Suomen kehityspolitiikassa ja -yhteistyössä 12 E VA L U O I N T I Vuoden 2015 evaluoinnit tuovat esille useaan otteeseen tiettyjä kehitysyhteistyön osa-alueita, joissa Suomi onnistuu erityisen hyvin. Esimerkiksi Suomen kehityspolitiikan ja -yhteistyön yleiset tavoitteet, painopisteet ja yhteistyösektorit ovat tarkoituksenmukaisia ja perusteltuja [2; 5]. Myös kehityspoliittisissa ohjelmissa on osattu viestiä onnistuneesti ja vakuuttavasti Suomen kehityspolitiikan arvoista ja yleisistä johtavista periaatteista. Lisäksi viime vuosina on edistytty tulosperustaisessa hankkeiden ja ohjelmien suunnittelussa ja toteutuksessa. Tulossuuntautuneilla maastrategioilla sekä monenkeskisillä vaikuttamissuunnitelmilla voidaan jatkossa edistää tulosperustaista toimintaa Suomen kehityspolitiikassa ja -yhteistyössä. [1] Hyvää kumppanuutta ja vahvaa asiantuntemusta Evaluoidut hankkeet noudattivat suurimmaksi osaksi kumppanimaan omia kehitystavoitteita. Tarkoituksenmukaisten hankkeiden koettiin usein lieventävän keskeisiä alueellisia ja maakohtaisia riskitekijöitä, kuten luonnonkatastrofeja tai ilmastomuutoksista aiheutuvia vahinkoja. Ne kohdistuivat selkeiden ongelmakohtien kehittämiseen, kuten ihmisten toimintakyvyn ja kapasiteetin sekä terveydenhoidon rahoituksen parantamiseen. Hankkeissa pyrittiin vaikuttamaan haavoittuvien ihmisryhmien, kuten maaseudun köyhien sekä nuorten työttömien elämäntilanteisiin. [5] KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 Sekä maaohjelmatyöskentelyssä Keniassa että inklusiivisen koulutuksen tukemisessa Kosovossa, Etiopiassa ja Andien alueella Suomi on saavuttanut merkittävän roolin valitsemillaan toimintasektoreilla. Lisäksi Suomella on vahvaa asiantuntemusta kyseisiltä sektoreilta, ja se on panostanut työn pitkäjänteisyyteen ja jatkuvuuteen. Suomen edustustoissa työskentelee osaavia ja aktiivisia erityisasiantuntijoita. [2; 3] Ulkoministeriö on myös osannut valita tukensa kohteeksi kansainvälisiä kumppaneita, jotka suoriutuvat työstään hyvin. [4] Suomen edustustoissa työskentelee osaavia ja aktiivisia erityisasiantuntijoita Onnistumisia ihmisoikeusperustaisella lähestymistavalla Poliittinen vaikuttaminen ja työn aktiivinen koordinointi on lisännyt kehitysyhteistyön tuloksellisuutta sekä maaohjelmatyöskentelyssä että temaattisessa tuessa [2; 3]. Esimerkiksi inklusiivisessa koulutuksessa Suomen maakohtaisella tuella on ollut merkittävä vaikutus kumppanimaiden lainsäädännön sekä asenteiden muuttumisessa Kosovossa ja Etiopiassa. Suomi on onnistunut edistämään vammaisten henkilöiden oikeutta oppimiseen ihmisoikeusperustaisella lähestymistavalla ja saanut kansainvälisesti merkittävän ja jopa johtavan roolin työssään. Nykyisin useat Suomen tukemat maat tunnustavat erityistukea tarvitsevien lasten oikeuden koulutukseen. Hankkeet ovat vaikuttaneet ja muuttaneet monien hallintoviranomaisten, opettajien ja vanhempien asenteita positiivisemmiksi inklusiivista opetusta kohtaan. Haasteeksi jää kuitenkin näiden periaatteiden vieminen lasten ja koulujen arkeen ja oppimistuloksiin. [3] Poliittinen vaikuttaminen ja työn aktiivinen koordinointi on lisännyt kehitysyhteistyön tuloksellisuutta Jotkut hankkeet yhdistävät hyvin ihmisoikeusperustaisuutta ja koulutuksen tasa-arvoa. Esimerkiksi kaksikielisen ja monikulttuurisen opetuksen hanke (EIBAMAZ) toi uusia mahdollisuuksia jatkaa Amazonin ihmisten oikeuksien puolustamista osana opetuksen kehittämistä. Sen avulla myös luotiin uudistunutta identiteettiä sekä edistettiin itsetunnon ja monikulttuurisuuden tunnetta Amazonin yhteisöissä. Andien alueella koululuokkien viestintämalleissa tapahtui muutos ja alkuperäiskielten käyttö lisääntyi. [3] Yhteistyötä vahvistamalla voidaan saada aikaan vieläkin parempia tuloksia Vuoden 2015 kehitysevaluoinnit identifioivat usein myös sellaisia positiivisia saavutuksia, joita vahvistamalla voisi avautua uusia mahdollisuuksia saavuttaa entistä parempia tuloksia. Evaluointien suosituksissa usein kehotetaan esimerkiksi vahvistamaan viranomaisten välistä yhteistyötä, jos sillä on nähty olevan jo joitain positiivisia vaikutuksia. Humanitaarisen miinatoiminnan näkökulmasta yhteistyötä ja toiminnan johdonmukaisuutta ulkoasiainministeriön ja puolustusministeriön välillä tulisi kannustaa. Samoin yksityisen sektorin sekä niiden kansalaisjärjestöjen, joilla on ohjelmia aseiden ja ampumatarvikkeiden hävittämisestä, osallistumista tekniseen apuun pitäisi edistää ja jatkaa jo hyvin alkanutta yhteistyötä. [4] Paikallinen omistajuus on tärkeää hankkeiden kestävyyden vahvistamisessa. Onnistuneissa hankkeissa keskeisillä toimijoilla on vahva omistajuus ja heidän välillään vallitsee hyvä yhteistyö ja koordinaatio. Myös mukana olevien instituutioiden riittävä toimintakapasiteetti ja osaaminen ovat tärkeitä hankkeiden kestävyyden kannalta. [5] Paikallinen omistajuus on tärkeää hankkeiden kestävyyden vahvistamisessa Yhteistyön merkitys nousee esille myös tarkasteltaessa tuen määrää ja muita käytettävissä olevia resursseja. Vaikka Suomen työ inklusiivisen koulutuksen KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 E VA L U O I N T I 13 edistämisessä on ollut merkittävää, samalla on selvää, ettei Suomen resursseilla yksin saavuteta suurta vaikutusta erityistarpeisten lasten oppimistuloksiin. Tulevaisuudessa tulisikin hyödyntää nykyistä enemmän kumppanuuksia samanhenkisten rahoittajien kanssa uusien tukikanavien avautumiseksi inklusiiviselle koulutukselle maailmanlaajuisesti. [3] Pitkäjänteiseen ja johdonmukaiseen työhön tarvitaan pitkän aikavälin strategia Kehitysyhteistyö vaatii pitkäjänteistä suunnittelua ja toteutusta Suomen tilanteen vertailu muihin avunantajamaihin avaa usein uusia mahdollisuuksia. Yli puolessa OECD/DAC-jäsenmaista on voimassaoleva kehitysyhteistyölaki tai paikallisen parlamentin vahvistama politiikka. Parlamenttitason politiikkarakenteet mahdollistavat pitkän aikavälin tavoitteiden laatimisen ja luovat odotuksia tuloksista. Kehitysyhteistyö vaatii pitkäjänteistä suunnittelua ja toteutusta. Vertailumaiden ja -järjestöjen pitkän aikavälin politiikka- ja strategiset suunnitelmat voisivat tarjota hyödyllisiä malleja Suomelle siihen, kuinka tarvittava pitkäjänteisyys otetaan paremmin huomioon kehitysyhteistyön suunnittelussa ja toteutuksessa. [1] Maakohtaisissa evaluoinneissa Suomen toimintaa verrataan usein muihin avunantajamaiden toimintamalleihin sekä kumppanimaan omaan avunantajapolitiikkaan. Kenian evaluoinnissa suositeltiin, että nykyistä hankekokonaisuutta tulisi täydentää rahoittamalla suoraan Kenian hallituksen ohjelmia. Se näytti olevan erityisesti Kenian hallituksen asettama prioriteetti avunantajien toiminnalle. [2] Kaupallisen yhteistyön merkitys kasvaa Evaluointien maakohtaiset analyysit antavat kontekstia myös evaluointien suosituksille. Kaupallisen yhteistyön merkitys kasvaa esimerkiksi Keniassa. Toisaalta olisi mietittävä, miten markkinat ja yksityinen sektori voivat vähentää köyhyyttä ja eriarvoisuutta, jotka ovat vielä maan isoja haasteita. Evaluointi suosittelee, että Suomen uuden maaohjelman valmistelussa vuosille 2017–2020 konsultoitaisiin laajasti eri toimijoita Keniassa. Uuden maaohjelman keskeinen tavoite voisi olla siirtyminen perinteisestä kehitysyhteistyöstä muunlaiseen toimintaan kuten taloudelliseen yhteistyöhön. Kehitysyhteistyön tehokkuutta ja tuloksellisuutta voisi tulevaisuudessa parantaa toisilla yhteistyön toimeenpanotavoilla, uusilla kumppaneilla sekä maltillisemmalla budjetoinnilla. [2] Riskien hallintaa ja hallitsemattomia riskejä Ulkoministeriön, edustustojen, kansalaisjärjestöjen ja muiden hankkeiden toteuttajien tulisikin pyrkiä saavuttamaan tuloksia strategisesti toisiaan täydentäen ja luoda synergiaan eri instrumenttien välillä 14 E VA L U O I N T I Hyvin usein kehitysevaluoinnit identifioivat Suomen kehityspolitiikasta ja -yhteistyöstä myös haasteita, mahdollisia riskejä ja jopa uhkia, jotka kenties voitaisiin välttää tai korjata evaluointien suositusten mukaisilla toimenpiteillä. Vaikkei yhteistyön vahvistamista ja koordinaation merkitystä eri toimintojen ja toimijoiden välillä voi koskaan korostaa liikaa, usein näiden toteuttamiseen liittyy myös haasteita. Esimerkiksi vammaishankkeissa järjestelmällinen koordinaatio maatasolla eri apukanavien ja instrumenttien välillä on ollut vähäistä. Kansalaisjärjestöjen vammaishankkeet eivät ole systemaattisesti linjassa ministeriön strategisten suuntausten kanssa. Ulkoministeriön, edustustojen, kansalaisjärjestöjen ja muiden hankkeiden toteuttajien tulisikin pyrkiä saavuttamaan tuloksia strategisesti toisiaan täydentäen ja luoda synergiaan eri KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 instrumenttien välillä. [3] Myös humanitaarisen miinatoiminnan evaluointi osoitti selvästi, ettei miinanraivaustyö yksinään edistä kehitystä, vaan tarvitaan myös paljon muunlaista toimintaa. [4] Myös maatasolla on yhteistyön haasteita. Esimerkiksi Keniassa ei riitä, että jatketaan yhteistyötä jo identifioitujen toimijoiden kanssa, vaan Suomen tulisi tukea entistä vahvemmin eri hallintotasojen välistä yhteistyötä. Haasteita voidaan siis nähdä myös kumppanien keskinäisessä yhteistyössä, jossa Suomi on vain yksi toimija muiden rinnalla. [2] Tausta-analyyseihin pitäisi panostaa enemmän Pienelle toimijalle, kuten Suomelle, on tyypillistä laajempien taloudellisten ja poliittisten tausta-analyysien heikkous. Siitä voi koitua ongelmia toiminnan kontekstin muuttuessa. Esimerkiksi humanitaarisen miinatoiminnan (HMA) prioriteetit ovat muuttuneet globaalilla tasolla vuosien kuluessa. Myös ulkoministeriön ja sen kumppaneiden tulisi kehittää toimintaansa sekä pyrkiä HMAtoiminnan sosio-ekonomisten vaikutusten syvällisempään ja laajempaan mittaamiseen. Tämä edellyttäisi parempien kontekstianalyysien tekemistä. [4] Pienelle toimijalle, kuten Suomelle, on tyypillistä laajempien taloudellisten ja poliittisten taustaanalyysien heikkous Toiminta eri kulttuurisissa konteksteissa on haasteellista, jos tausta-analyysit ovat puutteellisia. Esimerkiksi EIBAMAZ-hankkeen tulosmittarit eivät huomioineet monikulttuurisen ja kaksikielisen opetuksen toteuttamiseen liittyviä lukemattomia esteitä. Selkeä polku alkuvaiheessa määriteltyjen kunnianhimoisten tavoitteiden saavuttamiseksi puuttui. [3] Myös ihmisoikeusperustaisuuden ja läpileikkaavien tavoitteiden toteutumiseksi ulkoministeriön pitäisi tehdä syvempiä tausta-analyyseja [2]. Metaevaluoinnissa nousi esiin, että noin puolessa evaluoituja hankkeita tehokasta toimeenpanoa haittasi epäsuotuisa poliittinen ympäristö. Myös heikon institutionaalisen kapasiteetin ja ihmisten osaamisen koettiin vaikeuttavan noin joka kolmannen hankkeen toteuttamista. Lisäksi viestinnän ja tiedon jakamisen ongelmat eri toimijoiden kesken olivat usein esteenä tavoitteiden toteutumiselle. [5] Hankkeiden vaikuttavuuteen ja erityisesti kestävyyteen vaikuttaa suuresti se, miten kehitysyhteistyö saa puolelleen paikallisen poliittisen tuen. Hankkeen saavuttamat tulokset voivat kääntyä sitä vastaan, jos ne koetaan poliittisena uhkana. Esimerkiksi inklusiivisen ja monikulttuurisen koulutuksen poliittisella tuella oli hyvä perusta Boliviassa, mutta se osoittautui hauraaksi Ecuadorissa. [3] Myös humanitaarisen miinatoiminnan evaluointi toteaa, että Suomen tulisi suhtautua varauksella niiden maiden tukemiseen, joissa hallitus vaikeuttaa toimintaa ja joilla itsellään olisi varoja toiminnan rahoittamiseksi. [4] Hankkeiden vaikuttavuuteen ja erityisesti kestävyyteen vaikuttaa suuresti se, miten kehitysyhteistyö saa puolelleen paikallisen poliittisen tuen Kehityspoliittisessa suunnittelussa, johtamisessa ja raportoinnissa on puutteita Haasteita on myös ulkoministeriön oman toiminnan kehittämisessä ja johtamisessa. Kehityspolitiikan laadinta- ja budjetointiprosessit tehdään edelleen suurelta osin erillään toisistaan. Heikkous nykyisessä ohjausrakenteessa on linkkien puuttuminen tulos- ja talousarviosuunnittelun välillä strategia- ja ohjelmatasolla. Tämä aiheuttaa ongelmia tulosperustaiselle johtamiselle ja toiminnalle. On vaikea sitoutua tuloksiin tietämättä, mitä resursseja on käytettävissä. [1] KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 E VA L U O I N T I 15 Riskien hallinta on osin puutteellista. Niitä ei aina oteta huomioon hankkeiden suunnittelussa. Kun riskeihin ei ole varauduttu etukäteen, toteutuessaan ne aiheuttavat usein viivästyksiä ja joissakin tapauksissa estävät hankkeiden tavoitteiden saavuttamisen. [5] Hankkeista ei myöskään tehdä juurikaan perusteellisempia etukäteisevaluointeja (ex-ante evaluations) vaan ainoastaan hankesuunnitelman toteutettavuusarviointeja (apraisals). Lisäksi laaturyhmältä puuttuu valmiuksia arvioida hankkeiden mahdollisuuksia tuottaa tehokkaasti kehitystuloksia. Laaturyhmän toiminta keskittyy yksittäisiin hankkeisiin, toistaiseksi laajempi näkökulma puuttuu. [1] Evaluoinnit ovat kiinnittäneet huomiota seurannan sekä siitä kertyvien tilastojen ja raporttien puutteellisuuteen kehityspolitiikan ja -yhteistyön eri tasoilla. Esimerkiksi luotettavat ja käyttäjäystävälliset tilastot vammaisia henkilöitä tukevista ohjelmista puuttuvat tai ovat osin puutteellisia niin maatasolla kuin hankkeissakin. [3] Useita tulostavoitemittareita ei ole systemaattisesti seurattu ja raportoitu. Hanke-evaluoinneissa on hyvin vähän tietoa siitä, miten hankkeet ovat saavuttaneet ylätason tavoitteita tai vaikutuksia. [5] Ulkoministeriön tietojärjestelmät eivät ole vielä riittäviä tulosten seurantaan ja raportointiin niin, että ne kattaisivat kaikki kehitysyhteistyön apukanavat ja instrumentit Ulkoministeriön tietojärjestelmät eivät ole vielä riittäviä tulosten seurantaan ja raportointiin niin, että ne kattaisivat kaikki kehitysyhteistyön apukanavat ja instrumentit. Vastuuyksiköiden keräämät tiedot eivät välity eteenpäin ulkoministeriössä. Kattavien tulossuuntautuneiden raporttien puute vaikeuttaa kehitysyhteistyön vaikutuksista raportointia eduskunnalle. Evaluoinnin mukaan aiempi tulosten raportointi on ollut hyvälaatuista, mutta sattumanvaraista, eikä se ole kattanut kaikkia avun kanavia. [1] On myös tärkeä havaita, että tulosjohtaminen onnistuu vain, jos poliittinen ohjaus ja siihen liittyvät rakenteet tukevat sitä. Kehityspoliittinen toimikunta (KPT) on periaatteessa ainoa politiikkatason elin, joka seuraa kehityspolitiikan toteutumista vuosittain ja raportoi siitä hallitukselle. KPT:n vaikutusvalta esimerkiksi politiikan johdonmukaisuustyössä on kuitenkin heikko, mikä johtuu osin sen rajoitetuista valtuuksista. Vaikka ulkoministeriö on toiminut aktiivisesti kehityspolitiikan johdonmukaisuuden edistämisessä kansainvälisellä tasolla, kotimaan politiikan johdonmukaisuus kärsii liian alhaisesta profiilista. Ministeriön edustajilla ei ole selkeitä valtuuksia tehdä asiaan liittyviä päätöksiä, joten strateginen lähestymistapa konkreettisine tavoitteineen ja resursseineen jää uupumaan. [1] Oppivaa ja tulosohjautunutta organisaatiokulttuuria on vahvistettava edelleen Eduskuntaa ja suomalaista yhteiskuntaa ei saisi jättää vaille selkeää kokonaiskuvaa siitä, onko alun perin asetetut tavoitteet saavutettu 16 E VA L U O I N T I Pitkäjänteinen kehityspolitiikka edellyttää poliittisten tavoitteiden lisäksi jatkuvuutta yli hallituskausien sekä järjestelmän kykyä oppia aikaisemmasta toiminnasta yhdessä muiden toimijoiden kanssa. Ohjelmien laadintaprosessissa pitäisikin kiinnittää huomiota aiempiin kokemuksiin ja tuloksiin sekä hyödyntää paremmin evaluointien tuloksia. Monien määrällisten tai laadullisten tavoitteiden osalta pitäisi käydä keskustelua siitä, miksi tavoitteita ei ole saavutettu. Eduskuntaa ja suomalaista yhteiskuntaa ei saisi jättää vaille selkeää kokonaiskuvaa siitä, onko alun perin asetetut tavoitteet saavutettu (tai saavutetaanko ne todennäköisesti tulevaisuudessa), ja siitä, edustaako tehty työ hyvää sosiaalista investointia. [1] KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 Yksi toistuvasti esille nouseva epäonnistuminen onkin se, ettei ulkoministeriö ole vielä pystynyt luomaan tulosjohtamiselle pohjautuvaa organisaatioympäristöä, vaikka useat evaluoinnit ovat siihen puuttuneet. Organisaatiokulttuuri on edelleen suurelta osin riskejä välttelevä. Kokeilun ja oppimisen sijaan se priorisoi ohjeiden täsmällistä noudattamista ja tulosvastuullisuutta. Tällainen julkiselle sektorille yleinen organisaatiokulttuuri on vakava este tehokkaalle tulosperustaiselle toiminnalle. [1] KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 E VA L U O I N T I 17 EVALUOINTIJÄRJESTELMÄKIN KAIPAA KEHITTÄMISTÄ Evaluointitiedolle olisi käyttöä kehitysyhteistyön kaikissa eri vaiheissa, myös ennen varsinaisen toiminnan aloittamista Evaluointi mielletään yleisesti prosessiksi, joka tapahtuu aikaisintaan toiminnan puolivälissä tai sen jälkeen. Evaluointitiedolle olisi käyttöä kehitysyhteistyön kaikissa eri vaiheissa, myös ennen varsinaisen toiminnan aloittamista. Perinteisesti hankesuunnittelusykliin on kuulunut hankeaihion etukäteisarvio (appraisal). Ulkoministeriössä on keskusteltu, tehdäänkö kehityspolitiikan suunnitteluvaiheessa riittävässä laajuudessa myös ennakkoarviointeja (ex-ante evaluations) politiikan mahdollisista vaikutuksista sekä toimivuudesta. Samantyyppisiä ennakkoarviointeja voisi tehdä myös eri rahoitusinstrumenteille. Ministeriö on kokeiluluonteisesti aloittanut kehittävän evaluoinnin yhteistyössä Teknologian ja innovaatioiden kehittämiskeskus Tekesin kanssa liittyen uuteen BEAM (Business with Impact) -kehitysinnovaatio-ohjelmaan. Kyseessä on uuden instrumentin kehittävä evaluointi (developmental evaluation), jossa tuodaan arviointitietoa BEAM-ohjelman ohjausryhmälle koko instrumentin elinkaaren ajan vuosina 2015–2019. Evaluointitiimi raportoi havainnoistaan, johtopäätöksistään ja suosituksistaan vuosittain, keskittyen ohjelman edistymisen kannalta keskeisiin kysymyksiin. Ulkoministeriössä hanke-evaluoinnit tehdään pääsääntöisesti hankkeen puolivälissä tai heti hankkeen päätyttyä. Tästä johtuen evaluointien on vaikeaa löytää todisteita kehitysyhteistyön vaikuttavuudesta evaluointihetkellä. Varsinaisia vaikuttavuusevaluointeja (impact evaluations, ex-post evaluations) ei Suomen kehitysyhteistyöstä ole tehty, joten vaikuttavuutta on vaikea arvioida evaluointien pohjalta. Vaikuttavuuden arviointiin tulee kiinnittää enemmän huomiota tulevaisuudessa. Evaluointikulttuuria voidaan kehittää keskustelun ja koulutuksen keinoin Evaluointikulttuurin kehittäminen on pitkäaikaista ja hitaasti etenevää työtä. Evaluointikulttuurin kehittäminen edellyttää uusien evaluointimuotojen kehittämisen lisäksi paljon avointa keskustelua sekä koulutusta. Evaluointikapasiteettia ja -kulttuuria edistääkseen kehitysevaluoinnin yksikkö toteuttaa vuosittain Helsingissä evaluoinnin peruskoulutusta ulkoministeriön ja edustustojen henkilöstölle, joka vastaa hanke-evaluointien hallinnoinnista. Kolmeen moduuliin jaettu koulutus keskittyy evaluoinnin peruskäsitteisiin ja periaatteisiin, evaluointiprosessin hallintaan sekä ihmisoikeusperustaiseen lähestymistapaan evaluoinneissa. Keväällä 2015 siihen osallistui ulkoministeriön henkilöstön lisäksi konsultteja ja kansalaisjärjestöjen edustajia. Osallistujat pitivät erityisen positiivisena sitä, että kurssilla pystyi jakamaan kokemuksia, näkemyksiä ja hyviä käytäntöjä eri organisaatioissa työskentelevien ihmisten kesken. Perinteinen lähiopetuksena pidetty koulutus saavuttaa vain ne, joilla on mahdollisuus osallistua koulutukseen tiettynä aikana tietyssä paikassa. Koulutuk- 18 E VA L U O I N T I KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 sen parempaa saavutettavuutta ajatellen kehitysevaluoinnin yksikkö järjesti syksyllä 2015 evaluoinnin peruskoulutuksen ensimmäistä kertaa verkkopohjaisena. Sisältö perustui aikaisemmin lähiopetuksena järjestettyihin kursseihin. Verkkopohjainen koulutus tarjoaa edustustoissa työskenteleville mahdollisuuden osallistua koulutukseen ja se soveltuu myös monen Helsingissä työskentelevän tarpeisiin. Ulkoministeriössä työtahti on usein kiireinen; kokouksia ja matkustamista on paljon. Videoluennot ja sähköiset oppimismateriaalit antavat joustavan mahdollisuuden oppimiseen silloin, kun se omaan aikatauluun sopii. Verkkopohjainen koulutus onkin osoittautunut uudenlaiseksi, tehokkaaksi tavaksi vastata kiireen ja kansainvälisyyden tuomiin haasteisiin. Tarkoituksena ei ole kokonaan luopua lähiopetuksesta Helsingissä, vaan täydentää sitä tärkeällä tavalla. Tulevaisuudessa evaluoinnin verkkokurssia voidaan tarjota myös sidosryhmille, kuten esimerkiksi kansalaisjärjestöjen edustajille ja konsulteille. Tulevaisuudessa evaluoinnin verkkokurssia voidaan tarjota myös sidosryhmille, kuten esimerkiksi kansalaisjärjestöjen edustajille ja konsulteille Kurssilla hyödynnettiin verkkopohjaisen oppimisalustan tarjoamia mahdollisuuksia ja yhdistettiin sekä yksilöllisen opiskelun että virtuaalisen ryhmätyöskentelyn menetelmiä. Lisäksi koulutuksessa järjestettiin kaksi virtuaalitapaamista, “webinaaria”, joiden aikana osanottajat tapasivat ja keskustelivat verkossa. Osallistujat antoivat hyvää palautetta kurssin sisällöstä ja työskentelytavoista. Suurimmat ongelmat liittyivät teknisiin haasteisiin, joita täytyy vielä kehittää seuraavia kursseja varten. Evaluointiosaamista vahvistetaan myös yhteistyömaissa Kehitysevaluointiyksikön tehtävänä on tukea evaluointikapasiteetin vahvistamista myös yhteistyömaissa. Lähestymistapana on jo useamman vuoden ajan ollut hakea kansainvälisiä yhteistyökumppaneita, joiden kanssa toimimalla voidaan Suomen rajallisilla resursseilla saada aikaan mahdollisimman suuria vaikutuksia. Tukea on kohdennettu sekä julkisen politiikan evaluoinnista vastaaville instituutioille että kansalaisyhteiskunnan toimijoille. Julkisen sektorin tuki toteutettiin jo kolmannen kerran yhteistyössä YK:n kehitysohjelman UNDP:n riippumattoman evaluointitoimiston kanssa kansallisen evaluointikapasiteetin vahvistamiseen tähtäävän konferenssin kautta. Konferenssissa käynnistettiin keskustelu siitä, mitä uusien kestävän kehityksen tavoitteiden evaluointi tarkoittaa julkiselle hallinnolle. Kansalaisyhteiskunnan evaluointikapasiteetin vahvistamisessa tärkein kanava on EvalPartners-aloite. Se kohdistaa tukeaan kansallisille evaluointiyhdistyksille ja samalla vaikuttaa suotuisan toimintaympäristön vahvistamiseksi yhteistyömaissa. EvalPartners-aloitteen merkittävin saavutus vuonna 2015 oli vuoden julistaminen kansainväliseksi evaluointivuodeksi. Vuoden aikana toteutetun konsultaation tuloksena sovittiin globaalista evaluointiagendasta vuosille 2016–2020. Lisäksi Suomi toimii aktiivisesti useissa kehitysevaluointiverkostoissa, joiden kautta jaetaan ja saadaan tietoa ajankohtaisista kehitysevaluoinnin haasteista ja niiden ratkaisuvaihtoehdoista. OECD/DAC:in evaluointiverkosto, Nordic+maiden verkosto ja EU:n kehitysevaluointipäälliköiden säännölliset tapaamiset olivat tärkeimpiä yhteistyöfoorumeita vuonna 2015. KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 Suomi toimii aktiivisesti useissa kehitysevaluointiverkostoissa E VA L U O I N T I 19 Evaluoinnit osana avointa kehityspolitiikkaa On pohdittava, miten vuosiraportti tai laajemmat koontiraportit evaluoinneista voitaisiin tuoda systemaattisemmin eduskunnan ulkoasiainvaliokunnan tiedoksi Avoin tiedotus evaluointien tuloksista on yksi kehitysevaluointia ohjaavista periaatteista. Kaikki valmistuvat evaluoinnit esitellään Helsingissä yleisölle avoimissa esittelytilaisuuksissa, joihin osallistuu laajasti asiantuntijoita niin julkishallinnosta, järjestöistä kuin muistakin toimijaryhmistä. Haasteena on edelleen, miten evaluointitiedon saisi tehokkaammin poliittisten päättäjien käyttöön. Kehitysevaluoinnin yksikkö on ottanut käytännöksi järjestää erityisen julkistamistilaisuuden evaluoinnin vuosiraportille yhdessä Kehityspoliittisen toimikunnan kanssa vuodesta 2015 lähtien. Lisäksi keskustellaan siitä, miten vuosiraportti tai laajemmat koontiraportit evaluoinneista voitaisiin tuo da systemaattisemmin eduskunnan ulkoasiainvaliokunnan tiedoksi. Toisena haasteena on ollut tavoittaa kumppanit Suomen yhteistyömaissa. Yhteistyökumppanit kuulevat liian harvoin työn lopullisista tuloksista evaluointitiimien poistuttua maasta kenttävaiheen jälkeen. Kehitysevaluoinnin yksikkö on ottanut systemaattisesti käyttöön myös webinaari-esitykset tuloksista viestittämisessä. Evaluointitiimit esittelevät evaluointien päätulokset tiiviissä verkkopohjaisissa seminaareissa, joihin voi osallistua oman tietokoneen kautta melkein mistäpäin maailmaa tahansa. Tallenteet webinaareista ovat kaikkien nähtävillä lopullisten evaluointiraporttien rinnalla ministeriön verkkosivuilla. Evaluointitiedon löytämistä helpotetaan Tarve helposti haettavaan evaluointitietoon on ilmeinen sekä ministeriön sisällä että sen ulkopuolella 20 E VA L U O I N T I Kehitysevaluoinnin tuottamat evaluointiraportit ovat evaluointinormin mukaisesti julkisia. Ne julkaistaan ulkoministeriön verkkosivuilla (osoitteessa formin. finland.fi -> Ministeriö ja edustustot -> Julkaisut -> Kehitysyhteistyön evaluointiraportit). Tällä hetkellä yksi keskeinen haaste on kuitenkin se, että tieto on vaikeasti löydettävissä silloin kun evaluointitietoa tarvitaan tiettyyn aiheeseen, rahoitusinstrumenttiin tai maanosaan liittyen. Perinteisessä muodossaan evaluointiraportit eivät palvele helppoa tiedon hankkimista eivätkä mahdollista evaluointitiedon ja vaikkapa rahoitustiedon yhdistelemistä keskenään. Tarve helposti haettavaan evaluointitietoon on ilmeinen sekä ministeriön sisällä että sen ulkopuolella. Kehitysevaluoinnin yksikkö on kehittämässä evaluointien tietokantaperustaista julkaisujärjestelmää siten, että tulevaisuudessa evaluointitietoa etsivä saisi tiiviissä muodossa tietoa haluamastaan aiheesta eri evaluointien raporteista sekä voisi yhdistellä tätä tietoa rahoitustietoihin, instrumenttitietoihin tai vaikkapa jonkun maan hanketietoihin. Tämän toivotaan lisäävän evaluointitiedon käytettävyyttä entisestään. Evaluointitiedon etsijä voisi edelleenkin tulostaa kustakin evaluoinnista oman julkaisunsa tai sisällyttää siihen vain ne kappaleet, joista on erityisesti kiinnostunut. Evaluoinnin julkaisujärjestelmää testataan tänä vuonna, joten ensi vuoden vuosiraportissa voimme kertoa lisää mm. järjestelmän käyttöön ottamisesta ja aikatauluista. KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 LÄHTEET 1. Palenberg, M., Katila, M., Bombart, D., Killian, B., Poutiainen, P. (2015). Evaluation on Finland’s Development Policy Programmes from a ResultsBased Management Point of View 2003–2013. (Evaluointi Suomen kehityspoliittisista toimenpideohjelmista tulosjohtamisen näkökulmasta 2003– 2013). Evaluointiraportti 2015:1. Ulkoministeriö, Helsinki. Luettavissa osoitteessa: http://formin.finland.fi/public/default.aspx?contentid=321838& nodeid=49728&contentlan=1&culture=fi-FI 2. Uusihakala, J., Caldecott, J., Killian, B., Wambui Njagi, J. (2015). Evaluation on Finland’s Development Cooperation with Kenya. (Evaluointi maaohjelmasta Keniassa). Evaluointiraportti 2015:2. Ulkoministeriö, Helsinki. Luettavissa osoitteessa: http://formin.finland.fi/public/default.aspx?conte ntid=321965&nodeid=49728&contentlan=1&culture=fi-FI 3. Nielsen, D. H., Prouty, R., Bennett, A., Venäläinen, R., Gashi, A., Castro, V., Pallais, D., Graham, N. (2015). Evaluation on Inclusive Education in Finland’s Development Cooperation 2004–2013. (Inklusiivinen koulutus Suomen kehitysyhteistyössä 2004–2013). Evaluointiraportit 2015:5 (a, b, c, d). Ulkoministeriö, Helsinki. Luettavisssa osoitteessa: http://formin.finland. fi/public/default.aspx?contentid=333687&nodeid=49728&contentlan=1&cu lture=fi-FI 4. Bennett, J., Millard, A. S., Kärkkäinen, K., Kan, V. (2015). Evaluation of Humanitarian Mine Action. (Evaluointi Suomen humanitaarisesta miinatoiminnasta 1991–2015). Evaluointiraportti 2015:6. Ulkoministeriö, Helsinki. Luettavissa osoitteessa: http://formin.finland.fi/public/default.aspx?co ntentid=335900&nodeid=49728&contentlan=1&culture=fi-FI 5. Cooney, G., Rojas, K., Arsenault, M., Babcock, K. (2015). Meta-Evaluation of Project and Programme Evaluations in 2012–2014. (Meta-evaluointi hajautetuista hanke- ja ohjelmaevaluoinneista 2012–2014). Evaluointiraportti 2015:3. Ulkoministeriö, Helsinki. Luettavissa osoitteessa: http:// formin.finland.fi/public/default.aspx?contentid=326264&nodeid=49728&co ntentlan=1&culture=fi-FI KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015 E VA L U O I N T I 21 KEHITYSEVALUOINNIN VUOSIRAPORTTI 2015
© Copyright 2024