Sitran arvioinnin lähestymistapa

Johdanto Sitran vaikuttavuuden arviointiin

Sitra on kansallisesti ja kansainvälisesti vaikuttava, vastuullinen ja riippumaton tulevaisuustalo, joka toimii ajatushautomona, kokeilujen ja toimintamallien edistäjänä ja yhteistyön vauhdittajana. Eduskunnan alaisena rahastona tulevaisuustyömme rahoitetaan eduskunnalta aikoinaan saadun peruspääoman sijoitustuotoilla. Sitran kutsumuksena ja lakisääteisenä tehtävänä on rakentaa huomisen menestyvää Suomea. Työtämme ohjaa visio Suomesta, joka menestyy rakentamalla reilua, kestävää ja innostavaa tulevaisuutta ja jossa ihmiset voivat hyvin maapallon kantokyvyn rajoissa. Sitran strategia ohjaa sitä, millaista yhteiskunnallista vaikuttavuutta ja mitä muutoksia tavoitellaan. Reilun ja kestävän tulevaisuuden rakentaminen vaatii kokonaisvaltaisia, systeemisiä muutoksia, jotka syntyvät aina monien tekijöiden yhteisvaikutuksesta ja edellyttävät samanaikaisesta niin ajattelutapojen, toimintamallien kuin rakenteiden uudistamista.

Arvioinnilla (evaluation) tarkoitetaan jonkin toiminnan arvon tai ansion määrittämistä systemaattiseen tiedonkeruuseen, analyysiin ja kriteereihin perustuen. Sitran arviointitoiminnalla on vahvat perinteet – vanhimmat Sitran ulkoiset, riippumattomat arvioinnit löytyvät 1970-luvun alusta. Sitran arviointitoiminnan kehittäminen on vuosikymmenien varrella seurannut tiiviisti kotimaisen ja kansainvälisen arviointikehityksen ja -keskustelun pulsseja. Arvioinnin tehtävänä on ollut tuottaa luotettavaa, laadukasta ja riippumatonta tietoa tuloksista niin hallintoelimille kuin laajemmalle yleisölle, ja tukea Sitran strategista johtamista, toiminnan kehittämistä ja oppimista.

Sitran vaikuttavuusarviointia on viime vuosina kehitetty täydentämään Sitran muuta seurantaa ja tarkastusta. Vuonna 2016 hyväksyttiin lähestymistapa yhteiskunnallisen vaikuttavuuden arviointiin, vastineeksi laajenevalle keskustelulle vaikuttavuuden mittaamisen tärkeydestä, julkisten organisaatioiden tilivelvollisuudesta sekä päätöksenteon näyttöperustaisuudesta. Tässä kuvattu lähestymistapa päivittää vuoden 2016 arviointilähestymistapaa. Päivityksen perustana ovat aiemmista vaikuttavuusarvioinneista saadut tulokset ja opit, muutoksen tuulet kansainvälisellä arviointikentällä – mukaan lukien OECD/DAC kriteerien päivitykset 2019 sekä vuodesta 2020 vaikuttanut koronapandemia, jonka myötä myös arvioinnin rooli on alettu nähty laajalti uudessa valossa.

Sitran arvioinnin lähestymistapa tukee kehittämistyötä, jota on tehty strategisen johtamisen ja vaikuttavuusajattelun ja – käytäntöjen vahvistamiseksi. Tässä päivityksessä vaikuttavuuden arviointia lähestytään aiempaa kokonaisvaltaisemmin ja perustuen siihen havaintoon, että vaikuttavuuden johtamisen ja arvioinnin pohjaksi tarvitaan systemaattista tietoa ja analyysia koko vaikuttavuuden ketjusta (IOOI) – niin resursseista (Input), toiminnasta ja tuotoksista (Output), vaikutuksista (Outcome) ja pitkän aikavälin vaikuttavuudesta (Impact). Arvioinnin lähestymistavan tueksi on laadittu arvioinnin toimintatapalinjaus sekä keskipitkän aikavälin arviointisuunnitelma.

Arviointi ja vaikuttavuusarviointi murroksessa

Arvioinnin uudenlainen paradigma

Maailmanlaajuisten kestävän kehityksen tavoitteiden (SDGs) saavuttamiseen tai saavuttamattomuuteen (vrt. esim. koronan negatiivinen vaikutus em. kehitystavoitteisiin ja muut viheliäiset, kompleksiset ongelmat) kiteytyy myös arvioinnin uudenlainen paradigma, jossa korostuu arvioinnin muutosvoimaisuus ja arvioinnin dynaamisuus. Kansainvälisessä arviointikeskustelussa nähdään yhä enenevässä määrin, että arvioinnin tulisi olla osa tavoiteltua muutosta. Arvioitsijoiden tehtävänä on analysoida myös vähittäiset muutokset, tunnistaa asteittain muodostuvat ja isompaa muutosta ennakoivat vaikutukset. Arvioinnissa korostuu tarve arvioida etenkin muutoksen merkittävyyttä, koska kaikki muutokset eivät ole yhtä oleellisia tavoitellun yhteiskunnallisen kehityksen kannalta. Em. kansainväliseen keskusteluun liittyen, olennainen ero aiempaan vaikuttavuuden arviointiin on siinä, että muutoksen ja vaikutuksen tilastollinen merkittävyys ei enää pelkästään ole keskiössä (vrt. RCT arviointi), vaan arvioinnin on voitava tavoittaa myös epäsuorat vaikutukset, jotka voivat olla negatiivisia tai positiivisia. Sitran työ kokeilujen ja toimintamallien vauhdittajana korostaa tarvetta tunnistaa ja tavoittaa arvioinnin avulla kaikki tuotetut vaikutukset.

Arviointikriteerit

Sitran arviointi, erityisesti ulkoinen ja riippumaton vaikuttavuusarviointi, nojaa kansainvälisesti tunnustettuihin arviointistandardeihin, normeihin ja kriteereihin. Vuonna 2019 OECD:n kehitysapukomitea uudisti arviointikriteerejä, jolloin etenkin Impact-kriteeriä (vaikuttavuus) päivitettiin vastaamaan paremmin laajempaa näkemystä vaikuttavuudesta. Se viittaa vaikuttavuuteen nimenomaan syvällisenä ja merkittävänä, pitkän aikavälin yhteiskunnallisena muutoksena. Vaikuttavuuteen kuuluu oleellisesti myös tahattomien vaikutusten ja esimerkiksi negatiivisten vaikutusten arviointi.

Toinen merkittävä muutos OECD:n kriteereissä oli uuden coherence– kriteerin lisääminen (johdonmukaisuus). Kriteerin keskiössä on sekä sisäinen että ulkoinen johdonmukaisuus. Edellisessä tarkastellaan sitä, kuinka synergisesti organisaation eri sisäiset toiminnat tukevat vaikuttavuustavoitteita. Jälkimmäisessä keskiössä on johdonmukaisuus (lisäarvo, täydentävyys ja yhteensopivuus, kustannustehokkuus) muiden ulkoisten samalla sektorilla ja/tai saman ilmiön parissa toimivien organisaatioiden ja toimijoiden kanssa. Täydentävyys on myös Sitran toiminnassa keskeinen vaikuttavuuskriteeri, koska Sitra toimii systeemisten muutosten edistäjänä, innovoijana ja katalysaattorina aina yhteistyössä muiden toimijoiden kanssa. Tätä kuvaa hyvin käsite “Sitran mentävä aukko”, joka on viime vuosina vakiintunut Sitran puhekielessä jäsentämään strategisia valintoja ja toiminnan relevanssia suhteessa toimintaympäristöön.

Kansainvälisessä arviointikeskustelussa on lisääntyvästi kiinnitetty huomioita monimuotoisuuden, yhdenvertaisuuden ja inklusiivisuuden näkökulmien tärkeyteen arvioinnin normien ja standardien yhteydessä. Näillä arvoilla on keskeinen sija muutosvoimaisessa arvioinnissa.

Korona-pandemian vaikutus arvioinnin rooliin

Vuoden 2020 alusta pandemia on vaikuttanut kansainvälisiin arviointikäytäntöihin monella tapaa. Arviointimetodit, jotka pohjautuvat usein ensikäden tietolähteisiin, siirtyivät pandemian aikana pitkälti virtuaalisiin tiedonkeruun metodeihin, ja arviointituloksien reaaliaikaisuus ja oikea-aikaisuus nousivat keskeiseksi vaatimukseksi nopeasti muuttuvassa, ennenkokemattomassa koronaympäristössä. Etenkin tarve arviointimetodien joustavuudelle sai uudenlaisia ulottuvuuksia ja haastoi perinteiseksi ja usein jäykäksi koettuja lähestymistapoja. Myös arvioinnille tyypillinen ex-post lähestymistapa (arviointi toiminnan päättymisen jälkeen) on koettu enenevissä määrin irrelevantiksi, ja arvioinnissa on korostunut oppiminen ja eteenpäin suuntautuminen. Vaikka pandemia on korostanut sopeutumisvaateita, on taustalla jo pitkään kuplineita, myös Sitran arviointityössä tunnistettuja kehityskulkuja, jotka voivat pysyvämmin muokata ja uudelleen asemoida kansainvälistä arviointitoimintaa ja arvioinnin kehittämistä muutosvoimaisempaan (transformational) suuntaan.

Muutosvoimainen arviointi

Muutosvoimaisella arvioinnilla tarkoitetaan arvioinnin potentiaalia ymmärtää ja kirittää muutosta ja muutoksen tekemistä. Arvioinnilla on tärkeä rooli muutoksentekijänä, koska arviointien hyödyntäjiksi lukeutuvat yritykset, julkinen sektori, tutkimusyhteisöt sekä kansalaisyhteiskunta. Sitran rooli systeemisen muutoksen vauhdittajana edellyttää myös arvioinnilta muutosvoimaisuutta. Sitran vaikuttavuutta tulee enenevissä määrin arvioida muutoksen tasojen ja Sitran myötävaikuttamien vaikutusten kautta (ks. alla Sitran eri arviointitasot suhteessa strategiaan ja tavoitetasoihin). Kompleksisessa ja ns. postnormaalissa maailmassa muutosvoimaisuus haastaa perinteistä taaksepäin katsovaa arviointia. Tulevaisuuden ongelmia ratkaistaan yhä harvemmin vain menneeseen tietoon nojaamalla ja Sitran arviointi tähtääkin tasapainoon taaksepäin katsovan ja eteenpäin katsovan arvioinnin suhteen.

Arvioinnin on huomioitava toimintaympäristön kehityskulut ja muutosten systeeminen ja keskinäisriippuvainen luonne, jotta se voi tuottaa päätöksenteossa ja toiminnan ohjaamisessa hyödynnettävää tietoa (vrt. utilization-focused evaluation). Sitran arviointityössä ennakointitietoa ja tulevaisuusorientaatiota on tarkoituksenmukaista käyttää aiempaa tietoisemmin toimintaympäristön taustoitukseen sekä lähtötilakartoitukseen, muutostarinan kehittämiseen, arviointikehyksiin ja etenkin arviointien suosituksiin. Sitra on ollut jo pitkään kansainvälisestikin merkittävä tulevaisuustyön arvioinnin suunnannäyttäjä. Osallistumme kansainväliseen arviointikehitykseen ja -keskusteluun (mm. Association of Professional Futurists Evaluation Task Force 2021–2022) ja integroimme tulevaisuustyötä ja ennakointia yhä tiiviimmin osaksi muutosvoimaista projektisuunnittelua ja arviointia.

Kuva 1: Sitran arvioinnin muutosvoimaisuuden tekijät

Katsaus Sitran arviointitoiminnan kehitykseen ja oppeihin

Sitran arviointikokonaisuutta on toteutettu ja kehitetty sen perustamisesta lähtien. Vuodesta 2016 lähtien Sitra on siirtynyt kohti systemaattisempaa ulkoista ja riippumatonta vaikuttavuusarviointia. Tätä ennen arvioinnin pääpaino oli ohjelma- ja projektiarvioinnissa, säännöllisissä kokonaisarvioinneissa (2002; 2011) sekä sisäisessä tarkastuksessa ja itsearvioinnissa. Vuosina 2016–2021 Sitra on julkaissut seitsemän ulkoista vaikuttavuusarviointia keskeisiltä toiminta-alueista (ts. vaikuttavuustavoitteet), sekä vuonna 2019 kokoavan arvioinnin. Tämä arviointikokonaisuus osoittautui projektien suunnittelun ja johtamisen kannalta hyödylliseksi ja arviointien tuloksia ja suosituksia on hyödynnetty laajasti Sitran strategiatyössä sekä toimintatapojen kehittämisessä. Metodisesti vaikuttavuusarvioinnit pystyivät kuitenkin vain osittain nojaamaan systemaattiseen ja pitkäjänteiseen seurantatietoon, minkä vuoksi projektien tuloksellisuuden ja vaikutusten seuranta ja arviointi ei vielä optimaalisesti tukenut Sitra-tason yhteiskunnallisen vaikuttavuuden analyysia ja ulkoista arviointia. Tästä kumpusi tarve vahvistaa edelleen Sitran projektien ja tiimien työn arvioitavuutta (evaluability) ja sen kautta vaikuttavuuden arvioinnin metodista jykevyyttä (rigour). Myös parlamentaarinen työryhmä korosti 2019 lausunnossaan tarvetta systemaattiselle pohjalle Sitran arvioinneissa.

Arvioitavuus tarkoittaa toiminnan arvioitavuuden tarkastelua suhteessa siihen, kuinka uskottavasti ja luotettavasti arviointi voidaan toteuttaa. Suunnitteluvaiheessa arvioitavuustarkastelussa keskitytään yleensä muutostarinan (theory of change), kausaalisuhteiden (tuotos-vaikutus-vaikuttavuus-malli) tavoitteiden, mittareiden ja toteutussuunnitelman realistisuuteen ja toteutuskelpoisuuteen. Arvioitavuustarkastelu projektisyklin keski- ja loppupäässä kohdistuu usein jo varsinaisen arviointisuunnitelman viimeistelyyn. Tällöin tavoitteena on saada arvioinnin tuloksista ja suosituksista mahdollisimman relevantteja ja hyödyllisiä käyttäjänäkökulmasta ja arviointimenetelmistä kustannustehokkaampia, oikea-aikaisempia ja tarkoituksenmukaisia. Arvioitavuus edellyttää myös systemaattista tietopohjaa projektien koko elinkaaresta sekä selkeitä arviointikäytäntöjä. Arvioitavuuteen liittyy keskeisesti myös itsearviointivälineiden ja arvioivan ajattelun kehittäminen. Sitrassa arvioitavuutta tarkastellaan pääasiassa sisäisesti arviointitiimin ja asiantuntijoiden yhteistyönä, mutta kooltaan tai merkitykseltään suurempien, kompleksisempien projektien kohdalla se voidaan toteuttaa myös ulkoisena arviointina.

Arviointitiedon ja oppimisen vahvistaminen Sitrassa. Sitran arviointien tuloksia on hyödynnetty laajalti Sitran strategian ja projektisuunnittelun tukena ja on tarkoituksenmukaista edelleen laajentaa arviointitiedon jakamista ulkoisten sidosryhmien ja muiden arvioinnista kiinnostuneiden tahojen kanssa. Lisäksi arviointitietoa ja arvioinnista syntyviä oppeja voidaan systemaattisemmin käyttää sekä Sitran toiminnan jatkuvaan tehostamiseen että tulevaisuustiedon ja kompleksisten ilmiöiden ymmärtämiseen (sense-making).

Sitran strategiaohjautuvuus ja sen vaikutus toiminnan arviointiin

Sitran strategiassa määritellyt vaikuttavuustavoitteet kuvaavat, millaista yhteiskunnallista muutosta Sitra tavoittelee. Sitran strategisen johtamisen ja projektityön käytäntöjä on kehitetty vuosien 2020–2021 aikana siten, että vaikuttavuusajattelu ohjaa systemaattisesti yhteiskunnallisen muutoksen suunnittelua ja toteuttamista. Projektit muutosta kuvaavine vaikutustavoitteineen ja niihin kytkettävine mittareineen ja tiedonkeruineen suunnitellaan yhteisiä vaikuttavuustavoitteita tukeviksi. Näin muodostettava yhtenäinen pohja mahdollistaa Sitran arvioitavuuden ja jykevämmät arvioinnit niin vaikutusten kuin Sitran kokonaisvaikuttavuuden tasolla. Vaikuttavuuden arvioinnin näkökulmasta on epärealistista odottaa ulkoisilta, lyhytaikaisilta arviointitiimeiltä kokonaisvaltaista ja syvällistä analyysia pelkästään jälkikäteen tehtävään tiedonkeruuseen ja analyysiin pohjautuen.

Sitran strategia ja sitä tukeva IOOI- tavoitemalli (kuva 2) ohjaavat arviointikehyksiä ja – kysymyksiä. Arvioinnissa kiinnostuksen kohteena on tuotettu vaikuttavuus ja vaikutukset sekä Sitran rooli ja kontribuutio muutosten tuottamisessa. Sitran arviointikäytännöt kattavat vaikuttavuusmallin kaikki tasot (ks. kuva 2), joita seuraavassa avataan lyhyesti. Arviointikysymysten laatimista eri tasoilla ohjaa (mutta ei rajaa) OECD:n arviointikriteereissä linjatut keskeiset kysymykset.

Kuva 2: Sitran arviointitoiminta suhteessa vaikuttavuusmalliin.

Vaikuttavuusarviointi (impact evaluation)

Vaikuttavuusarvioinnin lähtökohtana ovat Sitran vaikuttavuustavoitteet. Ne kuvaavat laajoja, pitkällä aikajänteellä yhteiskunnassa toivottavia muutoksia. Muutokset ovat luonteeltaan systeemisiä ja syntyvät tyypillisesti useiden eri toimijoiden ja toimenpiteiden toimesta. Systeeminen muutos on harvoin lineaarinen, etukäteen ennustettava ja täysin kenenkään toimijan kontrolloitavissa. Vaikuttavuusarvioinnissa korostuu tarve lähestymistavoille ja menetelmille, jotka ovat vuorovaikutteisia, joustavia ja toimintaympäristön ja toiminnan kytkeytyneisyyden huomioon ottavia. Vaikuttavuusarviointi nojaa laajalti monimenetelmällisyysteen, jossa Sitran kontribuutiota vaikuttavuustavoitteisiin todennetaan IOOI-mallin kautta. Sitran vaikuttavuusarviointia on kuvattu tarkemmin vuoden 2016 vaikuttavuusarvioinnin lähestymistavassa.

Vaikutusarviointi (outcome evaluation)

Vaikutusten arviointi keskittyy siihen, miten vaikutustavoitteiden (outcomes) saavuttamisessa on edistytty tarkasteltavana ajanjaksolla – onko projekti/toiminta tuottanut halutut tulokset? Millaisia ei-tavoiteltuja, positiivisia tai negatiivisia vaikutuksia on syntynyt? Nämä kysymyksenasettelut osaltaan vastaavat tilivelvollisuuden ja tulosvastuullisuuden vaatimuksiin. Sitran projekteissa ja jatkuvan toiminnan tiimeissä on mahdollisimman tarkasti määritellyt vaikutustavoitteet, jotka kuvaavat millaisiin konkreettisiin muutoksiin toiminnalla pyritään. Vaikutustavoitteille asetetaan muutosta todentavat mittarit. Sitran yhteiskunnallisen vaikuttavuuden arvioinnin kannalta on oleellista ymmärtää ja todentaa, millaisten vaikutusten myötä Sitra edistää systeemisiä muutoksia ja millaista näyttöä on Sitran myötävaikutuksista ja merkityksestä (kontribuutio) muutoksen isoon kuvaan. Vaikutusarviointi nojaa metodisesti esimerkiksi kontribuutioanalyysiin, erilaisiin tilasto-/koe-asetelmiin, vaikutusharavointiin (outcome harvesting) sekä vaikutuskartoitukseen (outcome mapping). Sitrassa vaikutustason arviointia tehdään ennen kaikkea projekteissa ja osana vaikuttavuusarviointia.

Prosessi (process evaluation) ja kehittävä arviointi (developmental evaluation)

Prosessiarviointi auttaa ymmärtämään paremmin, miten interventio toimii, eli arvioinnin keskiössä eivät ole niinkään lopputulokset vaan tuloksellisuuteen johtavat prosessit. Usein tarkastelun kohteena on panos- tuotos- suhde, mutta prosessiarviointia voidaan hyödyntää myös vaikuttavuusarvioinnin tueksi lisäämään ymmärrystä vaikutusten synnystä. Prosessiarviointi on lähellä kehittävän arvioinnin lähestymistapaa siinä suhteessa, että arviointia ohjaa enemmän oppimisen periaate kuin varsinaiseen tilivelvollisuustarkasteluun. Prosessiarviointia tehdään silloin, kun halutaan ymmärtää paremmin, miten toimintaa voidaan kehittää tuloksellisemmaksi tai ymmärtää, miten tulokset ovat syntyneet.

Kehittävä arviointi tulee lähelle prosessiarviointia, mutta sen lähtökohtana on edellistä selkeämmin oppiminen – arviointiprosessi jo itsessään pyrkii kehittämään toimintaa ja edistämään oppimista. Siten arviointiprosessi on osa muutosvoimaa ja kytkeytyy läheisesti muutoksen tekemiseen. Kehittävä arviointi sopii hyvin ennalta tuntemattoman, kompleksisen toimintaympäristön ja arviointikohteen osallistavaan arviointiin, jossa joustavuus ja tulosten nopeat, jopa reaaliaikaiset takaisinkytkennät korostuvat. Sitrassa kehittävän arvioinnin lähestymistapaa sovelletaan kattavasti ja läpileikkaavasti sekä prosessien arvioinnissa että vaikuttavuusarvioinnissa.

Sitran arviointia ohjaavia periaatteita

Sitran tavoitteena on olla vaikuttavuuden arvioinnin suunnannäyttäjä kansallisella ja kansainvälisellä tasolla. Sitran arviointia kaikilla tasoilla ohjaavat seuraavat periaatteet:

Vaikuttavuuden ja vaikutusten aikajänne ja arvioinnin oikea-aikaisuus: Sitra toimii tyypillisesti yhteiskunnallisen muutoksen alkuvaiheessa, muutoksen käynnistäjänä ja kirittäjänä. Siksi arvioinnissa tulee huomioida aikajänne, jolla vaikutukset ja vaikuttavuus syntyvät, sekä muutoksen kypsyystasojen tunnistamisen että arvioinnin oikea-aikaisuuden näkökulmasta. Oikea-aikaisuus vaihtelee toiminnasta ja kontekstista riippuen, mutta yleisesti ottaen merkittävämmille yhteiskunnallisille, systeemisille muutoksille on tyypillistä hitaus. Sitran toiminnan tulevaisuusorientaatio haastaa arviointia paitsi aikajänteen, myös jo aiemmin kuvatun muutosvoimaisuuden näkökulmasta.

Kontribuutio, kontekstuaalisuus ja johdonmukaisuus: Arvioinnin lähtökohtana on, että Sitran tavoittelemat vaikutukset ja vaikuttavuus, joka ilmenee systeemisenä muutoksena, syntyy useiden tekijöiden ja toimijoiden yhteisvaikutuksesta. Systeemiset muutokset ovat luonteeltaan kompleksisia, mikä haastaa perinteisten tieteellisten mittausasetelmien luotettavuutta ja siten hyödynnettävyyttä. Siten Sitran kaltaisen toimijan nettovaikuttavuutta, attribuutiota, on mahdotonta tarkoin määrittää tai mitata määrällisesti. Arvioinnissa on olennaisempaa analysoida, mikä on Sitran kontribuutio, vipuvaikutus ja lisäarvo, missä toiminnassa Sitran kannattaa olla mukana, missä vaiheessa ja kuinka pitkään (vrt, arviointikriteeri coherence). Arviointimenetelmien on tavoitettava muutokset (outcomes & impacts), jotka ovat harvoin lineaarisia, tarkoin etukäteen ennustettavia ja kontrolloitavissa, tai eristettävissä yksittäisiin syihin, mikä on huomioitava arviointimenetelmissä. Vaikuttavuuden arviointi edellyttää tietoa kontekstista ja toimijoiden verkostosta, jossa Sitra toimii ja jossa vaikutukset ja laajempi vaikuttavuus syntyvät.

Oppimisen ja tilivelvollisuuden tasapaino: Arvioinnin tulee tukea toiminnan kehittämistä ja kehittymistä sekä uudenlaisten ajattelu- ja toimintatapojen kokeilemista. Sitran arviointi tukee tilivelvollisuutta ja tulosvastuullisuuta, jotka yhdessä oppimisen kanssa tukee Sitran arviointitoiminnan muutosvoimaisuutta. Innovatiivisiin ratkaisuihin ja kokeiluihin liittyy aina riskinottoa, ja lopputuloksen määritteleminen tarkasti etukäteen on harvoin mahdollista tai tarkoituksenmukaista (vrt. perinteinen vaikuttavuusarviointi), mutta kehittävällä arvioinnilla pystytään vaikuttamaan lopputulokseen ja vaikutustavoitteissa onnistumiseen.

Avoimuus ja läpinäkyvyys: Julkisena organisaationa Sitra on jo lähtökohtaisesti sitoutunut arviointimetodien ja -tulosten laajaan avoimuuteen ja läpinäkyvyyteen, myös jakamiseen ja julkaisemiseen, kuitenkin eettisiä periaatteita noudattaen. Sitra edistää toiminnallaan suomalaisen arviointikentän ja -toimintakulttuurin kehittymistä sekä tieteen ja tutkimusdatan avoimuutta ja siihen liittyviä hyviä käytänteitä. Toimintatapalinjauksen mukaisesti Sitran kaikki vaikuttavuus-, strategia- ja projektitason arvioinnit tulee olla julkaisukelpoisia (täyttäen arvioinnin laatustandardit ja -kriteerit) ja ne julkaistaan oikea-aikaisesti.

Menetelmällinen tarkoituksenmukaisuus: Arviointimenetelmiä on yleisesti kritisoitu metodologisesta jähmettyneisyydestä.  Arvioinnissa on hyödynnettävä parhaita mahdollisia menetelmiä, joilla arviointikysymyksiin voidaan vastata luotettavalla tavalla (rigour). Arviointilähestymistavan ja -metodien on oltava riittävän joustavia, jotta ne vastaavat arvioitavan toiminnan ja toimintaympäristön muutoksiin (ks. aiemmat periaatteet). Arviointimetodien tulee myös pohjautua riittävän laajaan ja monipuoliseen otokseen, jotta voidaan varmistaa riittävän edustava ja luotettava data arviointianalyysin tuottamiseen. Systeemeillä voi olla monia kehittymissuuntia, joita myös arvioinnissa on pystyttävä tunnistamaan ja ennakoimaan. Kannustamme myös jatkossa arvioitsijoita metodologisiin innovaatioihin uudenlaisiin arviointitarpeisiin vastaamiseksi ja Sitra pyrkii myös itse jatkuvasti luomaan uusia metodisia lähestymistapoja ja rikastuttamaan arviointivälineitä jykevämmän arviointitiedon tuottamiseksi. Esimerkiksi uudet massadataan pohjautuvat tiedonkeruumenetelmät taikka digitaalisten kanavien kautta toteutettavat kansalaiskyselyt mahdollistavat moninaisemman, kustannustehokkaan metodisen lähestymistavan vaikutusten ja vaikuttavuuden arviointiin.

Kiitokset

Haluamme kiittää kaikkia arvioinnin lähestymistapaa kommentoineita: Thomas Archibald, Henrik Brinkmann, Stefano D’Errico, Annette L Gardner, Hallie Preskill ja Petri Uusikylä. Näkemyksenne ovat olleet erittäin tärkeitä lähestymistavan kehittämisessä.

Viittausohje

Viittausohje: Thompson Coon, R, Vataja, K, ja Parkkonen, P. (2021) Sitran arvioinnin lähestymistapa

Lähteet

Halme, Kimmo, Oosi, Olli & Warta, Katharina. 2019. Ajatushautomo, kokeilupaja ja yhteistyöalusta. Sitran kokoava arviointi. Sitran selvityksiä 157. (pdf)

Kania, John., Kramer, Mark. & Senge, Peter. 2018. The Water of Systems Change. FSG. (pdf)

OECD/DAC Network on Development Evaluation. 2019. Better Criteria for Better Evaluation .Revised Evaluation Criteria Definitions and Principles for Use.(pdf)

Ofir, Zenda. 2020. COVID-19, Part 3. Adapting.Evaluation for Transformation. (verkkosivu)

Patton, Michael Quinn. 2020. Evaluation Criteria for Evaluating Transformation: Implications for the Coronavirus Pandemic and the Global Climate Emergency. American Journal of Evaluation, 42 (1), 53–89.

Patton, Michael Quinn. 2019. Blue Marble Evaluation.Premises and Principles. The Guilford Press, New York.

Shallowe, Adanna, Szymczyk, Aleksandra, Firebrace, Ella, Burbidge, Ian & Morrison, James. 2020. A stitch in time? Realising the value of futures and foresight. RSA. (pdf)

UNEG. 2016. Norms and Standards for Evaluation. (verkkosivu)

Van den Berg, Rob D., Magro, Christina & Salinas Mulder, Silvia (eds.). 2019. Evaluation for Transformational Change. Opportunities and challenges for the Sustainable Develop­ment Goal. IDEAS, Exeter. (pdf)

Van den Berg, Rob D., Magro, Cristina & Adrien, Marie-Hélène (eds.). 2021. Transformational Evaluation for the Global Crises of Our Times. IDEAS, Exeter.

Vataja, Katri, Dufva, Mikko & Parkkonen, Pinja. 2019. ”Evaluating the Impact of a Futures-Oriented Organization”. World Futures Review, 11 (4), 320–339.

Vataja, K.(2016). Vaikuttavuusarvioinnin lähestymistapa. Sitra.

VM. 2019. Parlamentaarisen Sitra-työryhmän loppuraportti. Valtiovarainministeriön julkaisuja 2019:29. (pdf)