Usein kysyttyä Sitran vaikuttavuuden arvioinnista

1 Miksi arvioinnit on tehty?

Arviointien tarkoituksena on ollut tuottaa Sitran omistajille laadukasta, luotettavaa ja riippumatonta tietoa toiminnan tuloksellisuudesta ja vaikuttavuudesta. Tämän lisäksi arvioinneista on saatu arvokasta tietoa Sitran toiminnan parantamiseen.

2 Miksi Sitraa on arvioitu juuri nyt?

Sitran toimintaa ja tuloksia seurataan, raportoidaan ja arvioidaan koko ajan.

Nyt arviointien tuloksia saatiin tärkeässä murroskohdassa: täsmennetty Sitra-laki tuli voimaan vuodenvaihteessa, Sitran roolia, tehtäviä ja resursointia pohtinut parlamentaarinen työryhmä luovutti työnsä maaliskuussa, ja Sitralle ollaan parhaillaan valitsemassa uutta yliasiamiestä nykyisen yliasiamiehen kauden päättyessä tammikuussa.

Kokoavan arvioinnin tekijät tekivät yhteistyötä valtiovarainministeriön nimittämän parlamentaarisen työryhmän kanssa. Arvioijat olivat työryhmän kuultavana ja arvioinnin väliraportti luovutettiin parlamentaariselle työryhmälle 14.3.2019. Parlamentaarisen työryhmän kannanotot on myös huomioitu arvioinnin loppuraportissa. Lisäksi parlamentaarisen työryhmän työn pohjalta Sitran hallintorakennetta koskeva lakimuutosehdotus on valmisteilla valtiovarainministeriössä.

3 Kuka arvioinnit on tilannut?

Sitran kokoavan arvioinnin on tilannut Sitran hallintoneuvosto, eli kansanedustajista muodostuva eduskunnan pankkivaltuusto. Vaikuttavuusarviointien tilaaja on ollut Sitran hallitus.

4 Kuka arvioinnit on tehnyt?

Kaikkien arviointien toteuttajat löytyvät Sitran verkkosivuilta. Sitran kokoavan arvioinnin on toteuttanut 4Front Oy:n, Owal Group Oy:n & Technopolis Group Ltd:n muodostama kokenut tiimi.

Arviointityö on kilpailutettu hankintalain mukaisesti avointa menettelyä käyttäen.

5 Miten vaikuttavuutta on arvioitu?

Sitran vaikuttavuuden arviointia on toteutettu ja kehitetty vuosien ajan. Nyt käytössä oleva vaikuttavuusarvioinnin lähestymistapa hyväksyttiin Sitran hallituksessa ja hallintoneuvostossa vuonna 2016.

Koska yhteiskunnalliset muutokset syntyvät tyypillisesti hitaasti, on arvioinneissa analysoitu Sitran toimintaa vuodesta 2011 vuoteen 2018 asti.

Vaikuttavuusarvioinnin lähtökohtana ovat Sitran visiosta johdetut vaikuttavuustavoitteet. Niiden toteutumista on arvioitu tavoite kerrallaan. Tämä on edellyttänyt arvioinneilta uudenlaista menetelmällistä otetta ja tarkoittanut siirtymää perinteisistä projekti- ja ohjelma-arvioinnista kohti kokonaisvaltaisempaa tarkastelua. Arvioinnin lähestymistapaa on kuvattu tarkemmin Katri Vatajan blogissa Miten arvioida tuloksia, joita ei voi mitata vain numeroina? sekä tieteellisessä artikkelissa Evaluating the Impact of a Futures-Oriented Organization.

Vaikuttavuusarvioinnit pureutuvat kolmeen kokonaisuuteen, joiden löydökset kokoava arviointi vetää yhteen:

1. Vaikuttavuustavoitteiden edistyminen yhteiskunnassa
2. Sitran kontribuutio
3. Strategisten valintojen onnistuminen

6 Millaisia menetelmiä arvioinnissa on käytetty?

Arvioinneissa on tehty haastatteluita ja asiantuntijatyöpajoja, ja niiden lisäksi on tehty ja hyödynnetty tutkimus- ja kirjallisuuskatsauksia, media- ja dokumenttianalyyseja sekä kyselyjä.

Arviointien analyysimenetelminä on käytetty mm. tapahtumapolkukuvauksia ja prosessien jäljittämistä, vaikuttavuusharavointia, tapaustutkimusta, ilmiökohtaista analyysia sekä systeemidynaamista mallinnusta.

7 Keitä arvioijat ovat työssä kuulleet?

Kussakin arvioinnissa arvioijat ovat tunnistaneet haastateltaviksi henkilöt, jotka ovat kytkeytyneet arvioinnin kohteena olevaan Sitran toimintaan. Lisäksi kussakin arvioinnissa on kerätty tietoa asiantuntijoilta, joilla on laaja-alaista näkemystä sisällöistä ja niiden kehityksestä. Kussakin arvioinnissa on myös haastateltu henkilöitä, jotka ovat tuoneet kansainvälistä näkökulmaa arvioitavaan toimintaan.

Arviointeihin haastatellut ja työpajoihin osallistuneet henkilöt on listattu arviointiraporttien liitteissä.

8 Arviointien haastatteluissa on paljon myös sitralaisia haastateltavia, miksi?

Arvioinnin luotettavuuden ja hyödynnettävyyden kannalta on olennaista, että arvioijilla on riittävä tietopohja toiminnan tavoitteista, tuotoksista ja tuloksista. Ulkoisen arvioinnin tehtävänä on ollut todentaa näyttöön pohjautuen Sitran työn tuloksia.

Erilaisten aineistojen ja tietolähteiden analyysi on keskeinen osa arviointiosaamista. Sitran arviointien kilpailutuksessa kriteerinä on ollut sisältöosaamisen lisäksi vaikuttavuusarvioinnin osaaminen ja kokemus. Arviointiosaamisen ja arvioinnin eettisten periaatteiden merkitystä arvioijan integriteetin ja arvioinnin laadun kannalta on kuvattu Suomen arviointiyhdistyksen sivuilla.

9 Millaisia suosituksia kokoava arviointi antaa?

Arvioinneilla haettiin myös konkreettisia suosituksia Sitran toiminnan kehittämiseen.

Kokoavan arvioinnin suosituksissa Sitraa mm. kannustetaan kehittämään oman toiminnan tehokkuutta sekä kustannustietoisuutta, vahvistamaan kansainvälistä ulottuvuutta sekä varmistamaan hankkeiden jatkuvuus panostamalla yhteistyöhön keskeisten kumppaneiden kanssa. Arviointi peräänkuuluttaa myös eduskuntayhteistyön tiivistämistä sekä Sitran riippumattomuuden perusedellytysten (asiapitoisuus, avoimuus, objektiivisuus, tasapuolisuus, jne.) täyttymistä ja säilymistä.

Kokoavan arvioinnin kymmenen suositusta löytyvät raportin sivulta 5 sekä raporttia koskevasta uutisesta. Jokainen vaikuttavuusarviointi antaa lisäksi omat johtopäätöksensä ja suosituksensa, ja nämä löytyvät kustakin raportista omana osionaan. Kaikki arviointiraportit löytyvät Sitra.fi:n Vaikuttavuuden arviointi -sivulta.

10 Mitä arvioinnin jälkeen tapahtuu?

Kokoavan arvioinnin tilaajalle, eli Sitran hallintoneuvostolle, arviointi toimii yhtenä pohjamateriaalina pohdittaessa Sitran tulevia kehitysvaihtoehtoja.

Arviointikokonaisuus tukee myös Sitran kehittämistä ja päivittäisen toiminnan parantamista. Sitra ja sitralaiset ovat saaneet jo arviointiprosessien aikana arvokasta palautetta työstä, ja vaikuttavuusarviointien tuloksia ja suosituksia on hyödynnetty sekä Sitran alkavien projektien valmistelussa sekä meneillään olevan työn kehittämisessä.

Kokoavan arvioinnin suosituksiin Sitran johto antoi tuoreeltaan kommenttinsa, ja ne löytyvät raportin sivulta 103 alkaen.