Ennustevirheet : mitä ne meistä kertovat ja mitä voimme niistä oppia?
Vanhatalo, Juha (2021)
Vanhatalo, Juha
Johtamisen ja sotilaspedagogiikan laitos
Johtaminen
Yleisesikuntaupseerikurssin opiskelijan diplomityö
Yleisesikuntaupseerikurssi 60
2021
Teos on tarkoitettu opetus- ja tutkimus- sekä yksityiseen käyttöön voimassa olevien tekijänoikeuslain säädösten mukaan. Teoksen kaupallinen hyödyntäminen on kielletty
Julkinen
Julkinen
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2021110353547
https://urn.fi/URN:NBN:fi-fe2021110353547
Tiivistelmä
Tässä tutkimustyössä analysoitiin Rajavartiolaitoksen toiminnan ja talouden suunnittelua varten laadittujen ennusteiden virheitä. Ennustevirheiden tilastollisen analyysin avulla etsittiin virheistä systematiikkaa ja toistuvuutta, joiden avulla pyrittiin havaitsemaan merkkejä heuristisen ajattelun ja kognitiivisten vääristymien vaikutuksesta ennusteiden laadintaan. Tutkimusta varten saatiin käyttöön aiemmin hyödyntämätön aineisto Rajavartiolaitoksen suoritteista vuosilta 2006‒2016 sekä suoritemääriä koskevista, vuosina 2009‒2014 laadituista ennusteista.
Teoria heuristisesta ajattelusta ja kognitiivisista vääristymistä perustuu käsitykseen siitä, että iso osa ihmisen ajattelusta on nopeaa, kontrolloimatonta intuitiota. Osa ongelmanratkaisusta ihmisen aivoissa tapahtuu nopeasti, yksinkertaistamalla ratkaistavaa ongelmaa ja soveltamalla yksinkertaisia nyrkkisääntöjä. Tätä kutsutaan heuristiseksi ajatteluksi eli heuristiikaksi. Heuristinen ajattelu aiheuttaa ajatusvirheitä, joiden on havaittu toistuvan hyvin samankaltaisina koehenkilöiden iästä, älykkyydestä ja koulutustasosta riippumatta. Koska heuristinen ajattelu ja sen mukanaan tuomat toistuvat virheet ovat kaikille ihmisille yhteisiä, teorialla on relevantteja ja mielenkiintoisia implikaatioita tutkittaessa päätöksenteon ja johtamisen psykologiaa.
Se, voidaanko heuristisen ajattelun vaikutuksia havaita monen ihmisen yhteistyönä syntyneissä arvioissa ja päätöksissä, on avoinna oleva empiirinen kysymys, eikä asiaa ole turvallisuusviranomaisten toiminnassa aiemmin tutkittu. Siksi aihealueen tutkimus Rajavartiolaitoksessa on luontevaa aloittaa numeerisista ennusteista, joiden virheet ovat objektiivisesti todettavissa ja mitattavissa. Kognitiivisen psykologian piirissä ilmiötä on pääasiassa tutkittu tutkimuksia varten järjestetyissä testiolosuhteissa. Tämän vuoksi on myös tieteellisestä näkökulmasta arvokasta saada käyttöön aineisto, joka koostuu ihmisten todellisissa työtehtävissään tekemistä ennusteista.
Virheellä tarkoitetaan tässä tutkimustyössä ennusteen ja toteuman välistä erotusta. Hyvissäkin ennusteissa on väistämättä virhettä, koska tulevaisuutta koskevaa faktatietoa ei ole. Ennusteiden virheitä aiheuttavat monet eri tekijät, joista suurinta osaa ei käsitellä tässä tutkimuksessa. Tavoitteena oli tuottaa tietoa siitä, voidaanko heuristisella ajattelulla ylipäätään osoittaa olevan merkitystä turvallisuusviranomaisten todellisessa päätöksenteossa. Koska virheiden syitä on monia, tarvitaan suuri otoskoko, jotta heikot signaalit voitaisiin erottaa monien, eri suuntaisten virhemekanismien joukosta.
Tutkimuksessa havaittiin, että noin puolia ennusteista ei ollut muutettu verrattuna samasta asiasta aiemmin laadittuun ennusteeseen. Se, oliko ennustetta muutettu aiempaan verrattuna, ei ollut merkitsevästi yhteydessä sen kanssa, kuinka virheellisiä aiemmille vuosille tehdyt ennusteet olivat olleet. Samaa vuotta koskevat ennusteet olivat tarkempia kuin pitemmälle aikavälille laaditut. 1‒4 vuoden päähän tehtyjen ennusteiden välillä ei ollut merkitseviä eroja ennustetarkkuudessa.
Hallintoyksiköiden välillä oli ennustevirheissä vuodesta toiseen samankaltaisena toistuvia eroja, vaikka eri hallintoyksiköiden ennusteet oli tarkastettu ja hyväksytty samassa yläjohtoportaassa, ja tieto aiempien vuosien ennusteiden virheistä olisi ollut ennusteiden laatijoiden käytettävissä. Ennusteita oli muutettu vähemmän alas- kuin ylöspäin. Toteuman laskuun oli reagoitu (ennustetta muuttamalla) harvemmin ja vähemmän kuin toteuman kasvuun: Toteuman kasvuun reagoiminen muuttamalla ennustetta ylöspäin oli merkitsevästi todennäköisempää kuin toteuman laskuun reagoiminen muuttamalla ennustetta alaspäin. Ennusteisiin tehdyt tarkistukset olivat myös kooltaan pienempiä silloin, jos toteumassa oli laskeva trendi.
Virheet aiempien vuosien ennusteissa ennustivat seuraavien vuosien ennustevirheitä lähes yhden suhde yhteen. Toisin sanoen, jos ennuste oli virheellinen, seuraavan vuoden ennusteessa samasta asiasta oli odotusarvoisesti samankokoinen ja -suuntainen virhe. Yksinkertaisen tilastollisen ennusteen (kolmen edellisen vuoden toteumien keskiarvo) virhe olisi ollut koko aineistossa keskimäärin 4.9 prosenttiyksikköä pienempi kuin aineistona olleiden asiantuntijoiden tekemien ennusteiden.
Asiantuntijaennusteet olivat (suhteessa tilastolliseen ennusteeseen) sitä parempia, mitä suurempi oli kyseisen tulosrivin suoritteiden lukumäärä, ja mitä suurempi oli kyseiselle suoritteelle tuloksellisuuden laskennassa annettu painokerroin. Lisäksi saatiin viitteellistä näyttöä siitä, että asiantuntijaennusteet olisivat olleet keskimäärin yhtä tarkkoja kuin tilastolliset ennusteet, jos aiempien vuosien ennusteiden virheitä ei olisi toistettu.
Tutkimustuloksia voidaan pitää ainakin viitteellisenä näyttönä heuristisen ajattelun vaikutuksista ennusteiden laatimiseen. Aihealueen kirjallisuudessa kuvataan kiinnittyminen aiempiin lukuihin ja reagoimattomuus huonoon ennustettavuuteen. Kirjallisuudessa kuvataan myös, ettei ihminen osaa siirtyä kohti regressiivisempää ennustetta, vaikka ennustetarkkuus heikentyisi, ja että ihminen ottaa helpommin vastaan informaatiota, joka sopii yhteen hänen omien ennakkokäsitystensä kanssa. Näiltä osin tutkimuksen empiiriset havainnot olivat yhdensuuntaisia sen kanssa, mitä teorian perusteella voitiin olettaa.
Valitulla tutkimusmenetelmällä ja -aineistolla ei voida saada tosiasiatietoa havaittujen korrelaatioiden syistä. Vaikka tutkimustulokset ja teorian perusteella tehdyt oletukset eivät ole ristiriidassa, kausaalista suhdetta ennustevirheiden systematiikan ja heuristisen ajattelun välillä ei voida tässä työssä miltään osin todistaa. Regressiomallien selitysasteet olivat hyvin matalia, eli havaitut korrelaatiot selittivät ennustevirheistä vain hyvin pienen osan.
Tutkimustyöllä tuotettiin Rajavartiolaitokselle kattava analyysi ennustevirheistä, joita ei ollut aikaisemmin systemaattisesti tarkasteltu. Tutkimuksen havaintojen perusteella voitiin myös antaa seuraavat suositukset ennusteiden laatimisen kehittämisestä: Ennusteita ei ole suositeltavaa laatia vanhojen ennusteiden perusteella. Ennusteet tulisi laatia joko ilman lähtöarvoja tai siten, että lähtöarvona käytetään esimerkiksi edellisten vuosien toteuman keskiarvoa. Yhdenmukaisuutta aiempiin lukuihin tulisi tarkastella vasta kun ennusteet on laadittu. Virheiden säännöllinen tarkastelu olisi suositeltavaa ottaa säännölliseksi osaksi prosessia.
Teoria heuristisesta ajattelusta ja kognitiivisista vääristymistä perustuu käsitykseen siitä, että iso osa ihmisen ajattelusta on nopeaa, kontrolloimatonta intuitiota. Osa ongelmanratkaisusta ihmisen aivoissa tapahtuu nopeasti, yksinkertaistamalla ratkaistavaa ongelmaa ja soveltamalla yksinkertaisia nyrkkisääntöjä. Tätä kutsutaan heuristiseksi ajatteluksi eli heuristiikaksi. Heuristinen ajattelu aiheuttaa ajatusvirheitä, joiden on havaittu toistuvan hyvin samankaltaisina koehenkilöiden iästä, älykkyydestä ja koulutustasosta riippumatta. Koska heuristinen ajattelu ja sen mukanaan tuomat toistuvat virheet ovat kaikille ihmisille yhteisiä, teorialla on relevantteja ja mielenkiintoisia implikaatioita tutkittaessa päätöksenteon ja johtamisen psykologiaa.
Se, voidaanko heuristisen ajattelun vaikutuksia havaita monen ihmisen yhteistyönä syntyneissä arvioissa ja päätöksissä, on avoinna oleva empiirinen kysymys, eikä asiaa ole turvallisuusviranomaisten toiminnassa aiemmin tutkittu. Siksi aihealueen tutkimus Rajavartiolaitoksessa on luontevaa aloittaa numeerisista ennusteista, joiden virheet ovat objektiivisesti todettavissa ja mitattavissa. Kognitiivisen psykologian piirissä ilmiötä on pääasiassa tutkittu tutkimuksia varten järjestetyissä testiolosuhteissa. Tämän vuoksi on myös tieteellisestä näkökulmasta arvokasta saada käyttöön aineisto, joka koostuu ihmisten todellisissa työtehtävissään tekemistä ennusteista.
Virheellä tarkoitetaan tässä tutkimustyössä ennusteen ja toteuman välistä erotusta. Hyvissäkin ennusteissa on väistämättä virhettä, koska tulevaisuutta koskevaa faktatietoa ei ole. Ennusteiden virheitä aiheuttavat monet eri tekijät, joista suurinta osaa ei käsitellä tässä tutkimuksessa. Tavoitteena oli tuottaa tietoa siitä, voidaanko heuristisella ajattelulla ylipäätään osoittaa olevan merkitystä turvallisuusviranomaisten todellisessa päätöksenteossa. Koska virheiden syitä on monia, tarvitaan suuri otoskoko, jotta heikot signaalit voitaisiin erottaa monien, eri suuntaisten virhemekanismien joukosta.
Tutkimuksessa havaittiin, että noin puolia ennusteista ei ollut muutettu verrattuna samasta asiasta aiemmin laadittuun ennusteeseen. Se, oliko ennustetta muutettu aiempaan verrattuna, ei ollut merkitsevästi yhteydessä sen kanssa, kuinka virheellisiä aiemmille vuosille tehdyt ennusteet olivat olleet. Samaa vuotta koskevat ennusteet olivat tarkempia kuin pitemmälle aikavälille laaditut. 1‒4 vuoden päähän tehtyjen ennusteiden välillä ei ollut merkitseviä eroja ennustetarkkuudessa.
Hallintoyksiköiden välillä oli ennustevirheissä vuodesta toiseen samankaltaisena toistuvia eroja, vaikka eri hallintoyksiköiden ennusteet oli tarkastettu ja hyväksytty samassa yläjohtoportaassa, ja tieto aiempien vuosien ennusteiden virheistä olisi ollut ennusteiden laatijoiden käytettävissä. Ennusteita oli muutettu vähemmän alas- kuin ylöspäin. Toteuman laskuun oli reagoitu (ennustetta muuttamalla) harvemmin ja vähemmän kuin toteuman kasvuun: Toteuman kasvuun reagoiminen muuttamalla ennustetta ylöspäin oli merkitsevästi todennäköisempää kuin toteuman laskuun reagoiminen muuttamalla ennustetta alaspäin. Ennusteisiin tehdyt tarkistukset olivat myös kooltaan pienempiä silloin, jos toteumassa oli laskeva trendi.
Virheet aiempien vuosien ennusteissa ennustivat seuraavien vuosien ennustevirheitä lähes yhden suhde yhteen. Toisin sanoen, jos ennuste oli virheellinen, seuraavan vuoden ennusteessa samasta asiasta oli odotusarvoisesti samankokoinen ja -suuntainen virhe. Yksinkertaisen tilastollisen ennusteen (kolmen edellisen vuoden toteumien keskiarvo) virhe olisi ollut koko aineistossa keskimäärin 4.9 prosenttiyksikköä pienempi kuin aineistona olleiden asiantuntijoiden tekemien ennusteiden.
Asiantuntijaennusteet olivat (suhteessa tilastolliseen ennusteeseen) sitä parempia, mitä suurempi oli kyseisen tulosrivin suoritteiden lukumäärä, ja mitä suurempi oli kyseiselle suoritteelle tuloksellisuuden laskennassa annettu painokerroin. Lisäksi saatiin viitteellistä näyttöä siitä, että asiantuntijaennusteet olisivat olleet keskimäärin yhtä tarkkoja kuin tilastolliset ennusteet, jos aiempien vuosien ennusteiden virheitä ei olisi toistettu.
Tutkimustuloksia voidaan pitää ainakin viitteellisenä näyttönä heuristisen ajattelun vaikutuksista ennusteiden laatimiseen. Aihealueen kirjallisuudessa kuvataan kiinnittyminen aiempiin lukuihin ja reagoimattomuus huonoon ennustettavuuteen. Kirjallisuudessa kuvataan myös, ettei ihminen osaa siirtyä kohti regressiivisempää ennustetta, vaikka ennustetarkkuus heikentyisi, ja että ihminen ottaa helpommin vastaan informaatiota, joka sopii yhteen hänen omien ennakkokäsitystensä kanssa. Näiltä osin tutkimuksen empiiriset havainnot olivat yhdensuuntaisia sen kanssa, mitä teorian perusteella voitiin olettaa.
Valitulla tutkimusmenetelmällä ja -aineistolla ei voida saada tosiasiatietoa havaittujen korrelaatioiden syistä. Vaikka tutkimustulokset ja teorian perusteella tehdyt oletukset eivät ole ristiriidassa, kausaalista suhdetta ennustevirheiden systematiikan ja heuristisen ajattelun välillä ei voida tässä työssä miltään osin todistaa. Regressiomallien selitysasteet olivat hyvin matalia, eli havaitut korrelaatiot selittivät ennustevirheistä vain hyvin pienen osan.
Tutkimustyöllä tuotettiin Rajavartiolaitokselle kattava analyysi ennustevirheistä, joita ei ollut aikaisemmin systemaattisesti tarkasteltu. Tutkimuksen havaintojen perusteella voitiin myös antaa seuraavat suositukset ennusteiden laatimisen kehittämisestä: Ennusteita ei ole suositeltavaa laatia vanhojen ennusteiden perusteella. Ennusteet tulisi laatia joko ilman lähtöarvoja tai siten, että lähtöarvona käytetään esimerkiksi edellisten vuosien toteuman keskiarvoa. Yhdenmukaisuutta aiempiin lukuihin tulisi tarkastella vasta kun ennusteet on laadittu. Virheiden säännöllinen tarkastelu olisi suositeltavaa ottaa säännölliseksi osaksi prosessia.
Kokoelmat
- Opinnäytteet [2348]