The Most Probable Bayesian Network and Beyond

Abstract

This doctoral dissertation introduces an algorithm for constructing the most probable Bayesian network from data for small domains. The algorithm is used to show that a popular goodness criterion for the Bayesian networks has a severe sensitivity problem. The dissertation then proposes an information theoretic criterion that avoids the problem.

Bayesverkko on havainnollinen verkkokaavio, jossa verkon solmut kuvaavat ongelmakentän asioita ja solmujen väliset kaaret kuvaavat asioiden välisiä tilastollisia yhteyksiä. Bayesverkkojen havainnollisuuden vuoksi niiden automaattinen tuottaminen pelkän kerätyn tietoaineiston pohjalta on mielenkiintoinen tehtävä.

Vaan millainen bayesverkko on hyvä kuvaus ongelmakentästä, ja mitä hyvyydellä tarkasti ottaen tarkoitetaan. Yleisimmin käytetty hyvyyden mitta on verkon bayesilainen todennäköisyys; mitä suuremmalta verkon todennäköisyys näyttää kerätyn aineiston perusteella, sitä parempi verkko on. Bayesilaisen todennäköisyyden laskeminen kerätyn aineiston avulla vaatii kuitenkin, että meillä on alustava ajatus eri verkkojen todennäköisyyksistä ja verkossa olevien yhteyksien vahvuuksista jo ennen aineiston käyttämistä todennäköisyyksien laskemiseen. Verkkojen automaattisessa oppimisessa nämä ennakkokäsitykset pyritään usein pitämään mahdollisimman lievinä, jotta itse aineisto saisi vaikuttaa mahdollisimman paljon parhaan verkon valintaan eikä mitään verkkoa suosittaisi etukäteen. Puolueeton asenne yhteyksien vahvuuteen on kuitenkin vaikea käsitteellinen ongelma, ja asian formalisoiminen eksaktisti voidaan tehdä monella eri tavalla.

Tässä väitöskirjassa esitetään menetelmä todennäköisimmän verkon löytämiseksi. Menetelmän avulla on voitu osoittaa, että mitättömän pienet erot yhteyksien luonnetta koskevissa ennakkokäsityksissä aiheuttavat muutoksia todennäköisimmän verkon rakenteeseen. Asian korjaamiseksi työssä ehdotetaan uutta tapaa mitata verkkojen hyvyyttä. Uusi tapa perustuu informaatioteoriaan, eikä se vaadi aineistoa edeltävien ennakkokäsitysten määrittelyä.