FICSA : The Finnish Investigative Instrument of Child Sexual Abuse : Machine Learning Applied to Criminal Investigations

Abstract

Utredningar av misstänkta sexuella uttnyttjanden av barn (SUB) är krävande. Medan förekomsten av SUB minskat över de senaste åren så har antalet anmälningar ökat. Ofrånkomligen är en del av anmälningarna ogrundade vilket stjäl tid och resurser från riktiga fall. Eftersom bevisens kvalitet minskar efter tid ökar risken för felaktiga slutsatser till följd av den försening det höga antalet ogrundade misstankar medför. Även om en misstanke utreds utan dröjsmål är bevisen komplicerade, svåra att tolka och ibland motsägelsefulla. Utredningar av misstänkta SUB vilar därmed på barnets berättelse och detta innebär många svårigheter som är kopplade till intervjusätt och barnets trovärdighet.

I den föreliggande avhandlingen ville vi utveckla ett redskap med vilket man kan separera mellan grundade och ogrundade misstänkar om SUB. Detta redskap, FICSA, är en naiv Bayesiansk klassifieringsmetod som tränats på ett omfattande data från mer än 11000 barn. FICSA kan snabbt identifiera grundade misstankar baserat på endast demografisk och socioekonimisk information gällande det misstänkta offret. Informationen kan inhämtas med ett standardiserat frågebatteri. Detta motverkar att bevis föråldras, höjer trovärdigheten av barnets berättelse och låter utredarna prioritera de misstankar som mest sannolikt är grundade.

I studie I skapade vi FICSA gemon att identifiera en liten grupp på de 42 av de 903 tillgängliga bakgrunsvariabler som behövdes för att räkna ut sannolikheten för att en misstänke om SUB är grundad. Den första versionen av FICSA uppnådde en mycket bra träffsäkerhet med ett AUC-värde på .97 för pojkar och .88 för flickor.

I studie II undersökte vi den finska polisens förmåga att arbeta med de bakgrundsvariabler som FICSA baserar sig på. Vi testade också deras förmåga att bortse från bakgrundsvariabler som inte är kopplade till sannolikheten för SUB. Deltagarna var i regel bättre på att känna igen vilka variabler som inte är kopplade till SUB än de som är kopplade till SUB. Deltagarna var också dåliga på att koppla könsspecifika riskfaktorer till rätt kön. Sammanfattningsvis verkade polisen inte sätta någon stor vikt vid bakgrundsinformation i sin estimering av sannolikheten för SUB.

I studie III testade vi FICSAs tillämpning bland finländska rättspsykologiska experter som I sitt arbete utreder misstänkta SUB. Antalet tekniska fel som deltagarna gjorde medan de använde FICSA visar på ett behov av ytterligare träning. Dessutom fann vi att när FICSA enbart på basen av bakgrundsfaktorer antydde en hög sannolikhet för SUB så anpassade deltagarna sannolikheten neråt. Deltagarna lät sig influeras av den sannolikhet som FICSA gav och hade i allmänhet en mer korrekt uppfattning om sannolikheten av SUB när de använde FICSA jämfört med när de inte gjorde det.

I studie IV fokuserade på några kvarvarande problem med FICSA. Vi tog bort variabler som inte är relevanta för alla barn (t.ex. kan frågor om föräldrarna inte ställas till föräldralösa barn) och vi satte till frågor för att separera mellan barn som talar sanning och barn som konfabulerar. Detta gjorde vi för att ytterligare öka FICSAs förmåga att identifiera falsk information. Även efter att vi reducerat antalet variabler från 42 till 15 fortsatte FICSA vara träffsäkert med ett AUC-värde på .90 för pojkar och .92 för flickor.

Sammanfattningsvis indikerar våra fynd att FICSA som är baserat på moderna maskininlärningstekniker och ett stort data kan hjälpa utredare i början av en utredning. Efter lite ytterligare arbete kan FICSA sättas till de tekniker som utredare använder för att förbättra kvaliteten av deras arbete. Vi tror detta skulle minska antalet misstänkta fall av SUB som utreds dåligt på grund av de hinner bli gamla eller som felaktigt antas vara ogrundade.

---------- Child sexual abuse (CSA) investigations are challenging for the involved professionals. Whereas the prevalence of CSA has been decreasing during the past years, the number of reported cases has increased. It is therefore inevitable that a part of reported cases stem from unfounded allegations, which take time and resources from the investigation of real cases. Since the quality of evidence decreases over time, any delay in the investigation of real cases, for example due to the investigation of unfounded allegations, increases the risk of drawing wrongful conclusions. Even if investigated immediately, CSA cases often present pieces of evidence that are difficult to interpret because of their complex and possibly contradictory nature. CSA investigations depend heavily on the child’s testimony, and this raises numerous problems linked to interviewing style and child's credibility.

In the present thesis, we aimed to create a tool with which it would be possible to separate real allegations from false allegations. This tool, the Finnish Investigative Instrument of Child Sexual Abuse (FICSA), is a naïve Bayes classifier trained on extensive data collected from more than 11,000 children. FICSA can identify real CSA allegations quickly by using only background demographical and socio-economic information about the alleged victim, retrieved through a standardized questionnaire. This can help prevent evidence decay, improve the investigation of the child's account, and allow investigators to prioritize CSA cases from most to least probable.

In Study I, we built FICSA by identifying a small set of 42 (from the original 903) background variables that were necessary to calculate the probability of a CSA allegation being true. Already this first version of FICSA reached an excellent accuracy, with an Area under the Curve (AUC) of .97 for boys and .88 for girls.

In Study II, we investigated the ability of Finnish police officers to work with the background variables FICSA is based on. We also tested their capacity to discard background variables that have no impact on the risk of CSA. The participants were generally better in recognizing CSA-unrelated variables than related ones and were inaccurate in linking CSA-related gender-specific variables to the right gender. Overall, police officers did not attribute a large impact of background information on the CSA risk.

In Study III, we tested the usability of FICSA in a sample of Finnish forensic experts who evaluate CSA allegations daily. The number of technical errors made by the participants while using FICSA indicated a need for proper training. Moreover, when FICSA provided a high probability for a case being true based only on background information, the participants adjusted the probability downwards. Participants were, however, influenced by the probability calculated by the tool and were, on average, more accurate in evaluating CSA scenarios when using FICSA.

In Study IV, we addressed some remaining issues with the first version of FICSA. We removed variables that did not apply to all children (e.g., orphans cannot provide information about parents), and we added deception-control measures to increase FICSA’s capacity to identify false allegations. Even after reducing the overall number of variables from 42 to 15 the accuracy levels remained high (AUC = .90 for boys and .92 for girls).

Overall, the results indicated that FICSA, which is based on modern machine learning techniques and a large amount of data, could support professionals in the initial stage of CSA investigations. We argue that, after some further refinement, FICSA can be added to the techniques available to police officers and forensic experts. FICSA can potentially improve the quality of their work and reduce the amount of real CSA cases poorly investigated because too old or wrongly considered false.