Seeing and hearing speech, sounds, and signs: functional magnetic resonance studies on fluent and dyslexic readers

Abstract

Speech has both auditory and visual components (heard speech sounds and seen articulatory gestures). During all perception, selective attention facilitates efficient information processing and enables concentration on high-priority stimuli.

Auditory and visual sensory systems interact at multiple processing levels during speech perception and, further, the classical motor speech regions seem also to participate in speech perception. Auditory, visual, and motor-articulatory processes may thus work in parallel during speech perception, their use possibly depending on the information available and the individual characteristics of the observer.

Because of their subtle speech perception difficulties possibly stemming from disturbances at elemental levels of sensory processing, dyslexic readers may rely more on motor-articulatory speech perception strategies than do fluent readers.

This thesis aimed to investigate the neural mechanisms of speech perception and selective attention in fluent and dyslexic readers.

We conducted four functional magnetic resonance imaging experiments, during which subjects perceived articulatory gestures, speech sounds, and other auditory and visual stimuli. Gradient echo-planar images depicting blood oxygenation level-dependent contrast were acquired during stimulus presentation to indirectly measure brain hemodynamic activation.

Lip-reading activated the primary auditory cortex, and selective attention to visual speech gestures enhanced activity within the left secondary auditory cortex. Attention to non-speech sounds enhanced auditory cortex activity bilaterally; this effect showed modulation by sound presentation rate. A comparison between fluent and dyslexic readers' brain hemodynamic activity during audiovisual speech perception revealed stronger activation of predominantly motor speech areas in dyslexic readers during a contrast test that allowed exploration of the processing of phonetic features extracted from auditory and visual speech.

The results show that visual speech perception modulates hemodynamic activity within auditory cortex areas once considered unimodal, and suggest that the left secondary auditory cortex specifically participates in extracting the linguistic content of seen articulatory gestures. They are strong evidence for the importance of attention as a modulator of auditory cortex function during both sound processing and visual speech perception, and point out the nature of attention as an interactive process (influenced by stimulus-driven effects). Further, they suggest heightened reliance on motor-articulatory and visual speech perception strategies among dyslexic readers, possibly compensating for their auditory speech perception difficulties.

Havaitsemme puhetta sekä nähdyn että kuullun aisti-informaation perusteella: niin puheäänellä kuin puheeseen liittyvillä kasvojen liikkeilläkin on merkitystä puheeseen sisältyvän viestin välittämisessä. Tarkkaavaisuus säätelee kaiken aisti-informaation käsittelyä aivoissa ja mahdollistaa keskittymisen oleellisiin ja tärkeisiin ärsykkeisiin.

Viimeaikainen toiminnallinen aivotutkimus on osoittanut, että puheen havaitsemisen aikana näkö- ja kuulojärjestelmien välillä tapahtuu monimuotoista vuorovaikutusta. Uuden tutkimustiedon mukaan myös aiemmin puheen tuottoon erikoistuneina pidetyt aivokuoren alueet näyttävät osallistuvan puheen havaitsemiseen. On mahdollista, että näiden toiminnallisten järjestelmien painotus vaihtelee ihmisyksilöiden välillä riippuen heidän henkilökohtaisista ominaisuuksistaan.

Henkilöillä joilla on lukemisen erityisvaikeus (dysleksia) on todettavissa puheen havaitsemisen ongelmia, jotka saattavat johtua lievistä poikkeavuuksista näkö- ja kuuloinformaation käsittelyssä. Siksi on mahdollista, että he tukeutuvat puhetta havaitessaan tavallista enemmän puheen tuottoon ensisijaisesti erikoistuneiden järjestelmien käyttöön.

Tässä väitöskirjassa tutkittiin puheen havaitsemiseen ja tarkkaavaisuuteen liittyvää aivotoimintaa lukemisvaikeuden omaavilla koehenkilöillä sekä henkilöillä, joilla ei ole lukemisen erityisvaikeutta.

Koehenkilöt osallistuivat toiminnallisiin magneettikuvauskokeisiin, joissa mitattiin heidän aivojensa toimintaa aivojen verenkiertovasteiden välityksellä heidän havaitessaan puhetta ja muita näkö- ja kuuloärsykkeitä. Kokeissa tutkittiin myös tarkkaavaisuuden vaikutusta kuuloaivokuoren aktivaatioon nähdyn puheen havaitsemisen sekä kuuloärsykkeiden havaitsemisen aikana.

Osoituksena näkö- ja kuulojärjestelmien vuorovaikutuksesta totesimme, että nähty puhe (huulilta lukeminen) aktivoi perinteisesti aistispesifisenä pidettyä primaarista kuuloaivokuorta ja että kuuloaivokuori saattaa osallistua kielelliseen analyysiin nähdyn puheen havaitsemisen aikana. Tuloksemme painottavat tarkkaavaisuuden merkitystä aisti-informaation käsittelyssä osoittamalla, että tarkkaavaisuus säätelee kuuloaivokuoren toimintaa sekä nähdyn puheen havaitsemisen aikana että kuuloärsykkeiden havaitsemisen aikana. Lisäksi havaintomme viittaavat siihen, että lukemisvaikeuden omaavat henkilöt saattavat puhetta havaitessaan painottaa tavallista voimakkaammin puheen tuottoon erikoistuneiden aivokuoren alueiden käyttöä.