Het McGurk-effect: wanneer we met onze ogen horen

Visuele en auditieve informatie zijn de sleutel tot het verstaan ​​van spraak. Als we met iemand praten, horen we niet alleen wat ze zeggen, maar kijken we ook hoe ze het zeggen door hun lippen te bewegen.

Het vermogen van menselijke spraak is gebaseerd op de integratie van visuele en auditieve informatie, iets wat wordt bewezen door het feit dat we een merkwaardig illusoir fenomeen kunnen ervaren: het McGurk-effect.

Er kan worden gezegd dat dit eigenaardige fenomeen optreedt wanneer we met onze ogen horen, waardoor wat we horen verandert afhankelijk van wat we zien. Laten we eens kijken waar dit interessante visueel-auditieve effect uit bestaat.

• Gerelateerd artikel: "17 curiositeiten over menselijke waarneming"

Wat is het McGurk-effect?

We zijn geneigd te geloven dat onze zintuigen onafhankelijk functioneren: als we horen, horen we alleen; en als we zien, zien we alleen. Op basis van deze overtuiging zou het redelijk zijn om te denken dat een visuele stimulus onze manier van geluid waarnemen niet kan vervormen. De realiteit is echter dat het kan, aangezien onze perceptuele ervaringen het product zijn van een complex proces van informatievermenging, hetzelfde mengsel dat aanleiding geeft tot een eigenaardig fenomeen: het effect McGurk.

U hebt vast wel meer dan eens een gesprek gehad in een extreem lawaaierige omgeving. Het kan in een nachtclub zijn geweest, op het terras van een bar in een drukke straat, of in een klaslokaal op de middelbare school. Als er veel achtergrondgeluid is, is het moeilijk voor ons om te begrijpen wat de persoon ons vertelt dat we net hebben en om iets te begrijpen, gebruiken we de oude en instinctieve truc om zijn mond te observeren Tijdens het spreken.

In deze gevallen worden visuele en auditieve informatie niet afzonderlijk geanalyseerd, maar gecombineerd. Het menselijk brein heeft een gebied dat de superieure temporale sulcus wordt genoemd, dat gespecialiseerd is in het combineren van beide soorten informatie, In de voorbeelden die we hebben gegeven, zou het verantwoordelijk zijn voor het combineren van de fonemen die onze gesprekspartner uitspreekt met de beweging van hun lippen.

Door deze mogelijkheid om multimodale informatie te combineren, de superieure temporale sulcus is het neurologische stadium waarin het illusoire McGurk-effect optreedt, wat niets meer zou zijn dan het resultaat van een fout in het decoderen van de boodschap wanneer twee verschillende zintuiglijke modaliteiten op elkaar inwerken, waardoor wat we zien niet samenvalt met wat we horen.

Als we snel op YouTube zoeken, kunnen we meer dan één video vinden waarin dit fenomeen op een praktische manier wordt belicht. Deze link leidt ons naar een goed voorbeeld van dit fenomeen:

In dit specifieke geval, de persoon in de video zegt de hele tijd / ba /, maar afhankelijk van hoe hij zijn lippen beweegt, hoor je ofwel / ba / of / pa /.

Dit effect kan ook optreden bij andere combinaties van lettergrepen. Het kan bijvoorbeeld worden bereikt met de combinatie / ka / (visueel) en / pa / (auditief), waardoor de perceptie van / ta / ontstaat. Een ander voorbeeld zou zijn iemand lipbewegingen te zien maken die overeenkomen met de lettergreep / ga / maar terwijl de lettergreep / ba / wordt uitgesproken, wordt deze gezien als / da /.

De manier waarop we hetzelfde geluid horen, varieert drastisch, afhankelijk van of we kijken naar de manier waarop de persoon die tegen ons spreekt, zijn lippen beweegt. Dit heeft niet alleen invloed op de waarneming van eenvoudige reeksen geluiden zoals lettergrepen, maar het is ook bewezen dat: Het werkt met volledige zinnen, hoewel je het waarschijnlijk zelf hebt gezien in sommige van de situaties die we hebben genoemd voordat.

Een van de eerste bevindingen met betrekking tot het McGurk-effect en de interactie tussen zintuiglijke modaliteiten is dat het hebben van: de mogelijkheid om de lippen van onze gesprekspartner te zien bewegen, verbetert het volume van wat we horen aanzienlijk.

Men heeft gezien dat het ons het gevoel geeft fonemen tot 15 decibel luider te horen wanneer we de zender in ons gezichtsveld hebben. Dit gebeurt zelfs als de akoestische omstandigheden niet ongunstig zijn, zoals in een kamer zonder geluid of op een rustige plek.

• Misschien herhaal je: "Delen van het menselijk brein (en functies)"

Geschiedenis van zijn ontdekking

Dit fenomeen werd voor het eerst beschreven in 1976 in een artikel van de Britse cognitief psycholoog Harry McGurk samen met zijn collega John MacDonald getiteld "Lippen horen en stemmen zien". Zijn oorspronkelijke studie zou bestaan ​​uit het onderzoeken van de patronen van imitatie van een groep kinderen die... het ontwikkelen van het vermogen om te spreken en het experiment omvatte het presenteren van verschillende video's van mensen die het uitspreken verschillende lettergrepen.

Er is echter een afspeelfout opgetreden. De technicus die verantwoordelijk is voor het monteren van de video heeft een fout gemaakt en heeft ervoor gezorgd dat beeld en geluid niet gesynchroniseerd zijn, waardoor een opname van een persoon wordt gezien die iets zegt dat niet overeenkomt met het geluid dat Hij hoorde.

Op het moment dat de video werd afgespeeld, hoorden McGurk en MacDonald een derde foneem in plaats van het foneem dat met de lippen werd uitgesproken en dat werd uitgezonden. Het was serendipiteit die deze twee onderzoekers deze eigenaardige auditieve illusie wilde laten ontdekken.

• Gerelateerd artikel: "Neuropsychologie: wat is het en wat is het onderwerp van studie?"

Het belang ervan in de studie van menselijke spraak

De ontdekking van dit effect wordt overwogen een bewijs dat het visuele en auditieve systeem samen zijn geëvolueerd om onder meer een betere spraakverwerking mogelijk te maken. Ons visuele systeem helpt ons om moeilijk te onderscheiden geluiden te onderscheiden, een voordeel dat dove mensen hebben als ze liplezen.

In staat zijn om te zien hoe onze gesprekspartner zijn lippen beweegt, vergroot het vertrouwen in de boodschap die door het auditieve systeem wordt waargenomen. Dat wil zeggen, als twee onafhankelijke systemen naar dezelfde oplossing wijzen, in dit geval hetzelfde bericht, vertrouwen we dat bericht meer dan wanneer we het slechts via één kanaal ontvangen.

Het is het vermelden waard dat het McGurk-effect treedt niet automatisch op. Om het te laten gebeuren, is het noodzakelijk dat we aandacht besteden aan onze gesprekspartner en, wanneer afleidende stimuli worden opgenomen, zowel visueel als auditief, wordt deze illusie afgezwakt.

In feite bewijst dit dat het effect niet te wijten is aan een slechte ontvangst van visuele of auditieve informatie, maar aan een fout in de integratie van deze twee zintuiglijke modaliteiten.

Een ander feit dat kracht geeft aan het idee dat het visuele systeem het auditieve ondersteunt, is dat wanneer we iemand zien die tegen ons spreekt, maar we kunnen helemaal niet horen wat hij zegt, niet alleen onze visuele cortex wordt geactiveerd, maar ook de auditieve, zelfs als we nergens naar luisteren.

• Mogelijk bent u geïnteresseerd in: "Optische zenuw: onderdelen, koers en aanverwante ziekten"

Het McGurk-effect en hersenstoornissen

Het is gezien dat hersenletsel en verminderde leesvaardigheid, naast het manifesteren van psychische stoornissen, beïnvloedt het de waarschijnlijkheid van het optreden van het McGurk-effect.

Mensen die een callosotomie hebben ondergaan, vertonen het McGurk-effect langzamer. Het lijkt erop dat kinderen met specifieke taalstoornis laten het McGurk-effect op een zwakkere manier zien in vergelijking met kinderen die geen taalverwervingsstoornissen of leesproblemen hebben.

Lateraliteit beïnvloedt ook, aangezien rechtshandige mensen dit effect vaker ervaren.

• Gerelateerd artikel: "Cerebrale hemisferen: mythen en realiteiten"

Het McGurk-effect in verschillende talen

Ongeacht welke taal wordt gesproken, de sprekers ervan zijn tot op zekere hoogte afhankelijk van visuele informatie tijdens spraakperceptie. Hoe dan ook, de intensiteit van het McGurk-effect varieert van taal tot taalHet blijkt dat in talen als Spaans, Turks, Italiaans, Nederlands, Engels en Duits hun sprekers dit effect sterker ervaren dan Chinese en Japanse sprekers.

Dat Aziatische taalsprekers het McGurk-effect minder vaak laten zien, kan te wijten zijn aan de culturele gewoonte om oogcontact te vermijden. Daarbij zijn met name Chinees en Japans twee talen met zeer syllabische taalstructuren, meestal medeklinker + klinkertype en medeklinker + klinker + medeklinker, waardoor ze bijzonder bedreven zijn in het detecteren van lettergrepen, ongeacht hoe hun lippen bewegen. gesprekspartner.