Efek McGurk: ketika kita mendengar dengan mata kita

Informasi visual dan pendengaran adalah kunci dalam memahami ucapan. Ketika kita berbicara dengan seseorang, kita tidak hanya mendengar apa yang mereka katakan, tetapi kita juga melihat bagaimana mereka mengatakannya dengan menggerakkan bibirnya.

Kemampuan bicara manusia didasarkan pada integrasi informasi visual dan pendengaran, sesuatu yang dibuktikan dengan fakta bahwa kita dapat mengalami fenomena ilusi yang aneh: efek McGurk.

Dapat dikatakan bahwa fenomena aneh ini terjadi ketika kita mendengar dengan mata kita, menyebabkan apa yang kita dengar berubah tergantung pada apa yang kita lihat. Mari kita cari tahu terdiri dari apa efek visual-auditori yang menarik ini.

• Artikel terkait: "17 keingintahuan tentang persepsi manusia"

Apa efek McGurk?

Kita cenderung percaya bahwa indera kita berfungsi secara independen: ketika kita mendengar, kita hanya mendengar; dan ketika kita melihat, kita hanya melihat. Berdasarkan keyakinan ini, masuk akal untuk berpikir bahwa stimulus visual tidak mampu mendistorsi cara kita memahami suara. Namun, kenyataannya bisa, karena pengalaman perseptual kita adalah produk dari a proses kompleks pencampuran informasi, campuran yang sama yang menimbulkan fenomena aneh: efeknya McGurk.

Tentunya lebih dari satu kali Anda melakukan percakapan di lingkungan yang sangat bising. Mungkin di klub malam, di teras bar di jalan yang sibuk, atau di ruang kelas sekolah menengah. Ketika ada kebisingan latar belakang yang tinggi, sulit bagi kita untuk memahami apa yang orang tersebut katakan kepada kita bahwa kita baru saja depan dan, untuk memahami sesuatu, kami menggunakan trik lama dan naluriah untuk mengamati mulutnya Sambil berbicara.

Dalam kasus ini, informasi visual dan pendengaran tidak dianalisis secara terpisah, melainkan digabungkan. Otak manusia memiliki wilayah yang disebut sulkus temporal superior, yang mengkhususkan diri dalam menggabungkan kedua jenis informasi, Dalam contoh-contoh yang telah kami berikan, akan bertugas menggabungkan fonem yang diucapkan lawan bicara kami dengan gerakan mereka. bibir.

Karena kemampuan ini untuk menggabungkan informasi multimodal, sulkus temporal superior adalah tahap neurologis di mana efek McGurk ilusi terjadi, yang tidak lebih dari hasil kesalahan dalam penguraian kode pesan ketika dua modalitas sensorik yang berbeda berinteraksi, menyebabkan apa yang kita lihat tidak sesuai dengan apa yang kita dengar.

Jika kita melakukan pencarian cepat di YouTube, kita dapat menemukan lebih dari satu video di mana fenomena ini diekspos secara praktis. Tautan ini mengarahkan kita ke contoh yang bagus dari fenomena ini:

Dalam kasus khusus ini, orang dalam video mengatakan /ba / sepanjang waktu, namun, tergantung pada bagaimana dia menggerakkan bibirnya, Anda dapat mendengar /ba / atau /pa /.

Efek ini juga dapat terjadi dengan kombinasi suku kata lainnya. Misalnya, dapat dicapai dengan kombinasi / ka / (visual) dan / pa / (pendengaran), yang menimbulkan persepsi / ta /. Contoh lain adalah melihat seseorang membuat gerakan bibir yang sesuai dengan suku kata / ga / tetapi ketika suku kata / ba / diucapkan, itu akan dianggap sebagai / da /.

Cara kita mendengar suara yang sama bervariasi secara drastis tergantung pada apakah kita melihat cara orang yang berbicara kepada kita menggerakkan bibirnya. Ini tidak hanya mempengaruhi persepsi rangkaian suara sederhana seperti suku kata, tetapi juga telah terbukti bahwa itu bekerja dengan kalimat lengkap, meskipun pasti Anda telah menyaksikannya sendiri dalam beberapa situasi yang telah kami sebutkan sebelum.

Salah satu temuan pertama yang terkait dengan efek McGurk dan interaksi antara modalitas sensorik adalah bahwa memiliki kemungkinan melihat bibir lawan bicara kita bergerak sangat meningkatkan volume dari apa yang kita dengar.

Telah terlihat bahwa itu memberi kita sensasi mendengar fonem hingga 15 desibel lebih keras ketika kita memiliki emitor dalam bidang visual kita. Hal ini terjadi bahkan ketika kondisi akustik tidak buruk, seperti berada di ruangan tanpa suara atau di tempat yang tenang.

• Mungkin Anda mengulangi: "Bagian dari otak manusia (dan fungsinya)"

Sejarah penemuannya

Fenomena ini pertama kali dijelaskan pada tahun 1976 dalam sebuah artikel oleh psikolog kognitif Inggris Harry McGurk bersama dengan rekannya John MacDonald berjudul “Mendengar bibir dan melihat suara”. Studi aslinya akan terdiri dari menyelidiki pola imitasi sekelompok anak-anak yang— mengembangkan kemampuan berbicara dan eksperimen melibatkan penyajian beberapa video orang yang mengucapkan suku kata yang berbeda.

Namun, terjadi kesalahan pemutaran. Teknisi yang bertugas memasang video melakukan kesalahan sehingga gambar dan suara tidak sinkron, membuat rekaman seseorang mengatakan sesuatu yang tidak sesuai dengan suara yang Dia mendengar.

Pada saat memutar video, McGurk dan MacDonald mendengar fonem ketiga, bukan fonem yang diucapkan dengan bibir dan fonem yang dikeluarkan. Kebetulan yang ingin kedua peneliti ini menemukan ilusi pendengaran yang aneh ini.

• Artikel terkait: "Neuropsikologi: apa itu dan apa objek studinya?"

Pentingnya dalam mempelajari ucapan manusia

Penemuan efek ini dianggap bukti bahwa sistem visual dan pendengaran telah berevolusi bersama untuk memungkinkan, antara lain, pemrosesan ucapan yang lebih baik. Sistem visual kami membantu kami membedakan suara yang sulit dibedakan, sebuah keuntungan yang dilakukan oleh orang tuli ketika mereka membaca bibir.

Mampu melihat bagaimana lawan bicara kita menggerakkan bibirnya meningkatkan kepercayaan tentang pesan yang dirasakan melalui sistem pendengaran. Artinya, jika dua sistem independen menunjuk ke solusi yang sama, dalam hal ini pesan yang sama, kita lebih mempercayai pesan itu daripada jika kita hanya menerimanya melalui satu saluran.

Perlu disebutkan bahwa efek McGurk tidak terjadi secara otomatis. Agar itu terjadi, kita perlu memperhatikan lawan bicara kita dan, ketika rangsangan yang mengganggu digabungkan, baik visual maupun pendengaran, ilusi ini dilemahkan.

Faktanya, ini membuktikan bahwa efeknya bukan karena penerimaan informasi visual atau pendengaran yang buruk, tetapi karena kesalahan dalam integrasi kedua modalitas sensorik ini.

Fakta lain yang memberi kekuatan pada gagasan bahwa sistem visual mendukung pendengaran adalah bahwa, ketika kita melihat seseorang yang berbicara kepada kita tetapi kita sama sekali tidak dapat mendengar apa yang dia katakan kepada kita, tidak hanya korteks visual kita yang diaktifkan, tetapi juga korteks pendengaran, bahkan jika kita tidak mendengarkan apa pun.

• Anda mungkin tertarik pada: "Saraf optik: bagian, perjalanan, dan penyakit terkait"

Efek McGurk dan disfungsi otak

Telah terlihat bahwa cedera otak dan gangguan keterampilan membaca, selain memanifestasikan gangguan mental, itu mempengaruhi kemungkinan terjadinya efek McGurk.

Orang yang telah menjalani callosotomy menunjukkan efek McGurk lebih lambat. Tampaknya anak-anak dengan gangguan bahasa tertentu mereka menyajikan efek McGurk dengan cara yang lebih lemah dibandingkan dengan anak-anak yang tidak memiliki gangguan pemerolehan bahasa atau kesulitan membaca dan menulis.

Lateralitas juga mempengaruhi, melihat bahwa orang yang tidak kidal lebih mungkin mengalami efek ini.

• Artikel terkait: "Belahan otak: mitos dan kenyataan"

Efek McGurk dalam berbagai bahasa

Terlepas dari bahasa mana yang diucapkan, penuturnya bergantung, sampai tingkat tertentu, pada informasi visual selama persepsi ucapan. Namun demikian, intensitas efek McGurk terlihat bervariasi dari satu bahasa ke bahasa lainnyaTerlihat bahwa dalam bahasa seperti Spanyol, Turki, Italia, Belanda, Inggris dan Jerman, penutur mereka mengalami efek ini lebih kuat daripada penutur bahasa Cina dan Jepang.

Penutur bahasa Asia lebih jarang menunjukkan efek McGurk mungkin karena praktik budaya menghindari kontak mata. Selain itu, bahasa Cina dan Jepang khususnya adalah dua bahasa dengan struktur linguistik yang sangat bersuku kata, biasanya jenis konsonan + vokal dan konsonan + vokal + konsonan, yang membuat mereka sangat terampil dalam mendeteksi suku kata terlepas dari bagaimana bibir mereka bergerak. teman bicara.