เอฟเฟกต์ McGurk: เมื่อเราได้ยินด้วยตาของเรา

ข้อมูลภาพและการได้ยินเป็นกุญแจสำคัญในการทำความเข้าใจคำพูด เมื่อเราพูดคุยกับใครสักคน เราไม่เพียงแค่ได้ยินสิ่งที่พวกเขาพูด แต่เรายังดูว่าพวกเขาพูดอย่างไรด้วยการขยับริมฝีปากของพวกเขาด้วย

ความสามารถในการพูดของมนุษย์ขึ้นอยู่กับการบูรณาการข้อมูลภาพและการได้ยิน ซึ่งพิสูจน์ได้จากข้อเท็จจริงที่ว่าเราได้สัมผัสกับปรากฏการณ์ลวงตาที่น่าสงสัย: เอฟเฟกต์ McGurk.

อาจกล่าวได้ว่าปรากฏการณ์ประหลาดนี้เกิดขึ้นเมื่อเราได้ยินด้วยตา ทำให้สิ่งที่เราได้ยินเปลี่ยนไปตามสิ่งที่เราเห็น มาดูกันว่าเอฟเฟกต์ภาพและเสียงที่น่าสนใจนี้ประกอบด้วยอะไร

• บทความที่เกี่ยวข้อง: "17 ความอยากรู้เกี่ยวกับการรับรู้ของมนุษย์"

เอฟเฟกต์ McGurk คืออะไร?

เรามักจะเชื่อว่าประสาทสัมผัสของเราทำงานอย่างอิสระ: เมื่อเราได้ยิน เราจะได้ยินเท่านั้น และเมื่อเราเห็นเราเห็นเท่านั้น. ตามความเชื่อนี้ มีเหตุผลที่จะคิดว่าการกระตุ้นด้วยภาพไม่สามารถบิดเบือนวิธีการรับรู้เสียงของเราได้ อย่างไรก็ตาม ความจริงก็คือมันสามารถทำได้ เนื่องจากประสบการณ์การรับรู้ของเราเป็นผลผลิตจาก a กระบวนการที่ซับซ้อนของการผสมข้อมูล ส่วนผสมเดียวกันกับที่ก่อให้เกิดปรากฏการณ์ประหลาด: ผลกระทบ แมคเกิร์ก.

แน่นอน คุณมีการสนทนามากกว่าหนึ่งครั้งในสภาพแวดล้อมที่มีเสียงดังมาก มันอาจจะอยู่ในไนท์คลับ บนระเบียงของบาร์บนถนนที่พลุกพล่าน หรือในห้องเรียนของโรงเรียนมัธยมปลาย เมื่อมีเสียงรบกวนรอบข้างสูง เป็นเรื่องยากสำหรับเราที่จะเข้าใจสิ่งที่คนๆ นั้นบอกเราว่าเรามีเพียง ข้างหน้าและเพื่อให้เข้าใจอะไรบางอย่างเราใช้กลอุบายที่เก่าและสัญชาตญาณในการสังเกตปากของเขา ขณะพูด.

ในกรณีเหล่านี้ ข้อมูลภาพและการได้ยินจะไม่ถูกวิเคราะห์แยกกัน แต่จะนำมารวมกัน. สมองของมนุษย์มีบริเวณที่เรียกว่า superior temporal sulcus ซึ่งเชี่ยวชาญในการรวมข้อมูลทั้งสองประเภทเข้าด้วยกัน ในตัวอย่างที่เราให้ไว้ จะเป็นหน้าที่ในการรวมหน่วยเสียงที่คู่สนทนาของเราออกเสียงพร้อมกับการเคลื่อนไหวของ ริมฝีปาก

เนื่องจากความสามารถในการรวมข้อมูลหลายรูปแบบ ร่องขมับที่เหนือกว่าคือระยะทางระบบประสาทที่เกิดปรากฏการณ์ McGurk ลวงตาซึ่งจะไม่มีอะไรมากไปกว่าผลลัพธ์ของข้อผิดพลาดในการถอดรหัสข้อความเมื่อรังสีทางประสาทสัมผัสที่แตกต่างกันสองแบบโต้ตอบกัน ทำให้สิ่งที่เราเห็นไม่ตรงกับสิ่งที่เราได้ยิน

หากเราค้นหาอย่างรวดเร็วบน YouTube เราจะพบวิดีโอมากกว่าหนึ่งรายการที่แสดงปรากฏการณ์นี้ในทางปฏิบัติ ลิงค์นี้นำเราไปสู่ตัวอย่างที่ดีของปรากฏการณ์นี้:

ในกรณีพิเศษนี้ คนในวิดีโอพูด / ba / ตลอดเวลา อย่างไรก็ตาม ขึ้นอยู่กับว่าเขาขยับริมฝีปากอย่างไร คุณสามารถได้ยินอย่างใดอย่างหนึ่ง / ba / หรือ / pa /.

เอฟเฟกต์นี้สามารถเกิดขึ้นได้กับพยางค์อื่น ๆ รวมกัน ตัวอย่างเช่น สามารถทำได้ด้วยการรวมกัน / ka / (ภาพ) และ / pa / (การได้ยิน) ซึ่งก่อให้เกิดการรับรู้ของ / ta / อีกตัวอย่างหนึ่งคือการเห็นคนทำริมฝีปากที่สอดคล้องกับพยางค์ / กา / แต่ในขณะที่พยางค์ / ba / กำลังพูดอยู่ จะถูกมองว่าเป็น / ดา /

วิธีที่เราได้ยินเสียงเดียวกันนั้นแตกต่างกันอย่างมาก ขึ้นอยู่กับว่าเรามองวิธีที่ผู้พูดกับเราขยับริมฝีปากของเขาหรือไม่ ซึ่งไม่เพียงแต่ส่งผลต่อการรับรู้ของชุดเสียงง่ายๆ เช่น พยางค์ แต่ยังได้รับการพิสูจน์แล้วว่า มันทำงานได้กับประโยคที่สมบูรณ์ แม้ว่าคุณอาจเคยเห็นมันด้วยตัวเองในบางสถานการณ์ที่เรากล่าวถึง ก่อน.

หนึ่งในการค้นพบครั้งแรกที่เกี่ยวข้องกับผลกระทบของ McGurk และปฏิสัมพันธ์ระหว่างรังสีทางประสาทสัมผัสคือการมี ความเป็นไปได้ที่จะได้เห็นริมฝีปากของคู่สนทนาขยับได้มากช่วยเพิ่มระดับเสียงของสิ่งที่เราได้ยิน.

จะเห็นได้ว่ามันทำให้เรารู้สึกถึงการได้ยินหน่วยเสียงที่ดังขึ้นถึง 15 เดซิเบลเมื่อเรามีอีซีแอลอยู่ในขอบเขตการมองเห็นของเรา สิ่งนี้เกิดขึ้นได้แม้เมื่อสภาพเสียงไม่กระทบกระเทือน เช่น อยู่ในห้องที่ไม่มีเสียงหรืออยู่ในที่เงียบ

• บางทีคุณอาจทำซ้ำ: "ส่วนต่างๆ ของสมองมนุษย์ (และหน้าที่)"

ประวัติการค้นพบ

ปรากฏการณ์นี้ ได้รับการอธิบายครั้งแรกในปี 1976 ในบทความโดยนักจิตวิทยาด้านความรู้ความเข้าใจชาวอังกฤษ Harry McGurk ร่วมกับ John MacDonald เพื่อนร่วมงานของเขา ชื่อว่า “การได้ยินริมฝีปากและการเห็นเสียง”. การศึกษาเดิมของเขาจะประกอบด้วยการสำรวจรูปแบบการเลียนแบบกลุ่มเด็กที่เป็น การพัฒนาความสามารถในการพูดและการทดลองที่เกี่ยวข้องกับการนำเสนอด้วยวิดีโอหลายคนออกเสียง พยางค์ที่แตกต่างกัน

อย่างไรก็ตาม เกิดข้อผิดพลาดในการเล่น ช่างที่รับผิดชอบการติดตั้งวิดีโอผิดพลาดและทำให้ภาพและเสียงไม่ซิงโครไนซ์ ทำให้เห็นคนอัดเสียงพูดไม่ตรงกับเสียงนั้น เขาได้ยิน.

ในขณะที่เล่นวิดีโอ McGurk และ MacDonald ได้ยินฟอนิมที่สามแทนที่จะเป็นฟอนิมที่พูดด้วยริมฝีปากและอันที่ปล่อยออกมา เป็นเรื่องบังเอิญที่ต้องการให้นักวิจัยสองคนนี้ค้นพบภาพลวงตาอันแปลกประหลาดนี้

• บทความที่เกี่ยวข้อง: "ประสาทจิตวิทยา: มันคืออะไรและเป้าหมายของการศึกษาคืออะไร"

ความสำคัญในการศึกษาคำพูดของมนุษย์

การค้นพบผลกระทบนี้ถือเป็น การพิสูจน์ว่าระบบการมองเห็นและการได้ยินมีการพัฒนาร่วมกันเพื่อให้การประมวลผลคำพูดดีขึ้น. ระบบการมองเห็นของเราช่วยให้เราแยกแยะเสียงที่แยกแยะได้ยาก ซึ่งเป็นข้อได้เปรียบที่คนหูหนวกจะกระทำเมื่ออ่านริมฝีปาก

ความสามารถในการเห็นว่าคู่สนทนาของเราขยับริมฝีปากของเขาเพิ่มความมั่นใจเกี่ยวกับข้อความที่รับรู้ผ่านระบบการได้ยิน กล่าวคือ ถ้าระบบอิสระสองระบบชี้ไปที่โซลูชันเดียวกัน ในกรณีนี้คือข้อความเดียวกัน เราเชื่อถือข้อความนั้นมากกว่าการรับข้อความผ่านช่องทางเดียว

เป็นมูลค่าการกล่าวขวัญว่า เอฟเฟกต์ McGurk จะไม่เกิดขึ้นโดยอัตโนมัติ. เพื่อให้มันเกิดขึ้นได้ จำเป็นต้องให้ความสนใจกับคู่สนทนาของเรา และเมื่อมีการรวมสิ่งเร้าที่ทำให้เสียสมาธิเข้าไว้ด้วยกัน ทั้งทางสายตาและการได้ยิน ภาพลวงตานี้จะถูกลดทอนลง

อันที่จริง สิ่งนี้พิสูจน์ได้ว่าผลกระทบไม่ได้เกิดจากการรับข้อมูลภาพหรือการได้ยินที่ไม่ดี แต่เกิดจากข้อผิดพลาดในการรวมวิธีทางประสาทสัมผัสทั้งสองนี้เข้าด้วยกัน

ข้อเท็จจริงอีกประการหนึ่งที่กระตุ้นความคิดที่ว่าระบบการมองเห็นสนับสนุนการได้ยินคือ เมื่อเราเห็นคนที่พูดกับเราแต่เราไม่ได้ยินสิ่งที่เขาพูดกับเราเลย ไม่เพียงแต่เปิดใช้งานคอร์เทกซ์การมองเห็นเท่านั้น แต่ยังเปิดใช้งานการได้ยินด้วยถึงแม้ว่าเราจะไม่ได้ฟังอะไรก็ตาม

• คุณอาจสนใจ: "เส้นประสาทตา: ส่วนหลักสูตรและโรคที่เกี่ยวข้อง"

ผลกระทบของ McGurk และความผิดปกติของสมอง

เห็นว่า อาการบาดเจ็บที่สมองและทักษะการอ่านบกพร่องนอกเหนือจากการแสดงอาการผิดปกติทางจิตแล้วยังส่งผลต่อความน่าจะเป็นของผลกระทบ McGurk

ผู้ที่มีการผ่าตัดเสริมความงามจะแสดงผล McGurk ได้ช้ากว่า ดูเหมือนว่าเด็กที่มี ความผิดปกติทางภาษาเฉพาะ พวกเขานำเสนอผลกระทบ McGurk ในทางที่อ่อนแอกว่าเมื่อเปรียบเทียบกับเด็กที่ไม่มีความผิดปกติในการได้มาซึ่งภาษาหรือปัญหาในการอ่านและเขียน

ด้านข้างยังมีอิทธิพลโดยเห็นว่าคนถนัดขวามีแนวโน้มที่จะประสบกับผลกระทบนี้มากกว่า

• บทความที่เกี่ยวข้อง: "ซีกสมอง: ตำนานและความเป็นจริง"

เอฟเฟกต์ McGurk ในภาษาต่างๆ

ไม่ว่าจะพูดภาษาใด ผู้พูดจะขึ้นอยู่กับข้อมูลภาพระหว่างการรับรู้คำพูดในระดับหนึ่ง แต่ถึงอย่างไร, ความรุนแรงของเอฟเฟกต์ McGurk นั้นแตกต่างกันไปในแต่ละภาษาจะเห็นได้ว่าในภาษาต่างๆ เช่น สเปน ตุรกี อิตาลี ดัตช์ อังกฤษ และเยอรมัน ผู้พูดจะได้รับผลกระทบนี้มากกว่าผู้พูดภาษาจีนและญี่ปุ่น

การที่ผู้พูดภาษาเอเชียแสดงผล McGurk ไม่บ่อยนัก อาจเนื่องมาจากการปฏิบัติทางวัฒนธรรมที่หลีกเลี่ยงการสบตา. นอกจากนี้ โดยเฉพาะอย่างยิ่ง ภาษาจีนและภาษาญี่ปุ่นเป็นสองภาษาที่มีโครงสร้างภาษาแบบพยางค์มาก มักเป็นพยัญชนะ + สระ และ พยัญชนะ + สระ + พยัญชนะ ซึ่งทำให้พวกเขามีทักษะเฉพาะในการตรวจจับพยางค์ไม่ว่าริมฝีปากจะขยับอย่างไร คู่สนทนา