Команда дослідників з'ясувала, що рухи руками не лише акцентують увагу слухачів на словах мовця, а й впливають на сприйняття звуків. Так, помахи в певний момент мовлення змушують людей чути звуки як більш довгі або сприймати їх як ударні, інформує Ukr.Media.
Учені з Інституту психолінгвістики імені Макса Планка і Тілбурзького університету перевірили, чи можуть візуальні сигнали вплинути на наше сприйняття звуків. Щоб дослідити це питання, фахівці відібрали кілька голландських слів, які відрізнялися тільки наголосом. Наприклад, слово "Plato" з наголосом на перший склад — це ім'я давньогрецького філософа Платона. А з наголосом на другий — плато.
Потім учені відібрали групу чоловіків і жінок середнього віку. Їм показали відео, де один з авторів дослідження вимовляє омографи, паралельно роблячи ритмічні жести рукою. Опісля респондентам запропонували вибрати, яке слово вимовив учений, спираючись на вимову, а не на жести.
Виявилося, слухачі частіше сприймали склад як ударний, якщо на ньому акцентували увагу жестів. Цей ефект зберігався, навіть якщо вчений вимовляв не слово, а набір букв: "BAAGpif" або "baagPIF". Крім того, з'ясувалося, що жести впливали і на довжину голосної: так, в першому випадку учасники почули довгий "а" в слові "baagpif", а в другому — короткий. Результати і подробиці експерименту команда опублікувала в журналі Proceedings of the Royal Society B.
"Люди слухають не лише вухами, а й очима, — розповів Харт Рутгер Боскер, автор роботи. — Ці результати вперше показують, що жести впливають на те, які звуки ми чуємо". Дослідники вважають, що ефект може бути сильнішим у звичайному житті, коли мова, зазвичай, менш зрозуміла, ніж під час експерименту в лабораторії. Тому в умовах шуму жести можуть виявитися корисними.
Крім того, результати дослідів мають значення у взаємодії людини і комп'ютера — для поліпшення систем розпізнавання мови.
"Здається очевидним, що такі системи повинні враховувати більше, ніж просто мова", — підсумував Боскер.
Учені збираються продовжити дослідження, використовуючи технологію віртуальної реальності. Вони хочуть перевірити, наскільки специфічні ці ефекти, чи впливають на сприйняття звуків тільки жести чи можна впливати на слухачів і іншими візуальними сигналами, наприклад кивками голови або рухом брів.
