Какая форма у звука
Мы часто описываем звук через форму и ощущение: «острый», «круглый», «тяжёлый», «колючий». Это кажется обычной метафорой, но исследования показывают, что связь между звуком и формой гораздо глубже. Мы довольно устойчиво сопоставляем определённые звуки с определёнными визуальными и тактильными качествами, причём часть этих соответствий проявляется очень рано и повторяется у разных людей.
На этом принципе во многом строится и саунд-дизайн. Дальше разберём четыре уровня этой связи: как мы воспринимаем звук, как эти закономерности используют в продуктовых интерфейсах, можно ли создать для звука аналог цветового круга и как идеи Баухауса о форме перешли в обучение саунд-дизайну.
Почему буба круглая, а кики острая
В 1929 году психолог Вольфганг Кёлер провёл эксперимент, который стал одним из самых известных примеров связи звука и формы. Он показывал людям две фигуры, одну округлую и каплевидную, другую угловатую и зазубренную, и спрашивал, какая из них «балуба», а какая «такете». Ответы у разных людей часто совпадали: округлая форма воспринималась как «балуба», а острая как «такете».
В 2001 году Вилейанур Рамачандран и Эдвард Хаббард повторили похожий эксперимент с другими словами, «буба» и «кики». Около 95% участников назвали округлую фигуру «буба», а угловатую «кики». Под названием «эффект буба-кики» этот феномен и стал широко известен. Исследователи предположили, что дело не просто в языке. Возможно, наш мозг действительно связывает определённые звуки с определёнными формами.
Дальнейшие исследования поддержали эту идею. Эффект находят у носителей разных языков и систем письма. В 2022 году его проверили на 917 людях, говорящих на 25 языках. Похожие связи обнаруживают даже у маленьких детей, которые ещё не умеют читать. Это говорит о том, что такая ассоциация может появляться не только благодаря языку и культуре.
Почему так происходит, до конца не ясно. Одно из объяснений связано с тем, как мы произносим эти слова. При произнесении «буба» губы принимают округлую форму, а резкий звук «к» в «кики» воспринимается совсем иначе. Возможно, слух, зрение и движение речевого аппарата вместе создают эти соответствия.
При этом эффект работает не одинаково для всех. В некоторых языках он выражен слабее. Поэтому связь звука и формы лучше воспринимать как устойчивую склонность нашего восприятия. Определённые звуки просто чаще вызывают у нас ощущение определённой формы.
«Буба-кики» лишь самый известный пример таких связей. В науке их называют кросс-модальными соответствиями: это устойчивые ассоциации между разными органами чувств. В обзоре Чарльза Спенса 2011 года собрано множество подобных примеров. Высокие звуки чаще связывают с маленькими размерами и светлыми цветами, низкие с крупными и тёмными. Резкие звуки чаще воспринимаются как острые и угловатые, мягкие и глухие как округлые.
И это уже интересно с точки зрения звукового дизайна. Получается, что с помощью звука мы можем передавать не только настроение или характер, но и ощущение формы, размера и других физических свойств объекта.
Можно ли измерить форму звука
В 2014 году исследователи из Fraunhofer IDMT и Ольденбургского университета изучили, как люди воспринимают звуки бытовой техники: электробритв, пылесосов и распылителей.
Сначала участникам просто давали послушать эти звуки и просили описать их своими словами. Интересно, что люди использовали почти тот же язык, которым мы описываем форму и поверхность предметов: «острый», «тупой», «шершавый», «гладкий», «точный», «мощный».
Затем исследователи сравнили эти субъективные ощущения с измеримыми характеристиками звука. Например, с резкостью, шероховатостью и тональностью. Оказалось, что между ними действительно есть связь. Для электробритв ощущение точности и премиальности зависело в том числе от резкости и тональности звука. У пылесосов ощущение мощности определялось другим сочетанием характеристик, а у распылителей более ровный звук воспринимался как более качественный, чем прерывистый.
Получается, слова вроде «острый» или «гладкий» применительно к звуку не просто красивые метафоры. За частью этих ощущений стоят характеристики, которые можно измерять и менять.
Для продуктового саунд-дизайна это особенно важно. Звук устройства можно проектировать так же осознанно, как форму самого объекта: делать его более резким или мягким, ровным или шероховатым, тяжёлым или лёгким по ощущению.
Можно ли создать цветовой круг для звука
С цветом дизайнерам работать относительно просто. Ещё в начале XX века Альберт Манселл предложил систему, в которой цвет можно описывать через несколько параметров: тон, яркость и насыщенность. Позже появились другие цветовые пространства, но принцип остался тем же. Цвет получил систему координат, которая позволяет сравнивать оттенки и понимать, насколько они близки друг к другу.
Со звуком пытались сделать нечто похожее.
В 1994 году исследователь Стивен Баррасс предложил одну из первых моделей звукового пространства для сонификации, то есть представления данных с помощью звука. Он использовал несколько разных тембров и распределил их по высоте и яркости, пытаясь построить пространство, похожее на цветовой круг.
Со звуком это оказалось гораздо сложнее. У цвета есть несколько относительно понятных параметров, а звук меняется ещё и во времени. Кроме того, яркость разных тембров воспринимается не так последовательно, как, например, яркость или насыщенность цвета. Тем не менее эта модель стала попыткой создать для звука систему координат, где его можно описывать через тембр, яркость и высоту и сравнивать с другими звуками.
Почти тридцать лет спустя исследователи предложили другой подход. В 2022 году Давиде Роккессо с коллегами создали звуковое пространство на основе человеческого голоса. Гласные расположили по кругу, примерно как цвета в цветовом круге, а высоту и тип голоса сделали двумя другими параметрами.
И здесь появляется важное отличие. Абстрактные параметры звука человеку не всегда легко воспринимать интуитивно. Голос, наоборот, знаком нам с самого раннего возраста. Мы легко отличаем «а» от «и» или «у», слышим высоту и замечаем различия между голосами.
Получается, что исследователи уже несколько десятилетий пытаются дать звуку то, что давно есть у цвета: понятное пространство, в котором ощущения можно не только описывать словами, но и располагать относительно друг друга.
Пока универсального цветового круга для звука не существует. Но сама идея важна для дизайна: если мы научимся описывать звуки через понятную систему координат, ими станет проще управлять так же осознанно, как цветом, формой или типографикой.
Баухаус для слуха
Если предыдущие исследования пытались понять, как описать и упорядочить звук, то здесь возникает другой вопрос: как научить дизайнера чувствовать его форму?
В 2014 году Стефано Делле Монаке и Давиде Роккессо предложили перенести в звуковой дизайн подход, который когда-то использовали в Баухаусе. Их идея заключалась в том, что дизайнеру звука тоже нужен базовый курс, который развивает чувство формы и учит работать с ней осознанно.
Раньше звук предмета напрямую зависел от его конструкции и материала. Деревянная дверь скрипела, металлический предмет звенел, а керамическая чашка звучала так, как позволяли её форма и материал. С появлением электроники эта связь перестала быть обязательной. Теперь предмет может звучать практически как угодно, а значит, его звук тоже приходится проектировать.
Авторы обратились к методам Баухауса и Ульмской школы дизайна.
Йоханнес Иттен учил студентов понимать форму через контрасты: светлое и тёмное, мягкое и твёрдое, гладкое и шершавое. Этот же принцип можно перенести в звук и исследовать резкое и мягкое, ровное и прерывистое, спокойное и напряжённое.
Ласло Мохой-Надь рассматривал форму сразу через несколько органов чувств. Текстуру, объём и плотность можно не только увидеть, но и почувствовать руками или услышать. Ещё в 1937 году он писал, что формы и пространство можно различать на слух.
Йозеф Альберс строил обучение на упражнениях, у которых не было единственного правильного решения. Вместо него была конкретная задача и возможность сравнить разные способы её решить. Для звукового дизайна этот подход работает так же: правильного звука может не существовать, но можно оценивать, насколько хорошо он решает поставленную задачу.
В Ульмской школе Томас Мальдонадо сделал подобные упражнения ещё более строгими. В одном из них нужно было расположить несколько цветных полос так, чтобы ни одна из них не доминировала над остальными. Позже этот принцип перенесли в звук: несколько простых звуковых событий нужно было собрать в композицию так, чтобы ни одно не перетягивало внимание на себя.
Главная идея этого подхода довольно проста. Дизайнеры десятилетиями развивают чувство визуальной формы через работу с цветом, бумагой, материалом и композицией. Со звуком можно делать то же самое. Через простые упражнения постепенно развивается слуховая грамотность и способность воспринимать звук как материал, у которого тоже есть форма.
Как предметы помогают понять форму звука
Ещё раньше, в 2009 году, Давиде Роккессо, Пьетро Полотти и Стефано Делле Монаке предложили несколько практических упражнений, построенных на взаимодействии с обычными предметами.
Один из самых понятных примеров связан с кофеваркой moka. Когда мы её собираем, важно правильно закрутить части. Если затянуть слишком слабо, соединение может протекать, если слишком сильно, кофеварку потом будет трудно открыть.
Обычно устройство могло бы сообщать об этом с помощью индикаторов или отдельных сигналов. Но само движение руки происходит непрерывно. Поэтому исследователи поставили другую задачу: сделать звук, который будет непрерывно меняться вместе с усилием при закручивании и позволит человеку на слух почувствовать, насколько сильно затянуто соединение.
Получается интересная связь. Механическое свойство предмета, в данном случае движение резьбы и усилие руки, напрямую переводится в изменение звука. Человек не ждёт отдельного сигнала о том, что соединение затянуто достаточно, а слышит состояние предмета прямо во время действия.
Другой эксперимент получил название Gamelunch. Исследователи озвучивали действия со столовыми приборами и посудой: резание, прокалывание, наливание и перемешивание. Но звук специально не соответствовал тому, что происходило на самом деле.
Такое несоответствие заставляло человека сильнее обращать внимание на собственные движения. Привычное действие, которое обычно выполняется автоматически, внезапно начинало ощущаться иначе.
Эти упражнения показывают важную для звукового дизайна вещь. Звук может не просто сообщать о результате действия. Он способен передавать само состояние и характер взаимодействия с предметом, становясь частью его формы и поведения.
Что это даёт саунд-дизайнеру
Если собрать все эти исследования вместе, получается довольно цельная картина.
Мы естественным образом связываем звук с формой. Эффект буба-кики и другие исследования показывают, что одни звуки кажутся нам более округлыми, другие острыми, одни воспринимаются как маленькие и лёгкие, другие как большие и тяжёлые.
В продуктовом звуке эти ощущения уже можно связать с конкретными характеристиками. Резкость, шероховатость и тональность влияют на то, покажется ли звук точным, мощным, мягким или премиальным.
Исследователи пытаются пойти дальше и создать для звука систему координат, похожую на ту, что существует для цвета. А подход Баухауса показывает, что чувство звуковой формы можно ещё и развивать через практические упражнения.
Получается, что форма в саунд-дизайне не просто удобная метафора. Это рабочий инструмент. Мы можем описывать звук через форму, связывать это ощущение с измеримыми характеристиками и использовать эти знания при проектировании.
И самое интересное, что дизайнер не придумывает эту связь с нуля. Почти сто лет экспериментов, начиная с работ Вольфганга Кёлера, показывают, что определённые соответствия между звуком и формой уже существуют в нашем восприятии. Задача дизайнера в том, чтобы научиться их замечать и осознанно использовать.
