TEDxLasnamäe: как написать музыку с эмоцией "на заказ"?

Анна Альянаки. Фото: TEDxLasnamäe

Музыка заставляет слушателя испытывать определенную эмоцию, но каким образом достигается этот эффект и можно ли написать музыку, которая бы вызывала конкретную эмоцию «на заказ»? В этом вопросе разбирается Анна Альянаки, кандидат наук и специалист по машинному обучению, а также спикер TEDxLasnamäe.

(Rus.Postimees приводит печатную версию речи)

Что делает этот человек? Даже если вы никогда не видели моринхур и не слышали монгольское горловое пение, вы сразу догадались, что этот человек не собаку подзывает. Музыка - это универсальная константа человеческой культуры, она появилась в каждом известном нам человеческом сообществе, даже в самом изолированном. И так уже много тысяч лет. Музыкальные артефакты находят при раскопках самых древних слоев. Поэтому вы посмотрели это видео и сразу поняли, что этот человек занимается созданием звуковых волн разной частоты и амплитуды в нижней части слышимого спектра, приводя в колебание натянутые пучки конского волоса и собственные голосовые связки. Более интересный вопрос, почему несколько миллионов человек посмотрели это видео, а многие из них ещё и поставили лайк?   

Шесть лет назад этот вопрос показался бы мне таким же странным, как и вам. Но потом я начала работать над своей диссертацией, у меня возникло очень много таких странных вопросов. Я хотела создать новую технологию, которая могла бы подобрать (или, возможно, сочинить) такую музыку, которая меняла бы эмоцию слушателя на любую желаемую. Пилотный проект должны были запустить в доме престарелых. Пожилые пациенты в деменции обычно имеют тревожные расстройства, у них ухудшается память, они не могут вспомнить, как оказались в той комнате, в которую только что пришли. Они не помнят своих родных и что они делали вчера. Но зачастую музыку своей молодости они помнят, и музыка может их утешить так, как не могут сиделки и родственники. Люди давно мечтали о такой умной стерео системе, которая будет играть специально для них. Вот, например, волшебная флейта - прототип конца 18 века авторства Моцарта.

Волшебная флейта, конечно, пригодилась бы не только в доме престарелых. Музыку используют в спортзале, чтобы вы двигались энергичнее, в кино, чтобы сделать печальную сцену ещё печальнее, в рекламе, в ритуалах. Она способна сделать приятным даже документальный фильм про налоги. И музыка во всех этих контекстах влияет на вас, даже если вы этого не осознаете. При ожидании на телефоне, в среднем, люди ждут дольше, если на линии играет музыка. Люди дольше бродят по магазину, если включить медленную музыку, и быстрее закругляются с покупками, если музыка быстрая. Но как вообще так получилось, что музыка способна влиять на нас и наши эмоции? 

Ведь эмоции, вообще-то - это очень важный эволюционный механизм для реагирования на разные события с положительным или отрицательным исходом для нас. Эмоции запускают биохимические реакции, которые помогают нам быстро убраться подальше от чего-то длинного и шипящего. Прослушивание музыки, вроде, никак не влияет на нашу безопасность и не увеличивает нам зарплату. Ещё совсем недавно некоторые ученые вообще считали, что музыка эмоций вызывать не может. Но всё-таки мы испытываем эмоции не только когда потеряем кошелек или увидим такую пиктограмму (разряжающийся телефон). Мы также испытываем эмоции, сопереживая другому человеку (даже не обязательно существующему, не обязательно человеку, и не обязательно вообще чтобы это было хоть сколько-то правдоподобное существо).

Этот механизм называется эмпатия. Некоторые ученые считают, что эмпатия настолько мощный механизм, что мы способны испытывать ее даже к так называемой музыкальной персоне! То есть мы слушаем музыку, и если она минорная и медленная, мы переживаем за неё, потому что чувствуем, что минорной и медленной музыке плохо и грустно. В защиту этой теории говорит тот факт, что люди, более склонные к эмпатии, чаще испытывают сильные эмоции, когда слушают музыку. Но как мы вообще понимаем, что чувствует “музыкальная персона”?

С песнями всё более-менее понятно - текст, история, и голос вокалиста сами по себе вызывают эмоции и эмпатию. Но ведь инструментальная музыка вызывает эмоции тоже. Скорее всего, поющий голос и играющий инструмент не так сильно отличаются. Когда человек испытывает определенные эмоции, тембр его голоса и интонация меняются. Эти приемы может копировать инструмент. Громкие, быстрые звуки - это радость, энергия или агрессия, злость. Медленные, тихие звуки - спокойствие или печаль. Мы способны очень многое считать по тембру, громкости и диссонантности звука. (Здесь музыкальные примеры и параллели с голосом). 

Ученые из Германии поставили интересный эксперимент - они попробовали использовать компьютерную модель распознавания эмоций в речи для распознавания эмоций в музыке. Модель работала и на музыке тоже! Интересно, что когда они попробовали сделать наоборот - тренировать модель на музыке, а использовать для речи, получилось даже лучше! То есть, может быть, музыка - это эмоциональная речь на стероидах. 

Другой очень важный музыкальный механизм, не связанный с голосом - ритм. Люди - настолько ритмичные существа, что бессознательно не только замедляют или убыстряют шаги под музыку, но даже сердцебиение и дыхание меняются в ритме музыки (в некоторых физиологически разумных пределах). Причем, возможно, что мы являемся единственными существами, которые так воспринимают ритм. По крайней мере, это достаточно редкая способность. Другие приматы в экспериментах вообще не демонстрируют способность синхронизироваться с ритмом и предугадывать его, высчитывая темп. А мы делаем это, даже не задумываясь, когда танцуем. 

Третий элемент - это повторение. Музыка - абстрактное искусство, она создает свой акустический узор, и в этом узоре очень важны повторения одних и тех же мотивов. Это именно то, что очень любит наш мозг - искать и расшифровывать схемы и узоры, предугадывать реальность. Музыка даёт нам такую возможность, причем наш мозг кайфует и когда угадывает, и когда композитор подлавливает его на неожиданном ходе. 

Вообще, самые сильные эмоции мы обычно испытываем от уже хорошо знакомой музыки. Конечно, знакомая музыка может переносить нас к какими-то эмоционально значимым для нас моментам в жизни - в молодость или детство, к людям, с которыми мы расстались. Но эффект многократного повторения работает и сам по себе. Если дать людям послушать песню три раза подряд, на третий раз они будут испытывать более сильные эмоции, чем в первый. То же самое относится и к музыкальным жанрам. Музыканты в разных культурах и жанрах говорят немного на разных музыкальных языках, и чтобы понимать их, нужно выучить их фонетику и синтаксис. Когда первый раз слушаешь гамелан, очень хочется добраться до музыканта и настроить ему инструмент. Хотя на самом деле звуки гамелана просто не вписываются в равномерно темперированный звукоряд, они находятся между. 

Итак, мы примерно понимаем, почему и как музыка может вызывать эмоции. Мы обращаем внимание на тембр и интонации, синхронизируемся с ритмом, следим за музыкальным повествованием и наши ожидания подтверждаются и обманываются, мы ассоциируем какие-то события в нашей жизни с музыкой, и мы выучиваем определенный музыкальный язык (например, то, что минор - печальный). Как теперь научить всему этому компьютер? 

Распознавать эмоции в музыке - это фундаментально иного рода задача, чем, скажем, распознавать отдельные записи (то, что делает Shazam). Шазам распознает определенную песню по её короткому отрывку - это называется распознавание акустического отпечатка. Принципиальная разница в том, что для сличения акустических отпечатков нам абсолютно не важно, как слышит музыку человек.

Допустим, мы немного поменяем условие задачи, и захотим распознавать песню по её мелодии, которую кто-то напел. Это сразу делает задачу намного более сложной! Большинство музыкальных понятий существуют только в нашем восприятии, а в физической реальности они выглядят по-другому либо вовсе не существуют. Это касается не только таких сложных и субъективных штук, как чувство тональной иерархии или гулкость тембра.

Даже такие простые понятия, как громкость не являются объективным, наша субъективно воспринимаемая громкость зависит от высоты звука. И даже просто отдельные ноты на самом деле не существуют как объективные физические явления, а являются серией обертонов, которые наш мозг очень быстро и незаметно обрабатывает и предъявляет нам в расшифрованном виде - этот гундосый звук издала вот та длинная деревянная трубка. Поэтому вопрос о том, что именно человек воспринимает как мелодию, и какой именно участок этой мелодии покажется ему наиболее репрезентативным для конкретной песни - это совершенно нетривиальный вопрос.

Но мне нужна была именно система для похожей нетривиальной задачи - предсказывать эмоции в музыке. Чтобы обучить какой-нибудь алгоритм машинного обучения (например, сверточную нейронную сеть) отличать котят от щенков, нужно очень много примеров того, как выглядят котята и щенки. Точно так же дело обстоит с музыкой: чтобы отличать романтичные песни от бравурных, нужно много примеров того и другого. Для музыки даже можно использовать то же представление данных - двухмерные изображения (спектрограммы), хотя это и не идеальное решение. Поскольку данных нужно очень много, то проще всего собрать их, используя ответы большого количества людей. Но возможно ли вообще получить достаточно хорошее качество в таком субъективном вопросе, как эмоции в музыке? 

Чтобы собрать такие данные, я создала приложение, в котором можно было выбирать и слушать музыку, а в конце прослушивания приложение спрашивало, испытывал ли слушатель какие-то эмоции и какие. Музыка была малоизвестной, большинство людей слышали её в первый раз, они слушали кусочками, и могли выбрать только жанр. Конечно, в таком режиме музыка не всегда вызывала эмоции. Однако, если всё-таки вызывала, то они были достаточно похожими у разных людей. Но некоторые эмоции оказались более субъективными, чем другие.

Наименее субъективной эмоцией оказалось желание пританцовывать и двигаться под музыку (радостное возбуждение). Вот так звучала музыка, которая вызывала эту эмоцию у большинства людей. Также с большим постоянством музыка вызывала ощущение мощи, силы. А вот печаль или напряжение были более субъективными эмоциями. Разные эмоции возникают у нас под воздействием разных механизмов. Мой эксперимент показал мне, что некоторые механизмы намного проще воспроизводятся, чем некоторые другие. Ритмическая синхронизация оказалась самым стабильным из человеческих музыкальных механизмов. В этом и последующем эксперименте стало понятно, что другие очень важные и универсальные факторы - это громкость звука и тембр (похожие механизмы работают при реакции на эмоциональную речь, и они, возможно, отчасти врожденные). 

Мой алгоритм научился предсказывать некоторые эмоции (радостное возбуждение, силу, спокойствие, нежность), а некоторые другие на таких усредненных данных предсказывать было невозможно. Настоящую волшебную флейту возможно создать только для каждого человека индивидуально, зная его настроение в данный момент, и его музыкальный опыт. 

Почему музыкальные эмоции такие субъективные, и некоторые из механизмов музыкальных эмоций вообще срабатывают, похоже, не у всех людей? Потому что у каждого человека слух развит немного по-разному. Мы просто не одинаково хорошо и детально слышим. Слух - это единственное чувство, возникновение которого в мозге мы можем замерить напрямую, с помощью электроэнцефалограммы записав реакцию нейронов на звук, и напрямую сконвертировав электрический импульс обратно в звук.

Вот пример такой записи, где мы сначала слышим тот стимул, который проигрывали человеку, а потом сигнал, записанный из его мозга. Нина Краус из Северо-Западного университета в Чикаго использовала такие записи, чтобы измерить, насколько хорошо мозг маленьких детей или пожилых людей способен обработать звук. Она показала, что занятия музыкой меняют наш мозг и помогают нам лучше и точнее воспринимать не только музыку, но и речь, в том числе лучше расшифровывать эмоции в речи. Занятия музыкой помогают сохранить слух в старости и помогают легче учить иностранные языки.  

По-настоящему понимать музыку - это сложная работа для нашего мозга. Но это очень полезная и благодарная работа. Насколько глубоко волшебная флейта сможет тронуть именно вас и насколько музыка сможет тонко влиять на ваше настроение, зависит намного больше от вас, чем от флейты.

Rus.Postimees совместно с TEDxLasnamäe публикует видео-речи с конференции TEDxLasnamäe, которая прошла 6 апреля 2019 года.