Выражение эмоций способы их оценки

Введение в задачу распознавания эмоций

Распознавание эмоций – горячая тема в сфере искусственного интеллекта. К наиболее интересным областям применения подобных технологий можно отнести: распознавание состояния водителя, маркетинговые исследования, системы видеоаналитики для умных городов, человеко-машинное взаимодействие, мониторинг учащихся, проходящих online-курсы, носимые устройства и др.

В этом году компания ЦРТ посвятила этой теме свою летнюю школу по машинному обучению. В этой статье я постараюсь дать краткий экскурс в проблему распознавания эмоционального состояния человека и расскажу и подходах к ее решению.

Что такое эмоции?

Эмоция – это особый вид психических процессов, которые выражают переживание человеком его отношения к окружающему миру и самому себе. Согласно одной из теорий, автором которой является российский физиолог П.К. Анохин, способность испытывать эмоции была выработана в процессе эволюции как средство более успешной адаптации живых существ к условиям существования. Эмоция оказалась полезной для выживаемости и позволила живым существам быстро и наиболее экономно реагировать на внешние воздействия.

Эмоции играют огромную роль в жизни человека и межличностном общении. Они могут быть выражены различными способами: мимикой, позой, двигательными реакциями, голосом и вегетативными реакциями (частота сердечных сокращений, артериальное давление, частота дыхания). Однако наибольшей выразительностью обладает лицо человека.

Каждый человек выражает эмоции несколько по-разному. Известный американский психолог Пол Экман, исследуя невербальное поведение изолированных племен в Папуа-Новой Гвинее в 70-х годах прошлого века, установил, что ряд эмоций, а именно: гнев, страх, печаль, отвращение, презрение, удивление и радость являются универсальными и могут быть поняты человеком, независимо от его культуры.

Люди способны выражать широкий спектр эмоций. Считается, что их можно описать как комбинацию базовых эмоций (например, ностальгия – это что-то среднее между печалью и радостью). Но такой категориальный подход не всегда удобен, т.к. не позволяет количественно охарактеризовать силу эмоции. Поэтому наряду с дискретными моделями эмоций, был разработан ряд непрерывных. В модели Дж. Рассела водится двумерный базис, в котором каждая эмоция характеризуется знаком (valence) и интенсивностью (arousal). Ввиду своей простоты модель Рассела в последнее время приобретает все большую популярность в контексте задачи автоматической классификации выражения лица.

Итак, мы выяснили, что если вы не пытаетесь скрыть эмоциональное возбуждение, то ваше текущее состояние можно оценить по мимике лица. Более того, используя современные достижения в области deep learning возможно даже построить детектор лжи, по мотивам сериала «Lie to me», научной основой которого послужили непосредственно работы Пола Экмана. Однако эта задача далеко не так проста. Как показали исследования нейробиолога Лизы Фельдман Барретт, при распознавании эмоций человек активно использует контекстную информацию: голос, действия, ситуацию. Взгляните на фотографии ниже, это действительно так. Используя только область лица, правильное предсказание сделать невозможно. В связи с этим для решения этой задачи необходимо использовать как дополнительные модальности, так и информацию об изменении сигналов с течением времени.

Здесь мы рассмотрим подходы к анализу только двух модальностей: аудио и видео, так как эти сигналы могут быть получены бесконтактным путем. Чтобы подступиться к задаче в первую очередь нужно раздобыть данные. Вот список наиболее крупных общедоступных баз эмоций, известных мне. Изображения и видео в этих базах были размечены вручную, некоторые с использованием Amazon Mechanical Turk.

Название	Данные	Разметка	Год выпуска
OMG-Emotion challenge	aудио/видео	7 категорий, valence/arousal	2018
EmotiW challenge	aудио/видео	6 категорий	2018
AffectNet	изображения	7 категорий, valence/arousal	2017
AFEW-VA	видео	valence/arousal	2017
EmotioNet challenge	изображения	16 категорий	2017
EmoReact	aудио/видео	17 категорий	2016

Классический подход к задаче классификации эмоций

Наиболее простой способ определения эмоции по изображению лица основан на классификации ключевых точек (facial landmarks), координаты которых можно получить, используя различные алгоритмы PDM, CML, AAM, DPM или CNN. Обычно размечают от 5 до 68 точек, привязывая их к положению бровей, глаз, губ, носа, челюсти, что позволяет частично захватить мимику. Нормализованные координаты точек можно непосредственно подать в классификатор (например, SVM или Random Forest) и получить базовое решение. Естественно положение лиц при этом должно быть выровнено.

Простое использование координат без визуальной компоненты приводит к существенной потере полезной информации, поэтому для улучшения системы в этих точках вычисляют различные дескрипторы: LBP, HOG, SIFT, LATCH и др. После конкатенации дескрипторов и редукции размерности с помощью PCA полученный вектор признаков можно использовать для классификации эмоций.

Однако такой подход уже считается устаревшим, так как известно, что глубокие сверточные сети являются лучшим выбором для анализа визуальных данных.

Классификация эмоций с применением deep learning

Для того чтобы построить нейросетевой классификатор достаточно взять какую-нибудь сеть с базовой архитектурой, предварительно обученную на ImageNet, и переобучить последние несколько слоев. Так можно получить хорошее базовое решение для классификации различных данных, но учитывая специфику задачи, более подходящими будут нейросети, используемые для крупномасштабных задач распознавания лиц.

Итак, построить классификатор эмоций по отдельным изображениям достаточно просто, но как мы выяснили, мгновенные снимки не совсем точно отражают истинные эмоции, которые испытывает человек в данной ситуации. Поэтому для повышения точности системы необходимо анализировать последовательности кадров. Сделать это можно двумя путями. Первым способом является подача высокоуровневых признаков, полученных от CNN, классифицирующей каждый отдельный кадр, в рекуррентную сеть (например, LSTM) для захвата временной составляющей.

Второй способ заключается в непосредственной подаче последовательности кадров, взятых из видео с некоторым шагом, на вход 3D-CNN. Подобные CNN используют свертки с тремя степенями свободы, преобразующие четырехмерный вход в трехмерные карты признаков.

На самом деле в общем случае эти два подхода можно объединить, сконструировав вот такого монстра.

Классификация эмоций по речи

На основе визуальных данных можно с высокой точностью предсказывать знак эмоции, но при определении интенсивности предпочтительнее использовать речевые сигналы. Анализировать аудио немного сложнее ввиду сильной вариативности длительности речи и голосов дикторов. Обычно для этого используют не исходную звуковую волну, а разнообразные наборы признаков, например: F0, MFCC, LPC, i-вектора и др. В задаче распознавания эмоций по речи хорошо себя зарекомендовала открытая библиотека OpenSMILE, содержащая богатый набор алгоритмов для анализа речи и музыкальных сигналов. После извлечения, признаки могут быть поданы в SVM или LSTM для классификации.

Однако в последнее время сверточные нейронные сети стали проникать и в область анализа звука, вытесняя устоявшиеся подходы. Для того чтобы их применить, звук представляют в виде спектрограмм в линейной или mel-шкале, после чего с полученными спектрограммами оперируют как с обычными двумерными изображениями. При этом проблема произвольного размера спектрограмм по временной оси элегантно решается при помощи статистического пулинга или за счет включения в архитектуру рекуррентной сети.

Аудиовизуальное распознавание эмоций

Итак, мы рассмотрели ряд подходов к анализу аудио- и видеомодальностей, остался заключительный этап – объединение классификаторов для вывода окончательного решения. Простейшим способом является непосредственное объединение их оценок. В этом случае достаточно взять максимум или среднее. Более сложным вариантом является объединение на уровне эмбеддингов для каждой модальности. Для этого часто применяют SVM, но это не всегда корректно, так как эмбеддинги могут иметь различную норму. В связи с этим были разработаны более продвинутые алгоритмы, например: Multiple Kernel Learning и ModDrop.

Ну и конечно стоит упомянуть о классе так называемых end-to-end решений, которые могут обучаться непосредственно на сырых данных от нескольких датчиков без всякой предварительной обработки.

В целом задача автоматического распознавания эмоций еще далека от решения. Судя по результатам прошлогоднего конкурса Emotion Recognition in the Wild, лучшие решения достигают точности порядка 60%. Надеюсь, что представленной в этой статье информации будет достаточно, для того чтобы попытаться построить собственную систему распознавания эмоций.

Источник

Умение понимать эмоциональное состояние

Эмоции управляют человеком сильнее, чем это кажется на первый взгляд. Даже отсутствие эмоций – это эмоция, точнее целое состояние, которое характеризуется своими особенностями в поведении человека.

Эмоциональные состояния – психические состояния, которые возникают в процессе жизнедеятельности субъекта и определяют не только уровень информационно-энергетического обмена, но и направленность поведения.

Почему так важно распознавать свое эмоциональное состояние и других? Все просто: от него зависит направление мыслей, возможности мышления, поведение, уровень агрессии, мотивации, общительности.

Если вы не понимаете своего эмоционального состояния, то не сможете повлиять на него, если оно станет разрушительным. Вы, вероятно, попытаетесь заглушить его при помощи внешних решений, таких как алкоголь, сигареты, шоппинг или еда – но все это в итоге не поможет и отразится как на здоровье, так и на психике.

Если же вы не умеете распознать эмоциональное состояние собеседника, это может привести к конфликтам. С каждым такое было: вроде разговариваешь с человеком как обычно, а встречаешь на агрессию. Поэтому мы разделим статью на две части. В первой вы получите советы, как распознать свое эмоциональное состояние, а в другой – как понять чужое.

Как распознать свое эмоциональное состояние?

Как мы уже говорили, человек, который разбирается в своих эмоциях, может снизить воздействие негативных, а также ввести себя в любое состояние. Если он сейчас ленив, то может найти способы избавиться от этого состояния и войти в рабочее. Если печален, то сможет немного развеяться.

Но опять же, чтобы изменить свое настроение, нужно, прежде всего, научиться понимать свое нынешнее состояние. Давайте на примере злости и гнева посмотрим, как можно распознавать свои эмоциональные состояния.

Распознавание физиологических признаков злости и гнева

Первым шагом в эффективном управлении гневом является распознавание – момент, когда вы начинаете злиться. То есть вам нужно уловить все промежуточные состояния: раздражение, злость и только потом гнев.

Сосредоточимся на злости, потому что гнев попросту не имеет смысла распознавать. Некоторые физические признаки злости включают:

• сжатые челюсти;
• боль в животе;
• дрожь на лице;
• пот на ладонях;
• легкое головокружение.

Эмоционально вы можете почувствовать:

• желание уйти от ситуации;
• раздражительность или грусть;
• обиду;
• подавленность.

Вы также можете заметить, что потираете голову, не можете найти себе места, применяете саркастический тон, хотите пить, повышаете голос. Очень важно развивать осознанность, чтобы вовремя заметить закипающую злость. Порой одного этого достаточно для того, чтобы ее интенсивность пошла на спад.

Как же еще можно научиться распознавать свое эмоциональное состояние? Вот несколько способов.

Расширяйте свой эмоциональный словарь

Слова важны. Если вы испытываете сильные эмоции, подумайте, как это назвать. Но не останавливайтесь: как только вы это определите, попробуйте придумать еще два слова, которые описывают, как вы себя чувствуете, в каком состоянии находитесь. Вы можете быть удивлены широтой своих эмоций, или обнаружением более глубокой эмоции под поверхностью очевидной.

Можете для начала разделить эмоциональные состояния на категории. Они довольно условные, но помогают быстро принять решения:

• Злость: раздражительность, угрюмость, нетерпение, фрустрация.
• Печаль: сожаление, пессимизм, желание расплакаться, мрачность.
• Беспокойство: тревога, осторожность, настороженность, стресс, ощущение тупика.
• Боль: ощущение предательства, шок, изоляция, мука, синдром жертвы.
• Счастье: благодарность, доверие, возбужденность, расслабленность, облегчение, уверенность.

Важно также отличать эмоции и состояния. Ключевая разница – в продолжительности. Можно испытывать печаль, а можно пребывать в печальном состоянии. В первом случае эмоция может длиться несколько минут, а во втором – дни и даже недели.

Научитесь понимать интенсивность эмоций

Мы склонны прибегать к ярлыкам-крайностям, таким как «сердитый» или «в стрессе», даже когда наши чувства гораздо менее экстремальные.

Многие психологи твердят одно и то же десятилетиями: измените свои речевые шаблоны – и вы измените состояние. Вот почему важно не только назвать эмоцию, но и выяснить ее интенсивность.

Когда определяете свои эмоции, оценивайте их по шкале от 1 до 10. Насколько они сильны? Что происходит с вашим эмоциональным состоянием, когда вы выбираете другие слова?

Запишите их

Американский психолог Джеймс Пеннебейкер в течение 40 лет проводил исследования, пытаясь выявить связь между записыванием и пониманием эмоций. Исследования показали, что люди, которые регулярно записывают свои переживания и эмоциональные состояния, испытывают заметное улучшение физического и психического благополучия.

Эти эксперименты также показали, что со временем те, кто писал о своих чувствах, развивали понимание того, что они означают (или что они точно не значат, что не менее важно), используя такие фразы, как «Это меня поразило», «Причина в том, что …», «Теперь я понимаю, что …», «Я понял, что …». Процесс письма позволил им получить новую точку зрения на свои эмоции и более четко понять их влияние и последствия.

Вы можете делать записи каждый день, но особенно это полезно во время сложных периодов жизни или серьезных изменений (свадьба, рождение ребенка, увольнение), либо если вы чувствуете эмоциональную суматоху.

• Установите таймер на 20 минут.
• Используя ноутбук или блокнот, напишите о своих эмоциональных переживаниях на прошлой неделе, в этом месяце или году.
• Не беспокойтесь о том, чтобы сделать его идеальным или удобочитаемым: отправляйтесь туда, куда вас ведет мысль.
• Вам даже не обязательно сохранять этот документ – важно, что вы выплеснули свои мысли и эмоции.

Вы также можете использовать эти три подхода и когда пытаетесь лучше понять эмоциональное состояние другого человека. Об этом мы сейчас и поговорим.

Как распознать эмоциональное состояние другого человека?

Разговоры с другими людьми зачастую эмоциональны. И даже если вы не имеете никаких негативных намерений, собеседник может отреагировать совершенно не соответствующе словам. Почему так происходит? Дело в том, что вы могли неправильно считать его эмоциональное состояние.

К примеру, собеседник чем-то раздражен и не хочет, чтобы к нему приближались, а уж тем более – обращались. В этом случае очень важно научиться считывать эмоциональное состояние партнера, чтобы умело подбирать слова. Искусству чтения людей учит такая дисциплина как профайлинг. Пройдите курс, если хотите развить этот навык.

Возможно, вы хорошо знаете свое эмоциональное состояние, но плохо разбираетесь в чужом (такое случается сплошь и рядом). Это приводит к конфликтам, потому что вы переносите свое состояние на собеседника, считая, что он находится в том же настроении. Вот почему так важно научиться понимать его верно.

Распознавание социальных сигналов эмоционального состояния

Шаг первый: обратите внимание на лицо. Лицо – это та часть тела, которая чаще всего первой проявляет эмоции. Если вы пытаетесь определить, грустит ли человек, расстроен ли он, испытывает ли одиночество или каким-либо иным образом переживает боль, пристально вглядитесь в выражение его лица.

• В отличие от некоторых социальных сигналов, семь основных выражений лица являются универсальными в разных культурах – радость, удивление, презрение, гнев, отвращение, печаль, страх.
• Лицевые выражения быстро меняются и могут передавать более чем одну эмоцию за раз. Например, лицо человека может показать как веселье, так и страх, если произошло что-то очень удивительное.

Шаг второй: изучите знаки печали и грусти, злости и раздражения. Именно эти состояния наиболее важны, потому что неправильный подход, неприемлемая фраза могут привести к конфликту. Если человек счастлив и весел, вдохновлен и мотивирован, сложно сказать что-либо не то и поссориться с ним. Но в случае печали, грусти, злости и раздражения этого «добиться» очень легко.

Существуют характерные проявления печали. Внутренние уголки бровей приподняты и могут быть слегка сведены. Внутренние уголки верхних век подтянуты кверху, а нижние веки могут казаться приподнятыми. Уголки губ опущены или же губы могут выглядеть дрожащими. И все же первый признак грусти и печали – слегка сведенные брови.

О злости же мы поговорили в начале статьи. Изучайте, как именно эмоции проявляются на лице и в теле – и вы сможете читать состояние человека намного лучше.

Проявление эмпатии

Совет: научитесь внимательно слушать. Вы наверняка сотни раз слышали данный совет, но, возможно, не использовали его. Постарайтесь унять свои мысли и обратить внимание на то, что говорит собеседник.

Шаг первый: выясните, что вы понимаете, о чем человек говорит. Человеческая лень не знает границ. Нам порой так хочется убедить себя в том, что мы понимаем человека, лишь бы не тратить ментальных усилий на уточняющие вопросы.

Задавайте вопросы и повторяйте ответы своими словами. Не думайте, что это замедляет разговор. Наоборот, вы сможете добиться намного большего, если оба будете понимать, что имеет в виду собеседник.

Особое внимание обратите на то, когда речь заходит об эмоциях. Возможно, понадобится не только слушать собеседника, но и тщательно наблюдать за его мимикой, жестами и языком тела.

Шаг второй: слушайте без осуждения. У нас в голове постоянно крутится голос, который трудно заставить замолчать. Однако сделать это возможно. Нельзя давать ему слова во время монолога собеседника, кроме того – запрещайте ему судить.

Когда мы осуждаем человека, пусть и у себя в голове, это дает мозгу команду: «Я все о нем знаю». Такой подход снижает внимательность, а значит, вы не сможете распознать микровыражения, а также обратить внимание на некоторые важные слова, которые произносит собеседник. Поэтому будьте предельно внимательны.

Источник