Способы согласования оценок экспертов методика работы экспертных групп метод парных сравнений

Способы согласования оценок экспертов методика работы экспертных групп метод парных сравнений

1. Описание метода парных сравнений.

2. Достоинства и недостатки метода парных сравнений.

1. Описание метода парных сравнений

Метод парного сравнения — один из инструментов оценки и выбора решений, широко используется в экспертных оценках при необходимости расставлять приоритеты в процессе какой-либо деятельности или ранжирования различных объектов.

Идея метода состоит в том, что попарно сравниваются каждые два объекта и определяется первенство одного из них, отсюда название — «попарное (или парное) сравнение». Считается, что при решении проблемы гораздо легче сделать качественное сравнение двух объектов, опираясь на мнение экспертов, чем установить количественные критерии. Строго говоря, метод ПС — это метод получения исходных данных, метод своеобразного опроса респондентов. На базе полученных данных можно решать разные задачи, совсем необязательно включающие в себя построение оценочной шкалы. Предположим, что нас интересует, как респонденты изучаемой совокупности оценивают какие-либо объекты — профессии, политических лидеров, радиопередачи, какие-то виды товаров и т.д. Обозначим эти объекты через а1, а2, . аn (n — количество оцениваемых объектов).

Таблица 1. Пример использования метода ПС

Рассматриваемый метод позволяет получить ответ на этот вопрос в довольно своеобразном виде. Каждому респонденту предлагаются всевозможные пары, составленные из рассматриваемых объектов. Он должен относительно каждой пары сказать, какой объект из этой пары ему нравится больше. Скажем, в случае рассмотрения в качестве наших объектов некоторых профессий — к примеру, токаря, пекаря, лекаря и т.д. — мы спрашиваем у каждого респондента, какая профессия ему больше нравится: токарь или пекарь (фиксируем ответ), токарь или лекарь (фиксируем ответ), пекарь или лекарь (фиксируем ответ) и т.д. для всех возможных пар рассматриваемых объектов.

2. Достоинства и недостатки метода парных сравнений

Основные преимущества метода заключаются в следующем:

— допускается измерение неравномерно изменяющейся важности показателей, столь необходимое для решения большинства практических экономических задач;

-эксперт в процессе анализа сосредоточивает внимание не на всех показателях сразу, а только на двух, сравниваемых в каждый данный момент, что облегчает работу, а следовательно, способствует повышению ее качества;

-можно получить большое число сравнений каждого показателя с другими, благодаря чему повышается точность оценки и открывается возможность изучать качество большего числа сторон объекта исследования, нежели при использовании других методов;

-можно получить не только среднюю оценку показателя, данную каждым экспертом, но и дисперсию этой оценки, что дает возможность провести в дальнейшем более глубокий экономико-математический анализ

Метод парного сравнения — наиболее простой из существующих классификационных тестов, поскольку он предусматривает сопоставление только двух образцов продукта

Преимущество метода парных сравнений перед ранжированием заключается в том, что легче вынести суждение, поскольку супервизору одновременно нужно сравнивать только двух человек. Второе преимущество в том, что он предоставляет возможность поставить на один уровень людей, обладающих одинаковыми способностями.

Метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.

Данный метод очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Основные недостатки метода заключаются в следующем:

— в необходимости выполнять огромное количество парных сравнений, если приходится оценивать большие группы. Супервизор, у которого в подчинении находится 60 сотрудников, должен будет выполнить 1770 сравнений! Если же сравнение будет проводиться по пяти отдельным параметрам, то количество парных сравнений возрастет в пять раз. Обычно методом парных сравнений пользуются в двух случаях: либо при проведении оценки небольших групп, либо при проведении оценки только по одному параметру — по общей эффективности производственной деятельности

Один недостаток парных сравнений как экспериментального метода состоит в том, что сравнение п стимулов требует получения (п — 1) х (n / 2) суждений. Напр., для 10 стимулов требуется получить 45 суждений, а если бы мы захотели шкалировать набор из 50 стимулов, нам потребовалось бы 1225 суждений.

Основной минус метода парных сравнений — нет готовых программных разработок.

Чтобы воспользоваться этим методом, придется поручить компетентным работникам компании разработать специальную программу или заказывать ее у стороннего разработчика. Кроме того, пока не существует апробированных бизнес-решений в области деловой оценки, основанных исключительно на парных сравнениях, это скорее математический полуфабрикат, который служит для создания инструментов шкалирования. К тому же сама тестовая процедура выглядит довольно монотонной, что влияет на объективность исследовательских выводов. Да и качество результатов напрямую зависит от количества оценок и оцениваемых показателей, а также правильного отбора пар и их однозначного толкования.

Как правило, считается, что метод парных сравнений лучше, чем прямое ранжирование. Такая точка зрения не совсем верна, и вот почему.

Выбор метода всегда обусловлен исследовательской ситуацией, целями исследования. Естественно, если можно однозначно сформулировать основание ранжирования, то метод парных сравнений дает отличный результат и надо выбирать этот метод. Но бывают ситуации, когда невозможно и не очень нужно однозначно понимаемое основание ранжирования.

Недостатком метода является рост трудоемкости процедуры при увеличении числа объектов: уже при 12-15 объектах процедура становится трудоемкой. Кроме того, разные пары объектов иногда сопоставляются респондентами по разным критериям, что приводит к нетранзитивности предпочтений. Метод широко используется в экспертных оценках.

Вопросы для самоконтроля

Дайте определение методу попарных сравнений.

В чем состоит идея метода?

Опишите процесс сравнения?

Назовите достоинства метода парных сравнений.

Назовите недостатки метода парных сравнений.

Источник

Методы экспертных оценок

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

Краткий ликбез

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение — это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a_ij — оценка признака экспертом. n — количество признаков, m — количество экспертов.
Затем, подсчитывается S_i — среднее значение важности признака.

Метод задания весовых коэффициентов (a_ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n_xn, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a_ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i Вычисление

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам

Источник

Способы согласования оценок экспертов. Методика работы экспертных групп. Метод парных сравнений.

2.Экспертные методы рассматривают не как способ выявить общественное мнение, а как один из возможных подходов к всестороннему изучению сложных явлений, в которых окончательное решение должен принять человек.

Одной из задач принятия решений, требующих привлечения экспертов, является необходимость качественной оценки альтернатив, необходимость получить информацию качественного характера, основанию на опыте и интуиции специалистов. Такие качественные оценки носят название экспертных оценок.

1. Формирование экспертной группы в соответствии с целью работы.

2. Определение правил и порядка работы экспертной группы,3. Распределение потоков информации4. Формирование правил выработки коллективного мнения группы экспертов. 5. Формирование правил оценки компетентности экспертов.6. Анализ точек зрения экспертов.

Для получения необходимой информации при проведении экспертного оценивания применяют различные виды опроса экспертов-интервьюирование, дискуссии, анкетирование.

1.Дискуссии, чаще всего, используются в качестве способов (или методов) согласования оценок экспертов (в процессе проведения экспертизы). Наиболее известны следующие варианты дискуссий:

• метод «лицом к лицу». Открытое обсуждение заданной темы (проблемы). Группа состоит из 10-20 экспертов. Руководитель выступает только в роли наблюдателя, т.е. следит, чтобы каждый эксперт предлагают свои оценки;

• метод комиссий (10-12 человек). Многократное обсуждение одного и того же вопроса. Свободный обмен мнениями. Руководитель способствует активной работе каждого эксперта;

• метод «суда». Часть экспертов выступает в качестве «защитников» варианта решения,* другая часть — оппоненты, выступающие с доводами «против». Назначается эксперт, регулирующий ход экспертизы и выносящий решение;

• «мозговая атака». Первый этап — «принудительный» опрос группы экспертов, второй этап — свободное высказывание мнений или идей (по методу генерации идей). Проводится одно или ряд заседаний. Организатор должен исключить критику предложений экспертов. Разрешаются высказывания новых идей и выступления только в развитие предыдущего предложения,

• метод «ситуационного анализа». Для метода характерна поэтапная организация процесса активного сбора, оценки и переработки имеющейся первичной информации и производство новой -вторичной информации аналитического и прогнозного характера. Объектом исследования является новая ситуация. Наиболее успешное применение метода тогда, когда проблема носит ярко выраженный ситуационный характер.

3.Эксперт производит одновременное сравнение только двух объектов (парное сравнение).

При одновременном оценивании объектов первоначально производится их ранжирование. Полностью основываются на первичном ранжировании — порядковая шкала, а также количественная и балльная шкалы.

Правила проведения экспертного опроса. Метод Дельфи. Обработка результатов в методе Дельфи.

Правила должны обеспечивать условия для проявления творческих возможностей эксперта, а именно:

• независимость в формировании суждений;

• сохранение анонимности суждений;

• взаимное обсуждение аргументов при обосновании предпочтений;

• простота и удобство работы с анкетами, г) измеримость оцениваемых явлений. Характеризуется устойчивым набором признаков, имеющих различные состояния, которым могут быть поставлены в соответствие некоторые числа. Для выработки признаков устанавливаются градации, которым каждый эксперт должен поставить в соответствие определенные числа, характеризующие полезность, или важность признаков.

Процесс организации системы экспертного оценивания включает следующие основные этапы.

1. Формирование экспертной группы в соответствии с целью работы.

2. Определение правил и порядка работы экспертной группы,3. Распределение потоков информации4. Формирование правил выработки коллективного мнения группы экспертов. 5. Формирование правил оценки компетентности экспертов.6. Анализ точек зрения экспертов.

Для получения необходимой информации при проведении экспертного оценивания применяют различные виды опроса экспертов-интервьюирование, дискуссии, анкетирование.

Метод Дельфи — это итерационная процедура, которая позволяет подвергать мнение каждого эксперта критике со стороны всех остальных, не заставляя их фактически сталкиваться лицом к лицу. Идея метода заключается в том, чтобы создать механизм, обеспечивающий сохранение анонимности точек зрения отдельных лиц и тем самым свести к минимуму влияние красноречивых и обладающих даром убеждать личностей на поведение группы в целом[40,58].

Метод представляет собой ряд последовательных процедур, направленных на формирование группового мнения экспертов. Характерные особенности метода:

• регулируемая обратная связь,

• формирование групповой оценки на основе статистической обработки индивидуальных оценок экспертов,

• многошаговый характер оценивания

Анонимность опроса позволяет ослабить влияние отдельных «доминирующих «экспертов. Поскольку ответы экспертов анонимны, они имеют возможность пересмотреть свои ;мнения, данные на предыдущем туре, и при желании исправить оценки.

Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми они пренебрегали в предыдущих турах. Регулируемая обратная связь реализуется путем проведения [нескольких туров опроса, причем обработка результатов каждого тура Осуществляется с помощью статистических методов и результаты обработки сообщаются экспертам. Регулируемая обратная связь снижает влияние индивидуальных и групповых интересов, которые не Относятся к решаемым задачам, т.е. обратная связь повышает устойчивость и надежность групповой оценки (степень доверия к ней). Применение статистических методов обработки группового ответа позволяет уменьшить статистический разброс индивидуальных оценок и получить групповой ответ, в котором наиболее верно отражено мнение каждого эксперта.

При обработке результатов опроса в каждом туре полученные экспертные оценки упорядочиваютсямедиану и квартили.

Источник