Способы согласования мнений экспертов

Тема 6. Экспертное прогнозирование

Целью изучения данной темы является создание базовой основы подготовки менеджеров по специальности 080507 в области построения моделей различных задач в сфере экономики, формирования у студентов систематизированного подхода к постановке и решению задач прогнозирования. Предлагаемый курс позволит специалистам быстрее адаптироваться к практической работе, лучше ориентироваться в научно-технической информации и литературе по специальности, увереннее принимать решения, возникающие в работе.

Основными задачами изучения темы являются получение студентами углубленных теоретических знаний по применению моделей прогноза, приобретение ими устойчивых навыков выполнения научно-исследовательских работ, умения решать сложные научные проблемы, связанные с построением моделей, включая и многомерные, способности к логическому анализу полученных результатов и определению путей поиска приемлемых решений.

Оглавление

Разработка формализованных прогнозирующих моделей, адекватных экспериментальным данным, и сбор информации, требуют больших затрат времени и средств. В некоторых случаях эффективнее использовать обобщенный опыт ведущих специалистов отрасли – экспертов. Весьма удобной формой привлечения этого источника априорной информации является анкетный опрос. С его помощью можно выявить оценки значимости признаков и на их основе установить, следует ли по тому или иному признаку собирать информацию, включать ли его в модель, и если включать, то в каком виде. Возможны разные способы организации анкетного опроса. Наиболее часто на практике используют следующий способ.

Исследователь заранее составляет перечень признаков, а задача эксперта сводится к их ранжированию по степени влияния на моделируемый показатель. Различают два способа ранжирования признаков.

Если число признаков относительно невелико (не более 15), то каждому эксперту предлагают расположить признаки в ряд по мере изменения степени их влияния на прогнозируемый показатель. В этом случае число мест равно числу признаков, и ответ эксперта есть строгая последовательность признаков. Место, занимаемое признаком в ряду, есть его ранг. Если опрашиваемому эксперту не удается разделить влияние некоторых факторов, то последним присваивается один и тот же ранговый номер.

При большом числе ранжируемых признаков заранее устанавливается число градаций шкалы оценок (число мест), и на одно место эксперт помещает несколько признаков. Выбранное число мест не должно быть чрезмерно большим, так как это может вызвать субъективные затруднения в определении порядка расположения признаков.

Анализ результатов анкетного опроса начинается с составления сводной таблицы. На пересечении каждой строки и столбца указывается место, присвоенное i-му признаку j —м экспертом.

После сводки результатов анкетного опроса переходят к их статистической обработке. Элементом статистической совокупности здесь является отдельная анкета. Она обычно содержит два рода сведений: основные – ответ эксперта на вопрос о порядке расположения признаков и вспомогательные – объективные характеристики самого опрашиваемого (должность, профессиональный стаж, образование, тип предприятия, которое он представляет и т. п.). Статистический анализ предполагает использование обеих групп сведений и их взаимосвязи.

При выборе математического аппарата для анализа результатов анкетного опроса необходимо учитывать специфические особенности информации подобного типа.

Во-первых, оценки по балльной шкале (ответы экспертов) не являются количественными признаками. Они представляют собой лишь измерение по шкале порядка или ординальной шкале. Эта шкала допускает соотношения равенство – неравенство и больше – меньше и не допускает арифметических операций над рангами. Возможность выполнения отдельных арифметических действий в каждом конкретном случае требует специального обоснования.

Во-вторых, при заполнении анкеты эксперт решает не ряд одномерных задач о месте каждого признака в отдельности, а одну многомерную задачу об относительном расположении всех признаков набора. Результаты оценки места отдельных признаков взаимозависимы.

В-третьих, коллективное мнение о порядке признаков может быть обоснованно установлено только при условии достаточно хорошей согласованности ответов опрашиваемых специалистов.

Вследствие этого обработка результатов анкетного опроса включает оценку степени согласованности мнений экспертов и выявление причин их разброса.

Таким образом, при статистическом анализе материалов опроса приходится работать с многомерными величинами, измеренными по ординальной шкале, и одна из основных задач анализа – оценка степени согласованности, близости этих многомерных величин. Для решения такого рода задач весьма эффективными являются методы распознавания образов.

Характеристики эксперта из вспомогательной группы сведений являются преимущественно классификационными (номинальными) признаками. Для их обработки должен использоваться соответствующий аппарат, в частности, тот же аппарат многомерной классификации (распознавания образов).

В общем случае статистический анализ материалов анкетного опроса предполагает следующие шаги:

1. группировка и агрегирование признаков;
2. оценка степени согласованности ответов экспертов по каждому признаку в отдельности и в целом по всему набору;
3. выделение групп экспертов с близкими мнениями о порядке расположения признаков в случае существенных расхождений в ответах (общая согласованность ответов);
4. выявление причин разброса мнений, определение влияния характеристик экспертов на содержание ответов;
5. формирование группового решения.

Рассмотрим каждый из шагов более подробно.

Группировка и агрегирование

Объединение близких по смыслу признаков в группы, как правило, приводит к более точной и согласованной оценке. Группировка позволяет определить рациональную степень агрегирования признаков. Кроме того, здесь можно перейти к новым, обобщенным признакам, например, главным компонентам.

Оценка согласованности ответов

Для оценки согласованности ответов по каждому признаку данные опроса удобно представить в виде таблицы вариационных рядов ответов (табл. 9.1). Здесь f _ij – число ответов на вопрос с присвоением i-го места j-му признаку. Если все эксперты дали ответы по всем признакам, то итоги строк будут равными (колонка «Общее число ответов»).

Вариационные ряды ответов

Признак

Число мнений о ранге признака

Источник

Способы согласования мнений экспертов

Библиографическая ссылка на статью:
Иванова Л.Н., Луговской В.Д. Экспертные оценки в принятии управленческих решений // Современные научные исследования и инновации. 2020. № 10 [Электронный ресурс]. URL: https://web.snauka.ru/issues/2020/10/93677 (дата обращения: 09.11.2021).

Теория и практика экспертных оценок как самостоятельное научное направление стало развиваться во второй половине 20-го века в рамках кибернетики, теории управления и исследования операций.

В настоящее время экспертные оценки являются наиболее распространенным способом получения и анализа информации, используемой при принятии управленческих решений, являясь эффективным, а зачастую и единственным средством решения широкого круга недостаточно формализуемых экономических проблем, проблем управления, планирования и прогнозирования.

Методы экспертных оценок – это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной или качественной форме, с целью подготовки информации для принятия решений.

В роли экспертов (от лат. еxpertus – опытный), как правило, выступают квалифицированные специалисты, имеющие опыт и специальные знания в узкой области, владеющие методами исследования.

Для лица принимающего решение экспертные оценки выступают в качестве информации, полезной при принятии взвешенных обоснованных решений, особенно при рассмотрении неструктурированных проблем.

К числу основных задач, при решении которых применяются методы экспертных оценок, можно отнести:

— анализ сложных явлений, процессов, систем, ситуаций, которые характеризуются в основном качественными, неформализуемыми характеристиками;

— прогнозирование тенденций развития объекта;

— выявление и ранжирование по заданному критерию наиболее значимых факторов, влияющих на функционирование и развитие объекта;

— выявление и оценка качественных и количественных критериев, необходимых для выбора управленческого решения;

— оценка альтернатив и выбор оптимального варианта решения.

Экспертизы делятся на индивидуальные и коллективные, однотуровые и многотуровые, анонимные и открытые, с обменом и без обмена информацией между экспертами.

При сборе и обработке экспертной информации применяют различные методы. Выбор того или иного метода осуществляется в зависимости от характера имеющейся информации и поставленных задач исследования.

Необходимо отметить, что в настоящее время не существует общепринятой классификации методов экспертных оценок и однозначных рекомендаций по их применению.

Несмотря на многообразие методов экспертных оценок, существуют определенные общие методические проблемы организации и проведения любой экспертизы, которые можно объединить в следующие группы:

— проблемы формирования экспертной комиссии (требования к экспертам, оценка их компетентности, выбор экспертов, размер групп);

— методы проведения экспертизы (анкетирование, интервьюирование, метод Дельфи, мозговой штурм, метод сценариев, ситуационного анализа и др.);

— подходы к оцениванию (ранжирование, методы парных и множественных сравнений, метод непосредственной оценки, метод Черчмена-Акофа, метод Неймана-Монгерштерна и др.);

— методы обработки экспертных оценок и получения результирующих экспертных оценок (проверка согласованности мнений экспертов (с использованием оценки дисперсии, среднего квадратического отклонения, коэффициента вариации, оценки вероятности для заданного интервала оценок, оценки ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т.п.), классификация экспертов при отсутствии их согласованности и усреднение мнений экспертов внутри согласованной группы).

Изучению особенностей и возможностей применения экспертных оценок посвящено много работ. [1-4 и др.]

Например, Б.Г.Литвак [2] рассматривает особенности различных мер близости (структурные, евклидовы, на метризованных отношениях, векторах предпочтений); описывает методы, основанные на выборе различных способов упорядочения и отношений предпочтения (методы ранжирования и гиперупорядочения, принцип отбрасывания альтернатив Эрроу, алгоритмы отыскания медианы Кемени, метризованные ранжирования, алгоритмы выбора по принципу Парето, методы определения предпочтений на множествах многомерных альтернатив и др.).

При использовании метода экспертных оценок обычно исследуемая характеристика трактуется как случайная величина, отражением закона распределения которой являются оценки экспертов, считается, что истинное значение исследуемой характеристики находится внутри интервала групповых экспертных оценок, а обобщенное коллективное мнение является достоверным.

Однако некоторые авторы подвергают сомнению это предположение. Например, в [1] все множество проблем, решаемых методами экспертных оценок, делится на два типа.

К первому относятся проблемы, не имеющие недостатка в информации. В таком случае при обработке результатов применимы методы усреднения, эксперт считается источником достоверной информации, а групповое мнение экспертов – близким к истинному решению.

Ко второму типу относятся проблемы, решаемые в условиях неопределенности и отсутствия объективной информации. В этом случае необходимо осторожно подходить к обработке результатов экспертизы, поскольку мнение одного, наиболее компетентного, эксперта может оказаться правильным, но при формальной обработке данных оно может быть утрачено. В связи с этим к задачам этой группы в основном следует применять качественную обработку результатов, использование методов усреднения в такой ситуации может привести к существенным ошибкам.

О проблеме догмы согласованности говорит А.И.Орлов [3], обращая внимание на то, что стремление обеспечить согласованность мнений экспертов любой ценой может приводить к сознательному одностороннему подбору экспертов и игнорированию мнений экспертов-диссидентов.

Иногда проблема согласования может быть связана с тем, что эксперты делятся на несколько групп, имеющих единые групповые точки зрения. В таком случае группы экспертов с близкими оценками можно выделить эконометрическими методами кластер-анализа, а для проверки согласованности использовать непараметрические методы.

К проблемам применения экспертных методов относится и субъективность как индивидуальных, так и групповых мнений экспертов. Причем, первые устраняются при обработке индивидуальных экспертных оценок, вторые не исчезают ни при каких способах обработки, а при применении некоторых методов выработки коллективных решений (например, в методе Дельфи) они могу усиливаться. Поэтому при применении экспертных опросов для принятия решений необходимо особое внимание уделять формированию экспертной группы и методам обработки результатов опроса, выделяя и учитывая редкие и противоречивые мнения.

Метод экспертной коллективной оценки – ранжирование. Ранжирование – расположение явлений (факторов) в порядке возрастания (убывания) по любому присущему ему признаку. Ранг– это показатель, характеризующий порядковое место оцениваемого объекта i (фактора) в группе других объектов. При ранжировании i–й эксперт должен расположить объекты (факторы, признаки) в порядке, который представляется ему наиболее рациональным, и приписать каждому из них числа натурального ряда – ранги (1, 2, 3 и т.д.) [5, с.97]. Подробнее о данном методе и других [5].

Библиографический список

1. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. – М.: Статистика, 1980. – 263 с.
2. Литвак Б.Г. Экспертная информация. Методы получения и анализа. – М.: Радио и связь, 1982. – 184 с.
3. Орлов А.И. Эконометрика. – М.: Издательство «Экзамен», 2004. – 576 с.
4. Панкова Л.А., Петрановский А.М., Шнейдерман М.В. Организация экспертизы и анализ экспертной информации. – М.: Наука, 1984. – 120 с.
5. Мамедова Л.Э., Иванова Л.Н. Учебное пособие. Методы принятия управленческих решений. Теория и практика. – СПб.: СПбГМТУ, 2017. – 122 с.

Количество просмотров публикации: Please wait

Источник

Методы экспертных оценок

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

Краткий ликбез

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение — это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a_ij — оценка признака экспертом. n — количество признаков, m — количество экспертов.
Затем, подсчитывается S_i — среднее значение важности признака.

Метод задания весовых коэффициентов (a_ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n_xn, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a_ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i Вычисление

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам

Источник