Произвольный способ обобщения оценок экспертов

Методы экспертных оценок

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

Краткий ликбез

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение — это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a_ij — оценка признака экспертом. n — количество признаков, m — количество экспертов.
Затем, подсчитывается S_i — среднее значение важности признака.

Метод задания весовых коэффициентов (a_ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n_xn, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a_ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i Вычисление

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам

Источник

Произвольный способ обобщения оценок экспертов

Экспертные методы, предложенные М.А. Николаевой, подразделяются на три группы 1) методы группового опроса экспертов 2) математике-статистические методы обработки экспертных оценок 3) методы экспертной оценки показателей качества. [c.24]

Методы группового опроса экспертов [c.24]

Методы группового опроса основаны на проведении опроса группы экспертов с последующим анализом и обработкой полученной от них информации. [c.24]

Метод представляет собой обобщение оценок экспертов, касающихся перспектив развития того или иного экономического субъекта. Особенность метода состоит в последовательном, индивидуальном анонимном опросе экспертов. Такая методика исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлении к мнению большинства. [c.98]

Методы работы с количественной информацией более очевидны и традиционны в отличие от методов сбора и анализа качественной информации. Основными методами получения качественной информации являются беседы с руководителями и специалистами предприятия, экспертами, анкетные опросы работников предприятия, а также различные методы групповой работы, которые позволяют выработать согласованные взгляды и позиции по обсуждаемым проблемам. [c.55]

Опыт показал, что традиционные методы обсуждения поставленных перед группой экспертов вопросов, относящиеся к первому типу экспертных опросов, до достижения определенного согласия между ними или до выработки общей позиции не являются наилучшими методами использования группы экспертов. Эти методы обсуждения страдают рядом недостатков, таких, как взаимное влияние мнений экспертов и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов находят все большее распространение второй и третий типы групповых экспертных оценок. [c.201]

Экспертный метод позволяет определить затраты труда на выполнение конструкторских работ с помощью статистики мнений . Известно несколько путей проведения экспертного опроса индивидуальный, при котором от каждого эксперта получают независимые оценки и математически обрабатывают их для установления общей единой оценки групповой, предусматривающий получение суммарной оценки от всех экспертов сразу путем совместного обсуждения проблемы дельфийский, основанный на многоэтапном опросе экспертов для получения согласованных мнений. [c.32]

Рис. 3.3. Типовой сетевой график организации проведения маркетинговых исследований (работы 0-1 — предварительное изучение проблемы 1-2 — опрос экспертов 1-3 — изучение литературы 3-4 — групповые дискуссии по проблеме 4-5 — структурирование проблемы и определение цели сбора информации 5-6 — выработка концепции сбора данных (полное или выборочное, единичное или многоразовое исследование), формы сбора данных (опрос, наблюдение и т. д.), источники информации 5-7 — выбор объектов исследования (выделение генеральной совокупности, определение метода и объема выборки) 7-8 — построение плана исследования (исполнители, сроки, стоимость работ) 8-9 — комплекс параллельно выполняемых работ по организации сбора и контроля данных 9-10 — подготовка информации к обработке на ЭВМ 9-12 — подготовка необходимого программного обеспечения 10-11 — кодирование информации (в случае необходимости) 11-13 — ввод данных в ЭВМ (формирование файлов) 13-14 — обработка информации на ЭВМ 14-15 — интерпретация результатов и подготовка отчета 15-16 — передача отчета лицам, принимающим решение). Здесь———> обозначает фиктивные работы, т. е. логическую связь событий.

обозначает фиктивные работы, т. е. логическую связь событий. »

Применение методов экспертных оценок производится с использованием опыта специалистов и руководителей. Эти методы подразделяются на простую оценку, расширенную оценку, включающую как однократную, так и многократную экспертную оценку. При простой оценке потребность в персонале оценивается руководителем соответствующей службы. Метод не требует каких-либо существенных затрат однако его недостаток состоит в том, что эта оценка достаточно субъективна. Расширенная экспертная оценка проводится группой компетентных работников (экспертов). В зависимости от характера опроса различают однократную и многократную экспертные оценки. В процессе однократной экспертной оценки планируемая потребность в персонале оценивается каждым членом экспертной группы в отдельности и затем согласовывается между всеми ее членами. Недостатком здесь является то, что при определенных обстоятельствах групповая оценка может быть искажена под воздействием более авторитетного члена группы экспертов. С целью обеспечения объективности групповой оценки проводится многократная экспертная оценка, известная в практике как метод Дельфи. Суть [c.360]

При долгосрочном прогнозировании, как показывает опыт, наиболее надежная информация может быть получена с помощью опроса и соответствующей обработки мнений экспертов. Их работа начинается с составления сценария, в котором рассматривается текущее состояние системы и ее анализ. После этого приступают к выработке прогноза о способах развития системы. Такая работа выполняется в несколько этапов с учетом сопоставления мнений отдельных экспертов, обоснования их оценок. В результате путем постепенных приближений строятся соответствующие прогнозы. Экспертные оценки могут выполняться индивидуально и коллективно. При групповой работе ( мозговой атаке ) выдвигается на 70% больше ценных новых идей, чем при индивидуальной. Поэтому коллективный метод работы над прогнозом предпочтительнее. [c.90]

В отличие от метода комиссий и мозговой атаки процедура метода Дельфи предусматривает полную изоляцию экспертов и анонимность их мнений. Опрос производится в форме анкет для выяснения относительной важности и сроков свершения ожидаемых событий в прогнозируемой области. Групповое решение принимается не по мнению большинства, а на основе статистической обработки индивидуальных оценок с учетом степени согласованности мнений экспертов, которая характеризуется относительной величиной размаха индивидуальных оценок. [c.117]

При использовании методов оценки предпочтительности в случае, когда число экспертов равно двум или более, руководствуются правилами проведения групповых экспертных опросов. [c.171]

Одним из распространенных методов экспертной оценки является метод Дельфи , представляющий собой ряд последовательных процедур по подготовке и обоснованию прогноза. Эти процедуры характеризуются анонимностью (независимостью ответов экспертов) опроса регулируемой обратной связью между результатами опроса предыдущего этапа и подготовкой их нового варианта групповым характером ответа. Регулярная обратная связь осуществляется путем проведения нескольких туров опроса, на каждом из которых характеристики ответов обрабатываются с применением статистико-математических методов и результаты сообщаются экспертам. Групповой ответ формируется путем обработки и анализа результатов ответов экспертов. Критерием окончания его разработки, как правило, является близость указанных ответов. [c.194]

Наиболее ответственным этапом является формирование группы экспертов. Специалисты должны быть компетентными в рассматриваемой области. В состав группы должны включаться научный руководитель (главный конструктор), ведущие специалисты. Численный состав группы должен определяться видом работ, их сложностью, новизной и т. д. Группа экспертов должна состоять из 3-7 человек. При проведении опроса могут использоваться индивидуальный, групповой, дельфийский методы опроса. Как показывают исследования, для определения трудоемкости НИР и ОКР лучше использовать индивидуальный опрос. [c.383]

Опрос по методу Дельфи заключается в анкетировании экспертов с помощью опросных листов или внешних устройств ЭВМ в несколько туров, с обработкой результатов анкетирования после каждого тура и информированием экспертов об этих результатах. Используются и статистические характеристики ответов, отражающих мнение всей группы, что дает возможность представить групповой ответ в виде медианы и двух квар-телей, т.е. в виде такого числа, оценки которого одной половиной членов группы были больше этого числа, а другой половиной — меньше. [c.156]

Для обобщения оценок экспертов может применяться метод Дельфы2. Особенность метода состоит в последовательном анонимном опросе экспертов, исключающем их непосредственный контакт, направленном на уменьшение группового влияния, которое возникает при совместной работе экспертов и состоит в приспособлении к мнению большинства. [c.246]

Метод Дельфы (Дельфы — древнегреческий город располагавшийся у подножия горы Парнас, где находился так называемый дельфийский оракул) на сегодня представляет собой совокупность способов организации проведения экспертизы, опроса экспертов, обработки и оценки их результатов, получения группового заключения, удовлетворяющих определенным общим требованиям. Сущность метода заключается в организации итерационного (много-турового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последовательным сужением размаха в оценках экспертов соответствующих альтернатив на онове предоставления им дополнительной информации на второй и последующих итерациях с целью выявления одной или нескольких обоснованных точек зрения экспертной комиссии по исследуемому объекту. При реализации метода должны выполняться следующие требования анонимность каждого включенного в проведение экспертизы эксперта и информации по сути исследуемого объекта, сгенерированной конк- [c.287]

Метод Дельфи — это один из наиболее перспективных методов формирования групповой оценки экспертов. Метод Дельфи был разработан известным экспертом из исследовательской корпорации РЭНД О. Хельмером, математиком по образованию, что обеспечило получение достаточно точного прогноза. Метод Дельфи получил свое название от греческого города Дельфи и мудрецов, славившихся в древности предсказаниями будущего, представляет собой ряд последовательно осуществляемых процедур, направленных на формирование группового мнения по проблемам с ощутимым недостатком информации. Процедуры, используемые в методе Дельфи, характеризуются тремя основными чертами анонимностью, регулируемой обратной связью, групповым ответом. Анонимность достигается за счет применения специальных вопросников, контактом с ЭВМ и другими способами. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются с помощью статистических методов и сообщаются экспертам. От тура к туру мнения экспертов [c.112]

Одним из первых, применивших методы самооценки в 20-х гг., был академик С.Г. Струмилин. Принципы, положенные С.Г. Стру-милиным в основу методики самооценки, используются и в наше время. Суть методики состоит в том, что получив анкету, кандидаты в эксперты отвечают на ее вопросы. Эти ответы должны выявить эрудицию, способность к анализу и другие качества, также особо важно время ответа. Собрав анкеты самооценки, организаторы опроса могут рассчитать среднюю арифметическую групповую самооценку и получить численный индекс, характеризующий знания эксперта и знания группы. [c.100]

Информации, полученной от высшего руководства, отраслевых экспертов и из вторичных источников может быть недостаточно для определения проблемы маркетингового исследования. Иногда для более полного понимания проблемы и лежащих в ее основе факторов должно быть проведено качественное исследование. Качественное (qualitative resear h) является не структурированным, поисковым по своей природе, базируется на малых выборках и может использовать популярные качественные методы, такие как фокус-группы (групповые интервью), словесные ассоциации (просьба респондентов указать свои впечатления, которые с изучаемым объектом) и углубленные интервью (интервью один на один, которые изучают мысли респондентов). Могут также использоваться другие методы поискового исследования, такие как пилотные опросы с небольшими выборками респондентов. Более детально поисковые исследования обсуждаются в главе 3, а методы качественных исследований — в главе 5. Хотя исследование, используемое на этой стадии, может формально не проводиться, оно может предоставить ценное понимание сути вопроса, как проиллюстрировано на примере [c.68]

Источник