Способы обработки экспертных оценок

3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

3.1. Задачи обработки.

В зависимости от целей экспертного оценивания и метода учета экспертных оценок возникают следующие основные задачи:

построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов;
построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов;
определение относительных весов взаимосвязи объектов;
определение зависимостей между ранжировками;
определение согласованности мнений экспертов;
оценка надежности обработки результатов.

При решении многих задач недостаточно упорядочения объектов по одному или группе показателей. Необходимо иметь числовые значения для каждого объекта, определяющие его предпочтение перед другими объектами. Наличие таких оценок позволит определить обобщенную оценку для всей группы экспертов.

Обработка экспертных оценок позволяет вскрыть связанные показатели сравнения и осуществить группировку по степени связи. Так, например, если показатели сравнения — различные цели, а объекты сравнения — средства достижения этих целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос: «в какой степени достижение одной цели при данных средствах способствует достижению других целей» (то есть установить причинно-следственную связь).

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важнейших задач процедуры обработки является определение их надежности.

3.2. Групповая экспертная оценка объектов при непосредственном оценивании.

Существует множество подходов к решению данной задачи. С целью иллюстрации рассмотрим один из простейших. Пусть m экспертов провели оценку n объектов по L показателям. Результаты оценивания представлены величинами x_ij h , где i — номер объекта, j — номер эксперта, h — номер показателя. Величины x_ij h , которые были получены методам непосредственного оценивания, представляют собой числа из некоторого отрезка числовой оси, или баллы.

В качестве групповой оценки для каждого из объектов можно принять среднее взвешенное значение его оценки (6)

где q_h — коэффициенты весов показателей сравнения объектов, k_j — коэффициенты компетентности экспертов. Величины q_h и k_j являются нормированными, то есть .

Коэффициенты q_h могут быть определены экспертным путем, как средний коэффициент веса h-ого показателя по всем экспертам, то есть .

Возможность получение групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности основывается на выполнении:

аксиом теории полезности фон Неймана-Моргенштерна для индивидуальных и групповых оценок [3];
и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето) [4].

Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, то есть по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность эксперта должна оцениваться по степени согласованности его оценок с групповой оценкой объектов.

Для упрощения дальнейшего изложения, ограничимся рассмотрением случая h=1. То есть когда групповое оценивание объектов проводится на основе только одного показателя. Алгоритм вычисления групповых оценок и коэффициентов компетентности экспертов для этого случая имеет вид:

а) начальные условия при t=0,

т.е. начальное значение коэффициентов компетентности для всех экспертов принимается одинаковым и равным.

б) рекуррентные соотношения для t=1,2,3 .

в) признак окончания итерационного процесса .

Сходимость данной итерационной процедуры доказана в литературе для случая, когда индивидуальные оценки неотрицательны, а эксперты и объекты не распадаются на отдельные группы (то есть когда каждая группа экспертов не оценивает объекты своей группы). В большинстве практических задач эти условия выполняются, что доказывает сходимость алгоритма [5].

Пример. Три эксперта (m=3) оценили значение двух мероприятий (n=2) по степени их влияния на решение одной из проблем (h=1). Результатами экспертизы явились нормированные оценки мероприятий x_1j + x_2j = 1,где j = 1,2,3.

Источник

Экспертная оценка

Экспертная оценка необходима для ведения практически любой деятельности. Человек с профильным образованием и опытом в области исследования, считается экспертом. Его знания и навыки помогают принять объективное решение относительно положения продвигаемых товаров или услуг. Экспертные оценки используются, когда требуется консультация стороннего специалиста, чтобы взглянуть на положение дел под другим углом.

Что такое экспертная оценка

Это заключение, которое дает человек или группа лиц, наделенные экспертностью. Специалисты выступают источниками информации, помогая владельцам компаний скорректировать бизнес-процессы, чтобы устранить недостатки и проблемы.

Виды экспертных оценок

Виды различаются числом людей, участвующих в проверке. Их количество обычно отличается, исходя из принципов формирования экспертной группы.

Индивидуальные

Такие оценки основываются на мнении одного или нескольких экспертов, работающих отдельно друг от друга. Принимаемые таким образом решения могут быть характерны и для коллективной экспертизы, но в этом случае вердикт основывается на заключении лидера мнения.

Коллективные

Итоговая оценка группы представляет собой объединенное мнение нескольких экспертов. Она формируется в результате предварительного согласования внутри коллектива.

Требования к экспертной группе

От оценки экспертной группы зависит не только положение определенного продукта, но и бизнес компании. Поэтому отбор специалистов — сложная, многогранная задача, успешный результат которой определяет эффективность используемых методов и решений. Эксперт должен обладать:

компетентностью в необходимой сфере;

знаниями в смежных областях, напрямую не относящимся к исследуемому вопросу;

опытом практической работы, академическими и научными достижениями;

объективностью при формировании оценки;

способностью нестандартно мыслить в тех случаях, когда это требуется.

Методы экспертных оценок

Экспертное оценивание базируется на нескольких методах. Среди наиболее популярных можно выделить:

Ассоциативный. Заключается в изучении объекта, имеющего схожие свойства.

Парные сравнения. Сопоставляет альтернативы одного решения с целью изучения наиболее предпочтительных вариантов развития событий.

Фокальные объекты. Метод основывается на перенесении свойств и признаков случайно выбранных аналогов на объект исследования.

Средняя точка. В процессе оценивания выделяют два пути решения проблемы: наиболее и наименее предпочтительный. Между ними находится «средняя точка» — альтернатива, учитывающая особенности первого и второго варианта.

Выбор конкретного метода зависит от назначения экспертной оценки и выбирается после общения с заказчиком.

Достоинства метода экспертных оценок

Экспертное оценивание дает массу преимуществ для бизнеса, позволяя владельцам компаний улучшать положение фирмы на рынке. К основным достоинствам такого метода можно отнести:

возможность посмотреть на ситуацию более широко, чтобы увидеть потенциальное решение;

получение исчерпывающей информации по заявленной проблеме;

надежность предлагаемых оценок и решений;

получение рекомендаций от специалистов со знаниями и опытом в определенной сфере.

Этапы экспертного оценивания

Все виды экспертных оценок проходят несколько стадий до конечной точки исследования, когда предоставляется ценная информация по изучаемой проблеме. Она достигается с помощью следующих шагов.

Постановка цели исследования

Перед началом любой работы важно задать основную цель, которая определяет ход действия всего проекта. Вместо нее может присутствовать проблема, которую необходимо решить. В любом случае заказчик обязан сформулировать правильный вопрос для экспертной комиссии, сообщить о деталях изучаемого предмета и выразить свои пожелания относительно хода экспертизы.

Выбор формы исследования, определение бюджета проекта

Среди основных форм проведения исследований можно выделить две разновидности: очную и заочную. Очный метод считается более достоверным, так как позволяет эксперту наглядно оценить происходящее и провести ряд тестов непосредственно на месте. В то же время заочный метод обходится дешевле и успешно применяется во многих сферах бизнеса. Особенно хорошо такой способ используется для онлайн-продаж.

Также формы исследования предполагают различия в итерациях. Они делятся на итерационные (предполагающие несколько повторений процедуры экспертной оценки) и одношаговые, выполняющие только один раз.

После выбора подходящего метода и определения деталей исследования заказчику необходимо определиться с бюджетом. Затраты на процесс оценивания включают в себя экспертные услуги, аренду помещения и приобретение дополнительного оборудования.

Подготовка информационных материалов

Экспертная группа перед окончательным вердиктом проверяет возможность использования альтернативных вариантов и рассматривает изучаемый объект с разных сторон. Чтобы этот процесс прошел быстрее и качественнее, необходимо подготовить информационные материалы, содержащие описание проблемы, статистику, справки, анкеты. Чем разнообразнее предоставляемые сведения, тем больше у экспертов материала для аналитики.

Подбор экспертов

Эксперты должны быть не только компетентные и опытные. Важно, чтобы они не были заинтересованы в результатах исследования. Необъективное заключение негативно скажется на развитии бизнеса. Для этой цели может использоваться специальный метод, по которому один эксперт рекомендует другого, пока не подберется собранный по независимым рекомендациям коллектив.

Собранной группе или привлеченному специалисту следует уметь не только излагать текущие тенденции, но и делать прогнозы на основании полученных результатов.

Проведение экспертизы

Экспертиза не может строиться исключительно на оценке имеющихся материалов. Цель работы специалистов состоит в построении собственных гипотез, которые должны подтверждаться практической экспертизой. Для этого заказчик устанавливает четкий срок принятия окончательного решения по исследуемому вопросу. Наличие регламента поможет сохранять темп и не затягивать процедуру.

Анализ результатов

На этом этапе обрабатываются сведения, полученные в результате экспертизы. После анализа наиболее удачные решения внедряются в работу компании, способствуя оптимизации внутренних бизнес-процессов.

Подходы к экспертным оценкам

Экспертное оценивание помогает установить степень актуальности и сложности представленных проблем, выявить факторы, влияющие на ситуацию, выбрать альтернативы. Обширный спектр задач определяет существующие подходы к экспертным оценкам:

прогнозирующие — предназначены для оценки возможных вариантов развития событий, выявления принципов предпочтительного распределения ресурсов и перспектив развития изучаемого объекта;

интуитивные — предполагают мобилизацию знаний и опыта экспертов в тех случаях, когда не достает исходных данных для оценки состояния объекта.

Подходы применяются как с коллективом, так и при формировании индивидуальной оценки одного эксперта.

Экспертные ошибки

В заключениях иногда встречаются ошибки. Зачастую они происходят не из-за отсутствия необходимых компетенций у эксперта, а по причине возникающих заблуждений. Это может не зависеть от проверяющего субъекта, или быть субъективным фактором, обусловленным особенностями мышления эксперта. Выделяют две разновидности экспертных ошибок.

Систематические

Это ошибки, которые повторяются у одного и того же специалиста из раза в раз. В результате значение показателей отклоняется через преувеличение или преуменьшение реальной картины, складывающейся в бизнесе. Чтобы систематические ошибки не так сильно влияли на бизнес-процессы, следует использовать поправочные коэффициенты.

Случайные

Это тот тип ошибок, который случается у экспертов в любых сферах. Они могут изменяться от одной оценки к другой, поэтому для избегания этих ошибок стоит проводить дополнительную проверку.

Повторная экспертная оценка

Повторная экспертиза поможет найти ошибки и предотвратить неприятные последствия внедрения в бизнес-процессы неверных решений. Те же вопросы могут исследоваться на протяжении того же срока, но для этого приглашаются уже другие эксперты. Это подтвердит достоверность и объективность полученных результатов.

Применимость метода экспертных оценок

Оценки от экспертов находят свое применение в любой сфере бизнеса на разных этапах проверок. Такие исследования могут проводиться при выходе компании на рынок, в случае застоев и кризисов, при необходимости расширения и поиска новых рынков сбытов. Чаще всего к таким методам прибегают, если при выборе конкретного пути нельзя оперировать точными расчетами.

Заключение

Экспертная оценка помогает собственнику бизнеса объективно взглянуть на происходящие процессы и скорректировать некоторые области. Если вовремя выявить проблему и оперативно решить ее, можно избежать ощутимых потерь в бизнесе.

Источник

Электронная библиотека

Методы обработки экспертных решений

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные,

выражающие предпочтения экспертов и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Как уже отмечалось, все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т.е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. В случае получения результатов измерения, близких к истинным, суждения экспертов группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к серьёзным ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться не на методах, использующих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание мы уделим методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

· построения обобщенной оценки, объектов на основе индивидуальных оценок экспертов;

· построения обобщенной оценки на основе парного сравнения объектов каждым экспертом;

· определения относительных весов объектов;

· определения согласованного мнения экспертов;

· определение зависимостей между ранжировками;

· оценки надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т.п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и, тем саамы, устанавливать единство, и различие в мнениях экспертов. Важно установить зависимость между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами – средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение

одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

Групповая оценка объектов

Рассмотрим алгоритмы обработки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку n объектов по l показателям. Результаты оценки представлены в виде величин , где j – номер эксперта, i – номер объекта, h – номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирования, то величины представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результатов оценки существенно зависит от рассмотренных методов измерения.

Рассмотрим вначале случай, когда величины

(i = 1, …, n; j = 1, 2, …, m; h = 1, 2, …, l)

получены методами непосредственной оценки или последовательного сравнения, т.е. являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно воспользоваться средним значением оценки для каждого объекта:

где q_hj – коэффициенты весов показателей сравнения объектов, k_j – коэффициенты компетентности экспертов.

Коэффициенты весов показателей и компетентности объектов являются нормативными величинами:

Коэффициенты весов показателей могут быть определены экспертным путем. Если q_hj – коэффициент веса h-го показателя, даваемый j-м экспертом, то средний коэффициент веса h-го показателя по всем экспертам равен:

Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, т.е. по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Способ сумм рангов

Способ сумм рангов заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объектом от всех экспертов. Для матрицы ранжировок ||r_ij|| составляются суммы:

Далее объекты упорядочиваются по цепочке неравенств:

r₁ Срочно?
Закажи у профессионала, через форму заявки
8 (800) 100-77-13 с 7.00 до 22.00

Источник