Способы проведения экспертной оценки

Экспертная оценка

Экспертная оценка необходима для ведения практически любой деятельности. Человек с профильным образованием и опытом в области исследования, считается экспертом. Его знания и навыки помогают принять объективное решение относительно положения продвигаемых товаров или услуг. Экспертные оценки используются, когда требуется консультация стороннего специалиста, чтобы взглянуть на положение дел под другим углом.

Что такое экспертная оценка

Это заключение, которое дает человек или группа лиц, наделенные экспертностью. Специалисты выступают источниками информации, помогая владельцам компаний скорректировать бизнес-процессы, чтобы устранить недостатки и проблемы.

Виды экспертных оценок

Виды различаются числом людей, участвующих в проверке. Их количество обычно отличается, исходя из принципов формирования экспертной группы.

Индивидуальные

Такие оценки основываются на мнении одного или нескольких экспертов, работающих отдельно друг от друга. Принимаемые таким образом решения могут быть характерны и для коллективной экспертизы, но в этом случае вердикт основывается на заключении лидера мнения.

Коллективные

Итоговая оценка группы представляет собой объединенное мнение нескольких экспертов. Она формируется в результате предварительного согласования внутри коллектива.

Требования к экспертной группе

От оценки экспертной группы зависит не только положение определенного продукта, но и бизнес компании. Поэтому отбор специалистов — сложная, многогранная задача, успешный результат которой определяет эффективность используемых методов и решений. Эксперт должен обладать:

компетентностью в необходимой сфере;

знаниями в смежных областях, напрямую не относящимся к исследуемому вопросу;

опытом практической работы, академическими и научными достижениями;

объективностью при формировании оценки;

способностью нестандартно мыслить в тех случаях, когда это требуется.

Методы экспертных оценок

Экспертное оценивание базируется на нескольких методах. Среди наиболее популярных можно выделить:

Ассоциативный. Заключается в изучении объекта, имеющего схожие свойства.

Парные сравнения. Сопоставляет альтернативы одного решения с целью изучения наиболее предпочтительных вариантов развития событий.

Фокальные объекты. Метод основывается на перенесении свойств и признаков случайно выбранных аналогов на объект исследования.

Средняя точка. В процессе оценивания выделяют два пути решения проблемы: наиболее и наименее предпочтительный. Между ними находится «средняя точка» — альтернатива, учитывающая особенности первого и второго варианта.

Выбор конкретного метода зависит от назначения экспертной оценки и выбирается после общения с заказчиком.

Достоинства метода экспертных оценок

Экспертное оценивание дает массу преимуществ для бизнеса, позволяя владельцам компаний улучшать положение фирмы на рынке. К основным достоинствам такого метода можно отнести:

возможность посмотреть на ситуацию более широко, чтобы увидеть потенциальное решение;

получение исчерпывающей информации по заявленной проблеме;

надежность предлагаемых оценок и решений;

получение рекомендаций от специалистов со знаниями и опытом в определенной сфере.

Этапы экспертного оценивания

Все виды экспертных оценок проходят несколько стадий до конечной точки исследования, когда предоставляется ценная информация по изучаемой проблеме. Она достигается с помощью следующих шагов.

Постановка цели исследования

Перед началом любой работы важно задать основную цель, которая определяет ход действия всего проекта. Вместо нее может присутствовать проблема, которую необходимо решить. В любом случае заказчик обязан сформулировать правильный вопрос для экспертной комиссии, сообщить о деталях изучаемого предмета и выразить свои пожелания относительно хода экспертизы.

Выбор формы исследования, определение бюджета проекта

Среди основных форм проведения исследований можно выделить две разновидности: очную и заочную. Очный метод считается более достоверным, так как позволяет эксперту наглядно оценить происходящее и провести ряд тестов непосредственно на месте. В то же время заочный метод обходится дешевле и успешно применяется во многих сферах бизнеса. Особенно хорошо такой способ используется для онлайн-продаж.

Также формы исследования предполагают различия в итерациях. Они делятся на итерационные (предполагающие несколько повторений процедуры экспертной оценки) и одношаговые, выполняющие только один раз.

После выбора подходящего метода и определения деталей исследования заказчику необходимо определиться с бюджетом. Затраты на процесс оценивания включают в себя экспертные услуги, аренду помещения и приобретение дополнительного оборудования.

Подготовка информационных материалов

Экспертная группа перед окончательным вердиктом проверяет возможность использования альтернативных вариантов и рассматривает изучаемый объект с разных сторон. Чтобы этот процесс прошел быстрее и качественнее, необходимо подготовить информационные материалы, содержащие описание проблемы, статистику, справки, анкеты. Чем разнообразнее предоставляемые сведения, тем больше у экспертов материала для аналитики.

Подбор экспертов

Эксперты должны быть не только компетентные и опытные. Важно, чтобы они не были заинтересованы в результатах исследования. Необъективное заключение негативно скажется на развитии бизнеса. Для этой цели может использоваться специальный метод, по которому один эксперт рекомендует другого, пока не подберется собранный по независимым рекомендациям коллектив.

Собранной группе или привлеченному специалисту следует уметь не только излагать текущие тенденции, но и делать прогнозы на основании полученных результатов.

Проведение экспертизы

Экспертиза не может строиться исключительно на оценке имеющихся материалов. Цель работы специалистов состоит в построении собственных гипотез, которые должны подтверждаться практической экспертизой. Для этого заказчик устанавливает четкий срок принятия окончательного решения по исследуемому вопросу. Наличие регламента поможет сохранять темп и не затягивать процедуру.

Анализ результатов

На этом этапе обрабатываются сведения, полученные в результате экспертизы. После анализа наиболее удачные решения внедряются в работу компании, способствуя оптимизации внутренних бизнес-процессов.

Подходы к экспертным оценкам

Экспертное оценивание помогает установить степень актуальности и сложности представленных проблем, выявить факторы, влияющие на ситуацию, выбрать альтернативы. Обширный спектр задач определяет существующие подходы к экспертным оценкам:

прогнозирующие — предназначены для оценки возможных вариантов развития событий, выявления принципов предпочтительного распределения ресурсов и перспектив развития изучаемого объекта;

интуитивные — предполагают мобилизацию знаний и опыта экспертов в тех случаях, когда не достает исходных данных для оценки состояния объекта.

Подходы применяются как с коллективом, так и при формировании индивидуальной оценки одного эксперта.

Экспертные ошибки

В заключениях иногда встречаются ошибки. Зачастую они происходят не из-за отсутствия необходимых компетенций у эксперта, а по причине возникающих заблуждений. Это может не зависеть от проверяющего субъекта, или быть субъективным фактором, обусловленным особенностями мышления эксперта. Выделяют две разновидности экспертных ошибок.

Систематические

Это ошибки, которые повторяются у одного и того же специалиста из раза в раз. В результате значение показателей отклоняется через преувеличение или преуменьшение реальной картины, складывающейся в бизнесе. Чтобы систематические ошибки не так сильно влияли на бизнес-процессы, следует использовать поправочные коэффициенты.

Случайные

Это тот тип ошибок, который случается у экспертов в любых сферах. Они могут изменяться от одной оценки к другой, поэтому для избегания этих ошибок стоит проводить дополнительную проверку.

Повторная экспертная оценка

Повторная экспертиза поможет найти ошибки и предотвратить неприятные последствия внедрения в бизнес-процессы неверных решений. Те же вопросы могут исследоваться на протяжении того же срока, но для этого приглашаются уже другие эксперты. Это подтвердит достоверность и объективность полученных результатов.

Применимость метода экспертных оценок

Оценки от экспертов находят свое применение в любой сфере бизнеса на разных этапах проверок. Такие исследования могут проводиться при выходе компании на рынок, в случае застоев и кризисов, при необходимости расширения и поиска новых рынков сбытов. Чаще всего к таким методам прибегают, если при выборе конкретного пути нельзя оперировать точными расчетами.

Заключение

Экспертная оценка помогает собственнику бизнеса объективно взглянуть на происходящие процессы и скорректировать некоторые области. Если вовремя выявить проблему и оперативно решить ее, можно избежать ощутимых потерь в бизнесе.

Источник

Метод экспертных оценок

Сущность и сфера применения метода. Требования к экспертной группе. Процедура экспертного оценивания

Виды экспертного оценивания

Сущность метода экспертных оценок заключается в про­ведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и фор­мальной обработкой результатов. Получаемое в резуль­тате обработки обобщенное мнение экспертов принима­ется как решение проблемы.

Характерными особенностями метода экспертных оце­нок как научного инструмента решения сложных нефор­мализуемых проблем являются:

· научно обо­снованная организация проведения всех этапов экспер­тизы, обеспечивающая наибольшую эффективность работы на каждом из этапов,

· применение ко­личественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов.

Особой разновидностью метода экспертной оценки является экспе?ртный опро?с — разновидность опроса, в ходе которого респондентами являются эксперты — высококвалифицированные специалисты в определенной области деятельности.

Эксперт – это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы.

В практике психологических и социологических исследований используется для:

· прогноза развития того или иного явления;

· оценки существующего состояния какого-либо явления;

· сбора предварительной информации о проблеме исследования (зондаж);

· аттестации персонала (в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия).

Достоинства метода экспертных оценок

Принимая решения о каком-либо диагнозе, мы обычно предполагаем, что информация, используемая для его обоснования, достоверна и надежна. Но для многих педагогических и психологических задач это предположение не удается доказать. Практика показывает, что основные трудности, возникающие при поиске и выборе решений, касающихся различных психологических ситуаций, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся статистической информации или невозможностью в принципе ее получения. Тогда и приходит на помощь метод экспертов который позволяет взглянуть на проблему широко и увидеть возможное решение.

Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений. Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако надлежащим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной.

Данный метод применить не удастся, когда:

· исходная статистическая информация недостаточно достоверна;

· некоторая часть информации имеет качественный характер и не поддается количественной оценке;

· в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств;

· существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.

Требования к экспертной группе

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе­ристик экспертов.

Сложной проблемой является формирование системы характеристик эксперта, которые могут существенно повлиять на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой­ства специалиста и возможные отношения между людь­ми, влияющие на экспертизу.

Отбор экспертов, формирование экспертных групп — достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений. Подбор специалистов для участия в экспертном опросе, начинается с определения научных, технических и административных проблем, непосредственно связанных с решением поставленной задачи.

Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов. Эксперт в полном смысле этого слова – активный участник научного исследования. Попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

Формирование группы потенциальных экспертов начинается с метода «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы. Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными. Привлечение большого числа экспертов позволяет хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов.

Принципиальное значение имеет возможность обеспечения «равноправия» учёных-специалистов различных направлений, различного уровня компетентности с учётом специфики исследуемой проблемы.

Тем не менее, можно установить некоторые общие требования, подразумевающие реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:

· компетентность потенциального эксперта в исследуемой области,

· эрудированность в смежных областях,

· стаж научной или практической работы в определённой сфере,

· способность творчески мыслить,

Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию:

1) экспериментальный (с использованием тестирования, проверки эффективности их прежней экспертной деятельности);

2) документальный (на основе социально-демографических данных);

3) при помощи голосования (на основе аттестации потенциальных экспертов их коллегами);

4) при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).

Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще, делится на количество сбывшихся прогнозов). Понятие надёжности и точности эксперта базируется на предположении о том, что существует класс задач, для решения которых эксперт либо подходит, либо не подходит.

Процедура экспертного оценивания

Работа человека, организующего экспертный опрос, включает в себя ещё и подготовку экспертов к работе, в частности обеспечение их максимально объективными данными по проблеме. Следует заботиться о достаточной информированности участников об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом.

В работу входит:

· составление специальных опросных листов для экспертов Основной инструментарий экспертного опроса – анкета или бланк-интервью, разработанные по специальной программе. В отличие от массового опроса, программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней, прежде всего, однозначно формулируется подлежащее рассмотрению явление, предусматривается в виде гипотез возможные варианты его исхода;

· выбор группы экспертов;

· постановка задачи и предъявление вопросов экспер­там;

· выбор способа экспертных оценок;

· анализ полученных данных.

Необходимо, чтобы условия проведения опроса способствовали получению наиболее достоверных оценок. С целью обеспечения независимости оценок следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и дающая возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон дискуссиям (для этого при выступлении сначала предоставляется слово «простым» участникам, а потом наиболее известным и авторитетным).

Может оказаться необходимой также:

· проверка входных данных, используемых для экспертных оценок;

· изменение состава экспертных групп;

· повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений.

Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы. Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

— правило большинства — выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);

— правило авторитета — выбирается то решение, к которому склоняются самые авторитетные эксперты (в этом случае каждому эксперту должен быть приписан «вес», учитывающий его уровень компетентности);

— правило средней оценки — определяется либо простая, либо взвешенная средняя оценка мнений экспертов.

Качественный анализ причин группиров­ки мнений позволяет установить существование различ­ных взглядов, концепций, выявить научные школы, опре­делить характер профессиональной деятельности и т.п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Виды экспертного оценивания

Существующие виды экспертных оценок можно классифицировать по признакам:

1 По форме участия экспертов:

Очный метод позволяет сосредоточить внимание эксперта на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле. Выбор вариантов работы с экспертами определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает их взаимовлияния, однако делает работу экспертных групп не оперативной.

Разновидности очного опроса:

1. Свободное интервью экспертов. Имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, чётче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное — чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.

2. Анкетный опрос экспертов.

3. «Мозговой штурм», «мозговая атака» — прямой обмен мнениями, стимулирование наблюдения. Основная цель — нахождение решения или путей решения какой-либо научной или практической проблемы.

Разновидности заочного опроса:

1. Почтовый анкетный опрос экспертов

2. Дельфийская техника — заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.

Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полного единства мнений экспертов по существу вопроса, поэтому, несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.

2. По решаемым задачам:

3. По типу ответа:

· оценивающие объект в относительной или абсолютной (численной) шкале.

4. По способу обработки мнений экспертов:

5. По количеству привлекаемых экспертов:

· ограниченные (обычно используется 5 – 12 человек экспертов).

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

Список литературы:

1. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М.: Наука, 1973. 246 с.

2. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.

3. Карданская Н. Принятие управленческого решения. М.: ЮНИТИ, 1999. 407 с.

Источник