Формирование экспертных групп
Проверил: профессор, доктор пед. наук Молчанов С. Г.
Выполнила: студентка 491гр.
Эксперт — компетентное лицо, имеющее специальные знания и опыт работы в области, непосредственно связанной с объектом исследования. Эксперт может выступать в качестве генератора, источника идей, гипотез и предложений; арбитра по оценке имеющихся данных, характеристик и показателей объекта; источника не известной исследователю информации, которая служит основой для дальнейшего анализа. Экспертные оценки — суждения экспертов о различных сферах человеческой жизнедеятельности, которые предполагают процедуру сравнения объектов, их свойств по выбранным критериям.
Основными проблемами экспертной оценки является:
· обработка результатов исследования;
· организация процедур экспертизы.
В экспертизе должны участвовать две группы экспертов: рабочая группа (которая состоит из организатора, специалиста-системотехника и технического работника; экспертная группа, т. е. группа, мнения экспертов которой станут основой принятия будущих решений.
При формировании экспертной и рабочих групп необходимо предъявлять следующие требования к экспертам:
· выдвигаемые экспертами оценки должны быть стабильными во времени;
· при введении дополнительной информации экспертная оценка должна улучшаться, но она не должна принципиально изменяться от первоначально сформулированной оценки;
· эксперт должен быть признанным специалистом в изучаемой области знания;
· у эксперта должен быть опыт участия в подобных экспертизах;
· мнения экспертов должны быть устойчивыми. Устойчивость определяется характером ошибок, которые могут допустить эксперты во время проведения экспертизы. В связи с этим выделяют 2 вида ошибок:
· систематические, которые характеризуются устойчивым положительным или отрицательным отклонением от истинного значения;
· случайные, когда выдаваемые значения экспертов характеризуются большой дисперсией.
На первом этапе подбора эксперта особую роль играет род занятий и стаж работы эксперта по профилю оцениваемого объекта. При необходимости, учитывается уровень и характер образования, опыт работы, публикации, частота ссылок на публикации эксперта и т.п.
Для того чтобы сузить список кандидатов в эксперты, используют методы самооценки и коллективной оценки экспертов.
Прежде всего, необходимо обращать внимание на компетентность потенциального эксперта в исследуемой области, его эрудированность в смежных областях, ученую степень, звание, стаж научной или практической работы в определенной сфере, должностное положение, а также принципиальность, объективность, способность творчески мыслить, интуицию.
Можно представить реестр качеств, которыми должен обладать «идеальный» эксперт, т.е. тот, который может являться эталоном респондента-эксперта, с которым предпочтительно работать:
1) креативность, т.е. способность творчески решать задачи, метод решения которых полностью или частично не известен;
2) эвристичность, т.е. способность видеть или создавать неочевидные проблемы;
3) интуиция — способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению;
4) предикаторность, т.е. способность предсказывать, предчувствовать будущее состояние исследуемого объекта;
5) независимость, т.е. способность противопоставлять предубеждениям и массовому мнению свою точку зрения;
6) всесторонность, т.е. способность видеть проблему с различных точек зрения.
Подбор экспертов может быть:
1) экспериментальным (на основе тестирования, проверки эффективности их прежней экспертной деятельности);
2) документальным (на основе социально-демографических данных);
3) при помощи голосования (на основе аттестации потенциальных экспертов их коллегами);
4) при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).
Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. В этом случае специалистов-экспертов можно рассматривать как «прибор», дающий информацию о вероятности каких-либо предстоящих событий или гипотез, объясняющих происходящие события. Следует определить точность и достоверность этой информации, подобно тому, как это делается для измерительных приборов. Рассматривая эксперта именно в таком ключе, определяют достоверность и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще делится на количество сбывшихся прогнозов). Под степенью точности эксперта при вынесении им суждения о значении вероятности для некоторого события понимается степень соответствия его персональной оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку. Понятие надёжности и точности эксперта базируется на предположении о том, что существует класс задач для решения, которых эксперт либо подходит, либо не подходит.
1. Братченко С.Л. Введение в гуманитарную экспертизу образования (психологические аспекты). М.: Смысл,1999.
2. Князева М.М. Экспертиза в образовании//Обруч.2001.№6.С.58.
3. Иванов Д.Д. , Иванова Е.Л., Шестакова И.Г., Тубельский А.Н. Общественно-государственная экспертиза экспериментальных площадок и инноваций в образовании. М.,1998.
4. Лакшина Н.Ф. Технология экспертной оценки организации обучения при аттестации образовательных учреждений //Стандарты и мониторинг в образовании. 2000.№3.С.5961.
Эксперт— компетентное лицо, имеющее специальные знания и опыт работы в области, непосредственно связанной с объектом исследования.
Экспертная группа —коллектив экспертов, сформированный по определенным правилам для решения поставленной задачи.
Экспертная оценка — суждение эксперта или экспертной группы относительно поставленной задачи прогноза. В первом случае используется термин «индивидуальная экспертная оценка», во втором — «коллективная экспертная оценка».
Источник
Формирование экспертной группы
Экспертная оценка качества продукции — достаточно специфический вид деятельности, предъявляющий к эксперту определенные требования.
Совокупность этих требований можно условно разделить на четыре группы: информированность, заинтересованность в результатах экспертизы, деловитость и объективность..
Информированность эксперта должна распространяться непосредственно на объект оценки (профессиональная информированность) и методологию оценки (квалиметрическая информированность).
Квалиметрическая информированность обеспечивает четкое понимание экспертом:
подхода к оценке проблем безопасности производства;
методов оценки опасностей, особенно экспертных методов;
вопросов построения оценочных шкал.
Заинтересованность эксперта в результатах экспертизы зависит от ряда факторов:
степени загруженности эксперта основной работой, с которой, как правило, совмещается экспертиза;
возможности использования полученных результатов;
характера выводов, которые могут быть сделаны по результатам оценки степени опасности конкретной производственной системы.
индивидуальных особенностей эксперта.
Деловитость эксперта — широкое понятие. Оно включает в себя:
собранность, подвижное и эластичное внимание, которые позволяют быстро переключаться с оценки одного показателя на оценку другого;
конктактность — умение работать с людьми при решении задачи в конфликтной ситуации;
нонконформизм — способность противостоять мнению большинства при уверенности в своей правоте;
■• мотивированность выносимых оценок. ,
Объективность эксперта можно рассматривать как способность учитывать только ту информацию, которая влияет на безопасность работы оборудования или всей технологической системы в целом.. Необъективность эксперта заключается в завышении или занижении оценок опасности (безопасности) по причинам, не имеющим отношения к рассматриваемому вопросу.
В экспертную группу должны включаться высококвалифицированные специалисты по проблемам промышленной безопасности (ученые, конструкторы, производственники, рабочие с большим стажем работы на данном предприятии и.д.).
Экспертную группу формируют следующим образом: организатор и специалист составляют список экспертов, учитывая их служебное положение, стаж работы в данной области, профессию, характер работы и т. д. В эту группу включают специалистов, занимающихся различными вопросами касающимися проблеме безопасности (конструированием, испытаниями, надежностью, точностью и т. д). Желательно, чтобы по каждой группе показателей опасности можно было получить мнение 7—10 квалифицированных специалистов.
Экспертная группа может формироваться из специалистов, работающих в одной организации или в разных организациях и ведомствах. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок, допустимой трудоемкости оценочных процедур, возможностей управления группой и возможностей организации, в которой формируется группа, но в группе должно быть не менее 7—12 человек. При необходимости повышения точности оценок опасности состав группы может быть увеличен до 15—20 экспертов.
Для организационного оформления деятельности экспертной группы издается приказ (или распоряжение). В нем указываются цели проводимой работы, состав экспертной группы и ее руководитель, сроки заполнения экспертами анкет, срок окончания работы.
Желательно, чтобы экспертная группа формировалась
не для одноразовой экспертизы, а как постоянно функционирую
щий орган с достаточно стабильным составом экспертов. В про
цессе работы группы у экспертов на основе анализа результатов
предыдущих экспертиз вырабатываются общие подходы и прин
ципы оценок, что повышает эффективность экспертизы.
Источник
а) формирование экспертной группы
В состав экспертной группы для оценки угроз безопасности информации рекомендуется включать экспертов (независимо от того, реализуются ли функции обладателя информации, заказчика и оператора в рамках одной или нескольких организаций) от:
подразделения по защите информации (обеспечения информационной безопасности);
подразделения, ответственного за цифровую трансформацию (ИТ-специалистов);
подразделения, ответственного за эксплуатацию сетей связи;
подразделения, ответственного за эксплуатацию автоматизированных систем управления;
подразделений обладателя информации или оператора, ответственного за выполнение основных (критических) процессов (бизнес-процессов).
Состав экспертов по решению обладателя информации или оператора может быть дополнен или уточнен с учетом особенностей области деятельности, в которой функционируют системы и сети. В частности, для оценки угроз безопасности информации, реализация которых может привести к финансовым рискам, рекомендуется привлекать дополнительно специалистов экономических (финансовых) подразделений обладателя информации или оператора.
Для организации работы экспертной группы рекомендуется определять специалиста по защите информации (обеспечению информационной безопасности), имеющего стаж работ не менее трех лет и практический опыт оценки информационных рисков. В экспертную группу для оценки угроз безопасности информации рекомендуется включать специалистов, имеющих опыт работы не менее одного года по соответствующему направлению деятельности, в котором проводится оценка угроз безопасности информации.
Эксперты должны обладать независимостью, основанной на отсутствии коммерческого и финансового интереса или другого давления, которое может оказать влияние на принимаемые решения. Не рекомендуется формировать экспертную группу из участников, находящихся в прямом подчинении, так как это может негативным образом повлиять на результат определения угроз безопасности информации.
В состав экспертной группы должны входить не менее трех экспертов.
Источник
48. Методы формирования экспертных групп
Процедуры экспертизы включают следующие этапы:
1. Уточнение исходного набора показателей. Для этого проводится специальный очный опрос экспертов, осуществляемый одним из методов, имеющихся в распоряжении исследователей. В роли экспертов выступают специалисты исследуемой области. Серия таких опросов позволяет существенно уточнить исходный набор показателей.
2. Формирование экспертной группы для оценки уточненного набора показателей. Этому вопросу следует уделить особое внимание. Опыт опроса экспертов в заранее формализованных группах (отдел или сектор научно-исследовательского учреждения, группа ведущих практических работников и т.п.) наряду с очевидными достоинствами имеет и недочеты: чрезмерная однородность экспертной группы по уровню и профилю компетентности порождает односторонние оценки, даваемые почти под одним и тем же углом зрения без учета иных точек зрения.
Наиболее предпочтителен метод так называемого «снежного кома»: проводится серия экспертных опросов, где каждому эксперту предлагается назвать одного или несколько специалистов, наиболее подходящих, по его мнению, для включения в сводную экспертную группу.
Можно прибегнуть к другим методам, например к использованию авторского библиографического указателя по исследуемой проблеме, а также к приемам отбора из первоначального списка наиболее компетентных экспертов с помощью документального метода, эксперимента, голосования и самооценки.
Документальный метод позволяет определить компетентность эксперта по формальным данным — ученой степени и званию, должности, стажу работы в соответствующей области и т.д. Экспериментальный метод учитывает эффективность работы экспертов в предыдущих опросах. Метод голосования предполагает взаимооценки экспертов при условии достаточно устойчивых научных контактов между ними. Метод самооценки позволяет определить компетентность эксперта в зависимости от его ответов: занимался ли он рассматриваемой проблемой специально, знаком с ней только по специальной литературе или имеет о ней лишь самое общее представление.
Что касается достижения оптимальности в структуре экспертной группы (соотношение специалистов различных областей знания), для того чтобы быть уверенным, что выявленная система показателей отражает все стороны исследуемого объекта на одинаково высоком уровне, в экспертной группе должны быть более или менее равномерно представлены специалисты всех профилей исследуемой области. Оптимальное же соотношение специалистов широкого и узкого профиля — величина непостоянная и требует специального расчета для каждого конкретного исследования.
Оптимальная численность экспертной группы как величина формальных способов определения не имеет. Очевидно, что минимальный предел должен обеспечивать возможность применения статистических процедур и известную гарантию против односторонности подбора экспертов, а максимальный диктуется реальными возможностями подготовки, проведения и обработки результатов экспертизы.
3. Проведение собственно экспертизы одним из известных методов. Методические сложности этого этапа состоят в необходимости сосредоточить внимание на таких аспектах, как заинтересованность экспертов в точности их оценок, выборе адекватных методов групповой оценки, согласованности мнений и ряда других моментов.
49. Методы организации работы группы экспертов
Метод коллективной экспертной оценки — метод прогнозирования, основанный на выявлении обобщенной оценки экспертной группы путем обработки индивидуальных независимых оценок, вынесенных экспертами, входящими в группу.
Метод экспертных комиссий — метод экспертной оценки, основанный на объединении в единый документ экспертных оценок прогнозов отдельных аспектов объекта, разработанных соответствующими экспертными группами.
Метод коллективной генерации идей
Метод отнесенной оценки
Метод «мозговой атаки»
Конференция идей — метод экспертной оценки, основанный на стимулировании творческой деятельности экспертов путем совместного обсуждения конкретной проблемы, регламентированного определенными правилами: запрещением оценки выдвигаемых идеи, ограничением времени одного выступления с допущением многократных выступлений одного участника, приоритетом выступления эксперта, развивающего предыдущую идею оценкой выдвинутых идей на последующих этапах, фиксацией всех выдвинутых идей.
Дельфийский метод — метод экспертной оценки, основанный на выявлении согласованной оценки экспертной группы путем независимого анонимного опроса экспертов в несколько туров, предусматривающего сообщение экспертам результатов предыдущего тура.
Матричный метод прогнозирования — метод прогнозирования, основанный на матричной интерпретации экспертных оценок связей отдельных аспектов.
Метод эвристического прогнозирования — метод прогнозирования, основанный на построении и последующем усечении дерева поиска экспертной оценки с использованием эвристических приемов и логического анализа прогнозной модели.
Метод сценария — метод прогнозирования, основанный на установлении последовательностей состояний объекта прогнозирования при различных прогнозах фона.
Процедуры метода деструктивной отнесенной оценки включают следующие этапы:
1. Составление проблемной записки (материала для обсуждения), включающей описание процедуры опроса и формулировку предмета обсуждения. Она начинается с постановки проблемы и перечня задач опроса. Здесь очень важна четкость формулировки, поэтому сложные объекты обычно расчленяются на более простые элементы.
2. Формирование экспертной группы. Оптимальная численность ее найдена эмпирическим путем: один человек — при рассмотрении сравнительно простых вопросов, несколько больше — при сложных. Желательно, чтобы в группу включались эксперты с сильно развитыми критическими наклонностями (модераторы), обладающие конструктивным мышлением (генераторы), хорошо знакомые с одним из аспектов рассматриваемой проблемы или со всей проблемой в целом. Желательно также, чтобы в группе были представлены специалисты из разных областей знания с высоким уровнем общей эрудиции.
3. Генерация идей на основе обсуждения проблемной записки по правилам «мозговой атаки». Она начинается с того, что ведущий ставит проблему обсуждения, т.е. раскрывает основное содержание проблемной записки, которая раздается экспертам за несколько дней до опроса (им предоставляется возможность освежить ее в памяти непосредственно перед началом опроса), отвечает на вопросы, возникшие у экспертов при ознакомлении с запиской, формулирует подлежащие обсуждению положения и концентрирует внимание участников на правилах проведения «мозговой атаки»:
4. Систематизация идей, высказанных на предыдущем этапе. Ее осуществляет специальная аналитическая группа организаторов опроса;
— составляется перечень всех высказанных идей;
— каждая идея формулируется в общепринятых терминах, стандартных для данного исследования;
— выявляются дублирующие или взаимодополняющие друг друга идеи, которые сводятся в комплексы;
— идеи классифицируются по группам, и создается перечень групп с перечислением составляющих их идей в логическом порядке значимости;
— составляется записка (доклад), представляющая собой тезисы-вопросы для последующего этапа (деструкции). Опыт показывает, что если представить экспертам для деструкции просто развернутую записку (доклад), то повышается риск отвлечения их внимания в сторону от обсуждаемых вопросов.
5. Деструкция идей и выдвижение контр идей (желательно на одном и том же задании группы). Обсуждение проводится так же, как и на этапе «мозговой атаки», с той лишь разницей, что при деструкции от экспертов требуется возможно более смелая, последовательная и исчерпывающая критика поочередно каждого выдвинутого положения (в порядке очередности выдвигаемых положений, а не выступающих). При выработке новых оценок процедура «мозговой атаки» повторяется полностью. Результатом данного этапа являются материалы для дальнейшего уточнения содержания проблемной записки.
6. Подведение итогов экспертизы: составляется систематический перечень всех критических замечаний, полученных на этапе деструкции, сводный список идей и контридей, не опровергнутых критическими замечаниями.
Использование этого метода позволяет уточнить и систематизировать экспертные оценки социальных целей исследуемого объекта, необходимые для разработки проблемно-целевой модели, которая может выступать в роли исходной (базовой) модели прогноза социального явления.
Источник
