Способы оценки качества эксперта

Оценка качеств эксперта.

Эксперт — специалист (профессионал), оценки и суждения которого ЛПР считает полезным учитывать при принятии решений. Формирование состава экспертной комиссии зависит от:

¾ конкретной ситуации принятия решения;

¾ возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

¾ возможностей специалистов принять участие в работе экспертной комиссии.

Необходимо также отметить, что в настоящее время не существует общепринятой единой методики оценки качеств эксперта, поэтому мнения о профессиональном уровне специалиста нередко существенно расходятся. В реальной практике ЛПР стремится либо сам составить мнение о профессиональном уровне кандидата в эксперты, либо доверяет это тем, кому поручена организация экспертизы. Поэтому при отсутствии возможностей и опыта организации и проведения экспертиз имеет смысл обращаться к услугам независимых центров экспертизы, информационно-аналитическим центров и т.п., основными задачами которых являются анализ ситуации, оценка объектов экспертизы, подготовка и оценка альтернативных вариантов решений.

При оценке качеств эксперта необходимо учитывать его профессиональные знания, опыт деятельности и эффективность работы в составе экспертных комиссий. Существует много способов оценки качеств эксперта, каждый из которых может быть удачно использован в том или ином конкретном случае. Они подразделяются на три основных группы:

Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах.

Апостериорныминазываются методы оценки качеств эксперта, основанные на информации о результатах его участия в предыдущих экспертизах.

Тестовыми являются методы оценки качеств эксперта, предполагающие проведение специального испытания.

Априорные методы оценки эксперта. К этой группе относятся, прежде всего, наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы:

самооценка по одной из балльных шкал (3-х, 5-ти, 10-ти или 100-балльной);

самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;

самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы;

самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия: критерий, характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.) и критерий, характеризующий знакомство с объектом экспертизы (например, знание отраслевой специфики, конкретного предприятия, знакомство с образцами продукции и т.д.).

В этом случае комплексная самооценка эксперта рассчитывается по формуле:

Кк = ( Ки + ß Кз ) / 2,

где Кк — комплексная самооценка эксперта, Ки — коэффициент информированности (в долях единицы), Кз — коэффициент знакомства с проблемой, ß — весовой коэффициент.

Более подробно вопросы измерения показателей и типы шкал будут рассмотрены в следующей теме.

Точность методов самооценки довольно спорна. С одной стороны, никто лучше самого эксперта не представляет всю совокупность знаний и опыта, которыми он обладает. С другой стороны, человек больше всего ошибается, оценивая свои собственные возможности.

К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенным из них является метод списка экспертов. Процедура его применения заключается в следующем. Каждый из экспертов составляет список специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент компетентности эксперта — отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.

К числу априорных методов оценки качеств эксперта относится также наиболее распространенный документационный или анкетный метод. В нем для оценки определенных качеств специалиста предлагается пользоваться объективными характеристиками, имеющими документальное подтверждение, например, такими, как: стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций, индекс цитирования и т.п. При этом следует иметь в виду, что основываясь только на этих объективных факторах невозможно адекватно оценить пригодность и полезность участия эксперта в работе конкретной экспертной группы.

Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предшествовавших опросах. С их помощью в определенной степени могут быть выявлены такие качества как конформизм, конъюнктурность, компетентность эксперта. В частности, для оценки уровня компетентности специалиста может быть применен метод парных сравнений. Его суть заключается в том, что эксперту последовательно предъявляются пары сравниваемых объектов оценки и он выбирает из каждой пары наиболее предпочтительный с его точки зрения объект. После предъявления всех пар у аналитиков имеется информация о сравнительных предпочтениях эксперта в отношении оцениваемых объектов. При этом может возникнуть ситуация, когда при непосредственном сравнении первый объект предпочтительней второго, второй предпочтительней третьего, но, в то же время, третий объект оказывается предпочтительней первого, т.е. возникает очевидное противоречие. В реальной практике такие противоречия (конечно, в более длинных цепочках сравнения) случаются не так уж редко. Естественно, чем меньше противоречий в оценках эксперта, тем более обоснована его компетентность.

Апостериорный метод предполагает также оценку достоверности суждений эксперта. В качестве критерия, позволяющего оценить такую достоверность, используется коэффициент достоверности — относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям. При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуальные коэффициенты экспертов.

Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки. Этот метод основан на расчете коэффициента отклонения — Ко.

Кoi = Doi / Dmax ,

где Кoi — коэффициент отклонения суждений i-го эксперта, Doi — отклонение индивидуальной оценки i-го эксперта от результирующей оценки, Dmax — максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценки качеств эксперта. Их суть — выполнение испытуемым экспертом некоторого заранее подготовленного задания. Эти методы достаточно хорошо известны, т.к. широко используются для определения профессиональной пригодности специалистов в различных областях деятельности. Достоинство этих способов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии. Необходимо, однако, помнить, что проведение тестовых экспериментов требует соблюдения следующих важных правил:

¾ тест должен быть разработан специально под конкретные объекты экспертной оценки;

¾ истинные значения оцениваемых параметров (правильные ответы) должны быть известны аналитической группе, проводящей испытание, но неизвестны испытуемому эксперту;

¾ должна быть разработана шкала для определения точности оценок, даваемым экспертом;

¾ вероятность случайного угадывания истинной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближенных к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел забыть результаты предыдущего. После чего сравнивают между собой полученные оценки. Более стабильные (воспроизводимые) оценки эксперта свидетельствуют как о большей его профессиональной компетентности, так и о большей пригодности для участия в экспертной комиссии.

Дата добавления: 2018-03-01 ; просмотров: 2193 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ

Источник

Способы оценки качеств экспертов

Существуют различные, не противоречащие друг другу подходы к отбору экспертов. Одни авторы утверждают, что на практике применяют четыре основных метода отбора экспертов: на основании самооценки: на основании результатов прошлой экспертной дея­тельности: на основании определения компетентности: на основа­нии оценки группой каждого специалиста -кандидата. Другие авто­ры говорят об использовании в квалиметрии пяти групп способов, с помощью которых оценивается качество эксперта, причем каж­дый из этих способов, как отмечает Г. Г. Азгальдов, характеризует несколько свойств эксперта. К этим способам относят: эвристи­ческие метопы опенки, статистические метопы оценки, тестовые методы, документальные (рейтинговые) методы оценки, комбини­рованные методы опенки.

Эвристические методы оценки,к которым относятся методы самооценки и взаимооценки, основаны на предположении, что представление у окружающих экспертов о данном эксперте достаточно правильно отражает его качество.

Статистические методы оценкиэкспертов основаны на предположении, что показания эксперта как своеобразного измерительного прибора имеют случайную и систематическую погрешности. К этой груп­пе относятся: отклонение индивидуальной экспертной оценки от коллективной и воспроизводимость индивидуальной оценки через опре­деленный промежуток времени.

Тестовые методы— получение экспертных оценок в результате специальных испытаний экспертов.

Документальные (рейтинговые) методы оценкиоснованы на предположении о том, что некоторые документальные данные (характеристики) об эксперте могут характеризовать его качество как экспер­та. Например: содержание и количество публикаций, участие в между­народных семинарах и симпозиумах, стаж педагогической и научной деятельности.

Комбинированные методы оценкиоснованы на некоем обобщении оценок, полученных разными методами.

Независимо от метода, используемого для отбора группы экспертов, целесообразно уделить внимание вопросу ее состава. Принято считать, что в группах с однородным составом экспертов бывает меньше расхождений между собой, быстрее происходит процесс согласова­ния группового решения.

Однако факт взаимного влияния мнений экспертов может привести и к нежелательным последствиям. В связи с этим, эксперты, участвующие в работе комиссии, должны обладать способностью высказывать мнения, не зависящие от мнений признанных авторитетов, от мнения большинства, должны уметь отказаться от своего публично высказан­ного мнения при выработке нового взгляда на проблему. Такие требо­вания, естественно, создают значительные трудности при выборе экс­пертов для работы в комиссии.

В разнородных же группах эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок.

Понятие группового выбора, применительно к групповому экспертному оцениванию, не является средством замены индивидуального выбора неким коллективным образованием наподобие общественного мнения. В групповых решениях существенное значение имеют формирование на основе упорядочения объектов по их предпочтительносги коллективного заключения о групповом выборе и анализ индивидуаль­ных отклонений от него. При этом индивидуальное мнение не игнори­руется, а напротив, в случаях резкого отклонения от группового, ста­новится предметом специального рассмотрения.

Критерий большинства не должен исключать учета мнения меньшинства. Даже сугубо индивидуальное мнение, когда оно хорошо аргументировано, не должно быть потеряно при квалифицированном раз­боре принимаемых решений, особенно в процессе экспертизы. Инди­видуальные мнения, как правило, являются источником оригинальных предложений, столь необходимых для анализа нестандартных, неоче­видных ситуаций. Они незаменимы при оценке уникальных, индивиду­альных, специфичных разработок, опыта, деятельности. Индивидуаль­ные заключения особенно важны для экспертного определения вели­чины риска, поскольку индивид более чувствителен к опасности, не­жели коллектив.

Экспертное оценивание часто необходимо тогда, когда возникают неопределенные ситуации, допускающие множество альтернатив и возможностей. В таких случаях разброс экспертных оценок выражает не степень некомпетентности специалистов, а объективную многоликость явлений, в том числе вариабельность аксиологических характеристик. Это означает, что все экспертные заключения правомочны, и их стати­стическая обработка может определять лишь меры согласованности позиций экспертов. Что же касается группового выбора, то если он оказывается возможным, результат экспертизы выражает практичес­кий опыт экспертной группы, а не истину как таковую.

Индивидуальная экспертиза.На наш взгляд индивидуальные оцен­ки (индивидуальная экспертиза) предъявляют к эксперту особые, бо­лее высокие требования, нежели коллективные оценки (коллективная экспертиза), потому как при индивидуальной оценке выводы формулируются на основе суждения лишь одного эксперта. Совершенно оче­видно, что успех такой оценки в значительной степени зависит от спо­собности эксперта давать заключения по разным вопросам, требую­щим привлечения и общей эрудиции, как и специальных знаний (так как в большинстве своем педагогическая инновационная деятельность представляет собой совокупность самых различных направлений, школ, движений и т. п.).

Поэтому при выборе отдельного эксперта, прежде всего, должны приниматься во внимание соответствие сферы его компетентности задачам экспертизы, а также уровень квапифика^и эксперта в рассматриваемой области.

Экспертное оценивание рассматривается относительно двух основных форм экспертной работы: экспертного опроса (со всеми разновидностями от индивидуального интервью до коллективного генерирования идей и метода Дельфи) и диагностики, включая связанные с ней эксперт­ные системы в кибернетике. В любом случае опрос и диагностирование в качестве способов получения и распознавания информации входят в сферу экспертного оценивания как формы выбора и предпочтения, срав­нения и измерения, типологии и систематизации данных, моделирования и рационализации проблемных ситуаций экспертизы.

Квалифицированная экспертиза предполагает качественную и количественную оценку мнений экспертов и последующую математическую обработку ее результатов. Соответственно, экспертное оценива­ние может иметь многоуровневый характер: некоторые приемы срав­нения, измерения, систематизации, рационализации и другие могут применяться к самим оценкам, а не только к первичным данным, осо­бенно в ситуациях коллективного (группового) оценивания. В послед­нем случае ответы экспертов фиксируются, и таким образом строится их вероятностное распределение (27, 18).

В этой связи продуктивным способом организации групповой экспертизы является коллективное обсуждение индивидуального мнения, а точнее, выделение из экспертной группы наиболее квалифицированных, ав­торитетных экспертов в целях коррекции результирующих оценок.

Иначе говоря, при использовании экспертного оценивания возможны следующие ситуации:

1. Эксперты располагают надежной информацией, полученной в
процессе систематических эмпирических исследований (на основе
наблюдений, опросов, экспериментов), которая поддается измерени­ям и может быть апробирована контрольными проверками. В таком случае можно говорить о наличии определенного истинного результата, а
соответственно и знании (как продукта познания и осознания истины).

2. Имеется информация, оцениваемая лишь в пределах конкретной
ситуации. Применимость ее к другим обстоятельствам, будущим или
возможным событиям — проблематична, а надежность не всегда возможна. Такой случай может быть квалифицирован в познавательном
отношении как наличие некоего предположения (27, 26).

Определение сферы компетентности и уровня квалификации специалиста возможно путем разработки и совершенствования приемов взаимной оценки и самооценки этих профессиональных свойств специали­стов. Приемы самооценки квалификации специалистов должны быть рас­считаны на выработку количественной оценки уровня квалификации, и включать, прежде всего, показатели, характеризующие степень его участия в развитии рассматриваемой области. Анализ такой самооценки должен позволить делать более обоснованные заключения по результа­там экспертной оценки, выполненной каждым экспертом.

Назначение экспертов для проведения экспертизы инновационной проектной деятельности согласовывается и одобряется — с одной стороны экспертным советом, а с другой — авторами инновации.

Работа эксперта заключается в оценке (установлении качества) продукта по его характеристикам, для которых не существует объективно выработанного эталона. Оценивая инновацию, эксперт в большинстве случаев опирается на свое мнение о качестве, и, как предполагается, его ответ будет служить гарантией правильной и достоверной оценки.

В процессе рассмотрения состояния инновационного проекта эксперту предстоит понять, какой вид экспертизы подходит для ее оценки, каковы критерии этой оценки, какими средствами следует осуществлять оценку иннова­ции. В сложных инновационных проектах может наблюдаться отсутствие дос­таточной информации для прогнозирования результатов экспериментальной деятельности, невозможность определения подобных инновационных прак­тик и их сравнения. Поэтому необходимо привлечение квалифицированных специалистов-экспертов для проведения экспертизы различных вариантов про­гнозируемых результатов. Однако следует иметь в виду, что если сами экс­перты заинтересованы в результатах проекта, не исключено, что они могут сообщать не свое личное мнение, а такую информацию, которая приведет к принятию наиболее выгодного для них решения. Возможность такого искажения информации должна быть учтена в ходе проведения экспертизы.

При решении проблем нестандартных, связанных с прогнозированием s нестабильных условиях, должны участвовать эксперты высо­кой квалификации. Прогнозы, составленные экспертами средней ква­лификации, обычно основаны на традиционных привычных оценках. В ситуациях неопределенности, нестабильности они часто ошибочны. Высококвалифицированные специалисты оценят скрытые факторы и возможности появления новых тенденций.

На выбор группы (коллектива) экспертов оказывают влияние такие факторы, как соответствие суммарной сферы компетентности группы экспер­тов оцениваемой области, возможности прогнозистов по организации экс­пертизы с учетом затрат времени и средств на проведение опроса.

3.9. Критерии экспертизы

Критерии— зависимые переменные характеристики, которые предположительно являются наиболее адекватными для решения практических проблем.

Если считать, что задачей инновационной деятельности является прогнозирование и, в конечном счете, повышение эффективности деятельности образовательной системы, то базовыми критериями инновационной деятельности являются показатели эффективности деятельности на индивидуальном, групповом и организационном уровнях отдельного учреждения.

Критерий— признак, на основании которого производятся оценка, определение или классификация чего-либо; мерило оценки.

Критерии экспертной оценки определяются в соответствии с принципами и целями конкретной экспертизы. Существуют разные подходы к определению критериев экспертизы инновационных проектов.

Их состав определяется характером педагогических объектов, подлежащих экспертной оценке, наличием или отсутствием выработанных нормативов, мер, эталонов.

Некоторые авторы в качестве основных критериев выделяют реалистичность и реализуемость инновационного проекта.

В случае рассмотрения реалистичности инновации (эксперимента), совсем не предполагается рассматривать, насколько реально может существовать тот или иной инновационный проект. Главное — это определить, имеет ли он право на существование, насколько он соотносит­ся с ситуациями будущего, имеется ли в наличии прогноз с пошаговы­ми действиями, в которых будет осуществляться инновационный про­ект, или может ли он быть представлен. Другим критерием инноваци­онной деятельности является ее реализуемость (ресурсное обеспе­чение), которая рассматривается с учетом участников инновационного проекта; в данном случае возникает необходимость определить круг лиц, вовлеченных в инновационную проектную деятельность, для каж­дого из которых должно быть четко определено свое функциональное место, чем и будет обеспечиваться их включенность в реализацию идеи.

Мы рассмотрели один из подходов к критериям экспертизы инновационной деятельности. Гуманистичность инновационного проекта заключается в отражении в про­екте гуманистического мировоззрения, или же в представлении в нем раз­нообразной образовательной среды либо в его демократичности. Прорабо­танность инновационного проекта в качестве критерия предполагает наличие научного обоснования инновационной идеи и рассмотрение возможных пу­тей реализации проекта. Большую значимое имеет критерий возможного распространения представленной в проекте инновации, так как в данном случае наравне с возможностью ее распространения определяется и уровень инновации — подлежит ли она распространению на федеральном, регио­нальном, межрегиональном и местном уровнях, или возможно только ее частичное использование, или же инновация не подлежит распростране­нию, в связи с ос экстраординарностью, или она не представляет интереса.

На наш взгляд, достаточно полной и интересной является следующая классификация критериев экспертизы:

• общие критерии,позволяющие оценить значимость предлагаемого
проекта с точки зрения основных тенденций, целей и направлений развития и реформирования образования на разных уровнях его организации;

• специальные критерии,позволяющие оценить компетентность
автора и содержательность проекта с точки зрения его полноты, соответствия нормативным и понятийным требованиям;

• частные критерии, позволяющие оценить степень обоснованности проекта с точки зрения возможностей его воплощения и жизнеспособности (17).

Рассмотрим состав названных критериев. В состав общих критериевинновационного проекта входят следующие показатели: новизна (инновационность) проектной идеи, которая может заключаться в создании абсо­лютно нового, неизвестного до настоящего времени продукта или в совер­шенствовании существующей образовательной ситуации, в предложении альтернатив развитию инновационной идеи и т. п.; масштабность иннова­ционного проекта — какого уровня и какой значимости предполагаемый про­ект. Будет ли проект носить локальный характер, осуществляться на мест­ном уровне и иметь, соответственно, ценность на этом уровне, или инно­вационный проект предполагает изменение в образовательной практике на региональном, межрегиональном и даже федеральном уровнях.

Следующим показателем, относящимся к общим критериям, является системность инновационного проекта. В представленном на экспертизу проекте необходимо определить: какой характер будет ноешь проект — фрагментарный или системный, то есть, будет ли рассматриваться содержание образования или сценарий отдельного урока, как и будут ли разработаны и представлены образовательные технологии или отдельные педагогические действия и т. п.

В состав критериев входит также и эффективность инновационного проекта. При ее рассмотрении следует понять, что же произойдет в образовательной практике с введением данного инновационного проекта: улуч­шение, существенное обогащение образовательной теории или практики, кардинальное преобразование существующей образовательной ситуации.

Транслируемость проектной идеи говорит о возможности трансляции представленной инновации, ее тиражирования или о том, что идея может существовать (быть реализована) только в экстраординарных условиях.

Рассмотрев состав общих критериев и их значение в экспертизе инновационных проектов, остановимся на составе специальных критериев.Учитывая, что каждый из представленных критериев существенно значим для экспертизы проекта, рассмотрим их в определенной последовательности.

Полнота структуры инновационного проекта, которая в проекте представлена анализом реальной образовательной ситуации; концепцией инновационного проекта, включающего проектную идею, опи­сание проблем, постановку целей, формирование задач; содержательной и организационной моделью образовательной системы или ее фрагментом; планом и сметой реализации проекта с его ресурс­ным обеспечением.

Не менее значимой является и степень проработанности структурных элементов проекта. Следующим критерием является согла­сованность структурных частей проекта: рассматриваются ли во взаимосвязи анализ ситуации и описание проблем, которые необходи­мо решить; концепция, цели и задачи инновационного проекта; цели, задачи проекта и необходимые ресурсы (технологические, органи­зационные, профессиональные, финансовые, материально-техниче­ские и т. д.).

И, конечно, группой критериев, необходимых для экспертной оцен­ки инновационного проекта являются частные критерии.К ним, в первую очередь, относится реалистичность инновационного проекта, которая предполагает соответствие идей, целей и задач проекта реальной образовательной ситуации и имеющимся ресурсам. Дру­гим частным критерием является реализуемость инновационного проекта, заключающаяся в наличии, вовлеченности и согласованно­сти действий других субъектов образовательной ситуации с дей­ствиями автора проекта при его реализации. Еще одной характерис­тикой и частным критерием в экспертизе инновационных проектов выступает инструментальность (управляемость) проекта, то есть на­личие организационных форм, способов и плана действий по его реализации.

Источник