Логико семантическим способом определяется валидность

Валидность всех психодиагностических методов, кроме дидактических, проверяется психометрическими методами. Процесс валидизации осуществляется с помощью подсчета различных коэффициентов корреляции для подсчета отношения между результатами метода и значением критерия. Коэффициент валидности может быть выражен и с помощью теста, коэффициента энтропии, теста X2, с помощью прогностических таблиц и иных мер отношений.

Теоретическая валидность определяется на основе логического доказательства и эмпирического подтверждения последствий, вытекающих из теории, определяющей метод и его интерпретацию. Преимуществом теоретической валиди-эации является применение факторного или дискриминационного анализа, но в матрицу анализируемых переменных должны входить и методы с известной валидностью, чтобы с их помощью можно было адекватно интерпретировать факторы и синдромы.

Валидность отвечает на вопрос: «Измеряем ли мы то, что думаем измерять». С этой точки зрения можно говорить о следующих типах валидности:

1. По содержанию выражает соответствие между тестом и исследуемой характеристикой. Пригодность методики определяется, например, на основании репрезентативного сходства между содержанием вопросов (заданий) и компонентами изучаемой характеристики личности; способ ее определения — логико-семантический.

2. Текущая валидность выражает соответствие между результатами и параллельно применяемыми критериями. Часто используется метод известных групп и сравниваются результаты обеих групп. Важна точная идентификация известных групп.

3. Прогностическая валидность выражает соответствие между результатами теста и критерием спустя определенное время. Например, при исследовании тревожности мы анализируем поведение и сопоставляем его с результатами тестирования. Подходящим критерием, например, может быть успеваемость в школе и т. п.

4. Конструктная солидность выражает соответствие между тестом и изучаемой модальностью внутреннего мира человека. В этих целях часто результаты тестирования сравниваются с надежными тестами, измеряющими эту модальность.

Источник

Логико семантическим способом определяется валидность

Высокая надежность теста это необходимое, но недостаточное условие получения высококачественного теста. Тест еще должен быть валидным. Валидность – это важнейшая характеристика теста, без указания которой, его нельзя считать измерительным инструментом.

Анализируя сложную ситуацию с валидностью педагогических тестов, Е.Михайлычев 16 отмечает, что педагогу, заинтересовавшемуся валидностью, трудно будет разобраться в том, что же это такое.

Ниже мы приведем несколько определений валидности теста.

ВАЛИДНОСТЬ означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование (В.Аванесов) 17 .

ВАЛИДНОСТЬ — это характеристика способности теста служить поставленной цели измерения (М.Челышкова) 7 .

ВАЛИДНОСТЬ — определяет, насколько тест отражает то, что он должен оценивать (А.Майоров) 18 .

Приведенные определения в целом перекликаются и являются практически равноценными. Мы несколько уточним определение, сделав акцент на цель тестирования. Тестирование как измерительная процедура, дает информацию, на основе которой в дальнейшем должно быть принято то или иное управленческое решение. Обоснованность этих решений, зачастую сильно влияющих на судьбу испытуемых, определяется надежностью и валидностью теста.

ВАЛИДНОСТЬ – это характеристика теста, отражающая его способность получать результаты, соответствующие поставленной цели и обосновывающая адекватность принимаемых решений.

После создания теста начинается процесс его валидизации. Приведем определение:

ВАЛИДИЗАЦИЯ – процесс накопления подтверждений для доказательства валидности теста 19 .

По нашему мнению ВАЛИДИЗАЦИЯ – это не столько сбор доказательств валидности теста, сколько процесс выполнения действий, повышающих его валидность. Вследствие этого будет расти и доказательная база валидности теста.

Выделяют три вида валидности – содержательную, критериальную и конструктную 20 . А.Майоров приводит следующую диаграмму видов валидности 18 :

Рис.3.9.1. Виды валидности.

КОНСТРУКТНАЯ ВАЛИДНОСТЬ (концептуальная валидность) определяется в случаях, когда представление об измеряемом свойстве существует в форме абстрактного образа, модели. Для объяснения определенных качеств личности создается концептуальная модель, которая с помощью тестов подтверждается или опровергается.

КРИТЕРИАЛЬНАЯ ВАЛИДНОСТЬ (эмпирическая валидность) предполагает наличие внешнего критерия, корреляция с которым определяет валидность теста.

Имеется два вида критериальной валидности – текущая и прогностическая.

Текущая критериальная валидность (concurrent validity) характеризует способность теста измерять некоторые качества личности. Валидность теста подтверждается корреляцией с некоторым внешним критерием, существующим в данное время. Допустим, тест показал для некоторого испытуемого отличные знания по предмету, а школьные отметки, выставленные учителем – неудовлетворительные. Если мы в качестве внешнего, независимого и достоверного критерия выберем школьные отметки, то критериальная валидность теста – низкая, даже если он имеет высокую надежность.

Прогностическая критериальная валидность (predictive validity) характеризует способность теста предсказывать будущие качества, формирующихся в результате воздействия внешних обстоятельств или целенаправленной собственной деятельности. Этот тип валидности характеризует корреляцию результатов тестирования с внешним критерием, который появится в будущем.

СОДЕРЖАТЕЛЬНАЯ ВАЛИДНОСТЬ (content validity) характеризует тест по степени его соответствия предметной области.

Согласно А.Анастази, содержательная валидность означает систематическую проверку содержания теста, с тем чтобы установить, соответствует ли оно репрезентативной выборке измеряемой области поведения. Такая процедура валидизации обычно применяется для тестов достижений 20 .

Содержательная валидность необязятельно означает полноту отображения изучаемой дисциплины. Например, для нормативно-ориентированного теста, полнота охвата всех тем может быть меньше, чем для критериально-ориентированного. Здесь важнее глубина проработки отдельных подтем, вопросов. Это позволит с большей эффективность дифференцировать обучаемых. Под содержанием понимается не только совокупность фактов, понятий, терминов, но и умение применять имеющиеся знания, оценивать информацию, выполнять действия, соответствующие верхним уровням таксономии Блума.

Для обеспечения содержательной валидности необходим детальный анализ учебных программ, на основании чего составляется спецификация теста. Спецификация содержит перечень учебных тем, их важность, количество и тип тестовых заданий. Оценка содержательной валидности выполняется экспертом в данной предметной области.

Согласно П.Клайну содержательная валидность определяется следующим образом:

1) указать категорию лиц, для которой предназначен тест;
2) составить список знаний, умений, навыков, подлежащих тестированию;
3) выполнить внешнюю экспертизу полученного списка на предмет его полноты и обоснованности;
4) на основе списка составить перечень заданий;
5) выполнить внешнюю экспертизу полученных заданий;
6) после проверки преобразовать их в задания в тестовой форме. В дальнейшем, на этой основе создать тестовые задания, образующие тест, который будет содержательно валидным.

Проблема валидизации педагогического теста является, видимо, самой сложной в процедуре создания высококачественного измерительного инструмента.

Источник

Мир психологии

психология для всех и каждого

Проблемы валидности психодиагностических методик. Виды валидности. Эмпирические способы определения валидности.

Валидность (validity) — комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

Валидность теста информирует о том, что должен измерять тест и насколько хорошо он это делает. Выражение валидности в общих терминах наименования принципиально невозможно, так как ни один тест нельзя охарактеризовать высоким или низким уровнем валидности абстрактно, не учитывая его конкретной целенаправленности. На деле между наименованием теста и его практическим назначением нередко существует несоответствие. Валидность теста должна определяться только относительно его специального использования.

Генерализованный (обобщенный) истинный результат — это термин, используемый для характеристики действительного уровня скрытых, не наблюдаемых качеств или свойств. Скрытое от внешнего наблюдения свойство не может быть измерено только с помощью одного какого-либо теста. В практике для этой цели используется батарея с конечным числом разных тестов, направленных на измерение одного скрытого свойства, уровень которого требуется определить. Каждый из используемых тестов лишь частично покрывает исследуемое свойство. Это особый случай отношений между сущностью и явлением.

Валидность и надежность.

Валидность и надежность — связанные понятия. Их соотношение может быть проиллюстрировано следующим примером. Допустим, имеются два стрелка А и В. Стрелок А выбивает 90 очков из 100, а стрелок В — только 70. Соответственно, надежность стрелка А равна 0,90, а стрелка В — 0,70. Однако стрелок А всегда стреляет по чужим мишеням, поэтому на соревнованиях его результаты не засчитываются. Второй стрелок всегда правильно выбирает мишени. Поэтому валидность стрелка А нулевая, а стрелка В — 0,70, т.е. численно равна надежности. Если стрелок А станет правильно выбирать мишени, его валидность тоже будет равна его надежности. Если же он будет продолжать иногда путать мишени, то часть результатов не будет зачтена и валидность стрелка А будет ниже надежности. В нашем примере аналогом надежности является точность, меткость стрелка, а аналогом валидности — тоже точность стрельбы, но не по любой, а по строго определенной, «своей» мишени. Поэтому надежный стрелок может стать валидным, не только сменив мишень, но и сменив команду. В истории известны случаи, когда тесты, признанные инвалидными для измерения одних свойств, оказывались валидными для других. Значит, надежность является необходимым условием валидности. Ненадежный тест не может быть валидным, и, наоборот, валидный тест всегда надежен. Надежность теста не может быть меньше его валидности; в свою очередь, валидность не может превышать надежности.

В современной психометрии выделяются несколько видов валидности:

содержательная (логическая);
очевидная;
эмпирическая;
конструктная (концептуальная);
прогностическая;
дифференциальная;
инкрементная;
конкурентная.

Содержательная валидность.

Содержательная валидность (content validity) — один из основных типов валидности методики, характеризующий степень репрезентативности содержания заданий теста измеряемой области психических свойств. Ее часто называют «логической валидностью» или «валидностью по определению». Содержательная валидность означает, что тест является валидным по мнению специалистов.

Очевидная валидность.

Очевидная валидность — это валидность с точки зрения испытуемого. Она означает то впечатление о предмете измерения, которое формируется у испытуемого при знакомстве с инструкцией и материалом теста. Очевидная валидность играет важную роль в процессе тестирования, поскольку именно она в первую очередь определяет отношение испытуемых к обследованию. В.А. Аванесов приводит пример отказа от выполнения теста испытуемыми из-за отсутствия у теста очевидной валидности. Во время социологического опроса моряков рыболовного флота он столкнулся со случаем отказа заполнять анкету под предлогом того, что анкета составлена «не для моряков», в ней нет вопросов, относящихся к морякам, «на морские темы». Если бы опросник содержал «морские термины», то он бы казался «своим» и вызывал больше доверия у испытуемых. Именно в силу этого обстоятельства очевидную валидность иногда называют также доверительной валидностью.

Эмпирическая валидность.

Эмпирическая валидность (empirical validity) — совокупность характеристик валидности теста, полученных сравнительным статистическим способом оценивания. Идея эмпирической валидности заключается в определении способности теста служить индикатором или предсказателем строго определенной психической особенности или формы поведения человека. Для измерения эмпирической валидности теста вычисляется коэффициент корреляции тестового результата с внешним критерием — R(X,T).

Критерий валидизации.

Критерий валидизации — непосредственная и независимая от валидизируемого теста мера психического свойства, на исследование которого направлена психодиагностическая методика.

В качестве критерия может выступать любой показатель, независимо и бесспорно измеряющий туже психологическую характеристику, что и валидизируемый тест. Вопрос о выборе критерия является в этом виде валидности основным, От выбора критерия зависят качественная и количественная оценки валидности.

Эмпирическая валидность теста — это всегда валидность по отношению к конкретному критерию. Поэтому процесс конструирования теста часто сопровождается поиском подходящего критерия. Если к моменту проверки валидности такого экспериментального критерия не оказывается, в качестве него используются характеристики реального поведения, которые на основе существующих психологических теорий предполагаются связанными с измеряемым свойством. Например, в качестве жизненных критериев для тестов интеллекта используются показатели успешности обучения, для экстравертированности — успешность административной деятельности, для тревожности — частота заболеваний неврозом и т.п. Однако успешность обучения, поведения и деятельности редко зависит только от одного-единственного свойства психики. Реальное поведение человека множественно детерминированно, т.е. зависит не от одного, а от целого комплекса психических свойств. Поэтому использование жизненных критериев для валидизации тестов имеет смысл только в отношении многомерных тестов, таких, как MMPI, 16PF, HSPQ и др., представляющих по существу многопрофильные батареи тестов. Для оценки валидности батареи тестов или многомерного теста в целом используются методы множественного регрессионного анализа.

Коэффициент валидности — статистический показатель эмпирической валидности теста. В качестве коэффициента валидности батареи тестов относительно жизненного критерия используется коэффициент множественной корреляции, или совокупный коэффициент корреляции (В). Величина совокупного коэффициента корреляции показывает, какая часть дисперсии жизненного критерия может быть объяснена с помощью линейной комбинации тестовых оценок. Поэтому чем больше Я, тем большая доля дисперсий элиминируется уравнением регрессии, тем ближе вычисленные значения жизненного критерия к его реальным значениям и тем, соответственно, выше валидность теста по отношению к данному жизненному критерию. Валидность теста по отношению к жизненному критерию называется иногда практической валидностью. Наиболее распространенные многомерные личностные тесты и батареи тестов обладают высокой практической валидностью по отношению к большому числу жизненных ситуаций.

Критериальная валидность — комплекс характеристик, включающий текущую и прогностическую валидность методики и отражающий соответствие диагноза и прогноза определенному кругу критериев измеряемого качества.

Текущая валидность — характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике.

Прогностическая валидность — информация о методике (тесте) характеризующая степень точности и обоснованности суждения о диагностируемом психологическом качестве по его результату спустя определенное время после измерения.

Конструктная валидность (construct validity) — один из основных типов валидности, отражающий степень репрезентации исследуемого психологического конструкта в результатах теста.

Она устанавливается путем доказательства правильности теоретических концепций, положенных в основу теста. Обращение к конструктной (концептуальной) валидности необходимо в тех случаях, когда результаты тестовых измерений используются не просто для предсказания поведения, а как основа для выводов о том, в какой степени испытуемые обладают некоторой определенной психологической характеристикой. Причем измеряемая психологическая характеристика не может быть отождествлена с какой-либо наблюдаемой особенностью поведения, а представляет собой теоретическую концепцию. Примерами таких концепций являются интеллект, черты личности, мотивы, установки и т.д. Конструктная (концептуальная) валидность имеет значение также при разработке принципиально новых тестов, для которых не определены внешние критерии валидности.

Конкурентная валидность – оценивается по корреляции разработанного теста с другими, валидность, которых относительно измеряемого параметра установлена.

Инкрементная валидность – имеет ограниченное значение и относиться к случаю, когда один тест из батареи тестов может иметь низкую корреляцию с критериями, но не перекрываться другими тестами из этой батареи.

Дифференциальная валидность – может быть проиллюстрирована на примере тестов интересов.

Источник