Понятие валидности. Способы определения валидности
Для характеристики способности теста измерять действительный уровень психического свойства или качества используют понятие валидности.
Валидность теста показывает, в какой мере он измеряет то качество, для оценки которого он предназначен. Соответствие теста измеряемому психическому свойству.
Высокая валидность теста указывает на то, что тест измеряет именно то, что мы хотим. Инвалидные, т.е. не обладающие валидностью тесты, не пригодны для практического использования.
Валидность меньше или равна Надежности. Валидность не может превышать надежность теста.
Валидность является комплексной характеристикой, включающая сведения о том, пригодна ли методика для измерения того, для чего она была создана и какова ее действенность, эффективность.
Проверка валидности методики называется валидизацией – психометрическое исследование, направленное на определение валидности теста или другого измерительного инструмента.
Кроссвалидизация — процедура дополнительной проверки валидности теста или результатов исследования посредством применения теста на новой выборке или проведения исследования с другими группами испытуемых, а также с применением других методов регистрации зависимых переменных.
Основным элементом практически всех этих методов является так называемый «критерий» Критерии валидности – это независимый от теста, внешний по отношению к тесту источник информации об измеряемом психическом свойстве.
Американские исследователи Тиффин и Маккормик выделяютчетыре типа таких внешних критериев:
1.Критерии исполнения(в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т.п.).
2.Субъективные критерии(они включают различные виды ответов, которые отражают отношение человека к чему-либо или кому-либо, его мнения, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет).
3.Физиологические критерии(они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряются частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.).
4.Критерии случайности(применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).
Внешний критерий должен отвечать трем требованиям(основным): он долженбыть релевантным,свободным от помех(контаминации),надежным.
Подрелевантностьюнадо понимать смысловое соответствие между диагностическим инструментом и независимым жизненно важным критерием. Если относительно внешнего критерия неизвестно, релевантен он измеряемому свойству или нет, то сопоставление с ним результатов психодиагностической методики становится практически бесполезным.
Выделяются несколько видов валидности:
Экологическая – появилась недавно, говорит, на сколько методика соответствует времени и ситуации обследования.
Иллюзорная — (ложная) – у теста не должно быть — это получение предельно общей формулировки по итогам тестирования, который может быть применим ко всем.
Очевидная (внешняя) валидность — Очевидная валидность – представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого или другого лица, не располагающего специальными сведениями о характере использования и целях методики. Высокая очевидная валидность является весьма желательной. Она выступает в качестве фактора, побуждающего испытуемых к обследованию, способствует более серьезному и ответственному отношению к работе по выполнению заданий теста и к заключениям, формулируемым психологом.
Конкурентная валидностьоценивается по корреляции результатов данного теста с результатами других аналогичных тестов, валидность которых установлена ранее. Показывает насколько результаты измерения некоторой переменной, полученные с помощью данного теста, соответствуют общепринятому показателю этой переменной, измеряющемуся практически одновременно с применением данного теста в некоей нормативной выборке.
Прогностическую (предсказывающая) валидность характеризует степень обоснованности и статистической надежности развития исследуемой психологической особенности в будущем. Заключение об этом типе валидности может быть получено, например, путем сравнения тестовых оценок в одной и той же группе испытуемых спустя определенное времяИнкрементная валидностьпрактическая ценность методики при проведении отбора, относится к случаям, когда один тест из батареи тестов может иметь низкую корреляцию с критерием, но не перекрываться другими тестами из этой батареи. Понятие «инкрементной валидности» относится к требованию, согласно которому тест должен дополнять уже известную прогностическую валидность, основанную на демографических и социально-экономических данных.
Дифференциальная валидность хорошо иллюстрируется тестами интересов. Эти тесты умеренно коррелируют с общей академической успеваемостью, но по-разному для разных дисциплин.
(Содержательная (логическая) валидностьхарактеризует степень репрезентативности содержания заданий теста измеряемой области психических свойств. Содержательная валидность означает, что тест является валидным по мнению специалистов.
Критериальная валидностьэто комплекс характеристик отражающих соответствие диагноза и прогноза определенному кругу критериев измеряемой способности. Идеякритериальной валидности заключается в определении способности теста служить индикатором или предсказателем строго определенной психической особенности или формы поведения человека.
В психологической диагностике не существует универсального подхода к характеристике валидности. Для валидизации каждого вида психодиагностических процедур и отдельных тестов могут применяться различные типы валидности. Сведения, входящие в комплекс валидности, можно оценить качественно и количественно (при помощи коэффициента валидности), нередко их можно описать. Однако в силу сложности, комплексности, ситуативности по отношению к конкретным условиям применения методики валидность в целом невозможно измерить, о ней можно лишь судить.
Источник
Мир психологии
психология для всех и каждого
Проблемы валидности психодиагностических методик. Виды валидности. Эмпирические способы определения валидности.
Валидность (validity) — комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.
Валидность теста информирует о том, что должен измерять тест и насколько хорошо он это делает. Выражение валидности в общих терминах наименования принципиально невозможно, так как ни один тест нельзя охарактеризовать высоким или низким уровнем валидности абстрактно, не учитывая его конкретной целенаправленности. На деле между наименованием теста и его практическим назначением нередко существует несоответствие. Валидность теста должна определяться только относительно его специального использования.
Генерализованный (обобщенный) истинный результат — это термин, используемый для характеристики действительного уровня скрытых, не наблюдаемых качеств или свойств. Скрытое от внешнего наблюдения свойство не может быть измерено только с помощью одного какого-либо теста. В практике для этой цели используется батарея с конечным числом разных тестов, направленных на измерение одного скрытого свойства, уровень которого требуется определить. Каждый из используемых тестов лишь частично покрывает исследуемое свойство. Это особый случай отношений между сущностью и явлением.
Валидность и надежность.
Валидность и надежность — связанные понятия. Их соотношение может быть проиллюстрировано следующим примером. Допустим, имеются два стрелка А и В. Стрелок А выбивает 90 очков из 100, а стрелок В — только 70. Соответственно, надежность стрелка А равна 0,90, а стрелка В — 0,70. Однако стрелок А всегда стреляет по чужим мишеням, поэтому на соревнованиях его результаты не засчитываются. Второй стрелок всегда правильно выбирает мишени. Поэтому валидность стрелка А нулевая, а стрелка В — 0,70, т.е. численно равна надежности. Если стрелок А станет правильно выбирать мишени, его валидность тоже будет равна его надежности. Если же он будет продолжать иногда путать мишени, то часть результатов не будет зачтена и валидность стрелка А будет ниже надежности. В нашем примере аналогом надежности является точность, меткость стрелка, а аналогом валидности — тоже точность стрельбы, но не по любой, а по строго определенной, «своей» мишени. Поэтому надежный стрелок может стать валидным, не только сменив мишень, но и сменив команду. В истории известны случаи, когда тесты, признанные инвалидными для измерения одних свойств, оказывались валидными для других. Значит, надежность является необходимым условием валидности. Ненадежный тест не может быть валидным, и, наоборот, валидный тест всегда надежен. Надежность теста не может быть меньше его валидности; в свою очередь, валидность не может превышать надежности.
В современной психометрии выделяются несколько видов валидности:
- содержательная (логическая);
- очевидная;
- эмпирическая;
- конструктная (концептуальная);
- прогностическая;
- дифференциальная;
- инкрементная;
- конкурентная.
Содержательная валидность.
Содержательная валидность (content validity) — один из основных типов валидности методики, характеризующий степень репрезентативности содержания заданий теста измеряемой области психических свойств. Ее часто называют «логической валидностью» или «валидностью по определению». Содержательная валидность означает, что тест является валидным по мнению специалистов.
Очевидная валидность.
Очевидная валидность — это валидность с точки зрения испытуемого. Она означает то впечатление о предмете измерения, которое формируется у испытуемого при знакомстве с инструкцией и материалом теста. Очевидная валидность играет важную роль в процессе тестирования, поскольку именно она в первую очередь определяет отношение испытуемых к обследованию. В.А. Аванесов приводит пример отказа от выполнения теста испытуемыми из-за отсутствия у теста очевидной валидности. Во время социологического опроса моряков рыболовного флота он столкнулся со случаем отказа заполнять анкету под предлогом того, что анкета составлена «не для моряков», в ней нет вопросов, относящихся к морякам, «на морские темы». Если бы опросник содержал «морские термины», то он бы казался «своим» и вызывал больше доверия у испытуемых. Именно в силу этого обстоятельства очевидную валидность иногда называют также доверительной валидностью.
Эмпирическая валидность.
Эмпирическая валидность (empirical validity) — совокупность характеристик валидности теста, полученных сравнительным статистическим способом оценивания. Идея эмпирической валидности заключается в определении способности теста служить индикатором или предсказателем строго определенной психической особенности или формы поведения человека. Для измерения эмпирической валидности теста вычисляется коэффициент корреляции тестового результата с внешним критерием — R(X,T).
Критерий валидизации.
Критерий валидизации — непосредственная и независимая от валидизируемого теста мера психического свойства, на исследование которого направлена психодиагностическая методика.
В качестве критерия может выступать любой показатель, независимо и бесспорно измеряющий туже психологическую характеристику, что и валидизируемый тест. Вопрос о выборе критерия является в этом виде валидности основным, От выбора критерия зависят качественная и количественная оценки валидности.
Эмпирическая валидность теста — это всегда валидность по отношению к конкретному критерию. Поэтому процесс конструирования теста часто сопровождается поиском подходящего критерия. Если к моменту проверки валидности такого экспериментального критерия не оказывается, в качестве него используются характеристики реального поведения, которые на основе существующих психологических теорий предполагаются связанными с измеряемым свойством. Например, в качестве жизненных критериев для тестов интеллекта используются показатели успешности обучения, для экстравертированности — успешность административной деятельности, для тревожности — частота заболеваний неврозом и т.п. Однако успешность обучения, поведения и деятельности редко зависит только от одного-единственного свойства психики. Реальное поведение человека множественно детерминированно, т.е. зависит не от одного, а от целого комплекса психических свойств. Поэтому использование жизненных критериев для валидизации тестов имеет смысл только в отношении многомерных тестов, таких, как MMPI, 16PF, HSPQ и др., представляющих по существу многопрофильные батареи тестов. Для оценки валидности батареи тестов или многомерного теста в целом используются методы множественного регрессионного анализа.
Коэффициент валидности — статистический показатель эмпирической валидности теста. В качестве коэффициента валидности батареи тестов относительно жизненного критерия используется коэффициент множественной корреляции, или совокупный коэффициент корреляции (В). Величина совокупного коэффициента корреляции показывает, какая часть дисперсии жизненного критерия может быть объяснена с помощью линейной комбинации тестовых оценок. Поэтому чем больше Я, тем большая доля дисперсий элиминируется уравнением регрессии, тем ближе вычисленные значения жизненного критерия к его реальным значениям и тем, соответственно, выше валидность теста по отношению к данному жизненному критерию. Валидность теста по отношению к жизненному критерию называется иногда практической валидностью. Наиболее распространенные многомерные личностные тесты и батареи тестов обладают высокой практической валидностью по отношению к большому числу жизненных ситуаций.
Критериальная валидность — комплекс характеристик, включающий текущую и прогностическую валидность методики и отражающий соответствие диагноза и прогноза определенному кругу критериев измеряемого качества.
Текущая валидность — характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике.
Прогностическая валидность — информация о методике (тесте) характеризующая степень точности и обоснованности суждения о диагностируемом психологическом качестве по его результату спустя определенное время после измерения.
Конструктная валидность (construct validity) — один из основных типов валидности, отражающий степень репрезентации исследуемого психологического конструкта в результатах теста.
Она устанавливается путем доказательства правильности теоретических концепций, положенных в основу теста. Обращение к конструктной (концептуальной) валидности необходимо в тех случаях, когда результаты тестовых измерений используются не просто для предсказания поведения, а как основа для выводов о том, в какой степени испытуемые обладают некоторой определенной психологической характеристикой. Причем измеряемая психологическая характеристика не может быть отождествлена с какой-либо наблюдаемой особенностью поведения, а представляет собой теоретическую концепцию. Примерами таких концепций являются интеллект, черты личности, мотивы, установки и т.д. Конструктная (концептуальная) валидность имеет значение также при разработке принципиально новых тестов, для которых не определены внешние критерии валидности.
Конкурентная валидность – оценивается по корреляции разработанного теста с другими, валидность, которых относительно измеряемого параметра установлена.
Инкрементная валидность – имеет ограниченное значение и относиться к случаю, когда один тест из батареи тестов может иметь низкую корреляцию с критериями, но не перекрываться другими тестами из этой батареи.
Дифференциальная валидность – может быть проиллюстрирована на примере тестов интересов.
Источник
