Способы повышения валидности исследования

Содержание

Что мы понимаем под валидностью метода исследования?
Виды валидности методов исследования
Как оценить валидность методов исследования?
ПОВЫШЕНИЕ ВНУТРЕННЕЙ ВАЛИДНОСТИ С ПОМОЩЬЮ ПЕРВИЧНОГО КОНТРОЛЯ

Что мы понимаем под валидностью метода исследования?

Валидность в дословном переводе с английского языка означает «устойчивый, пригодный, соответствующий». В научных кругах данный термин используется, как показатель, который оценивает пригодность той или иной методики исследования в конкретной ситуации, условиях.

Нередко валидность ставят на одну ступень вместе с таким понятием как «надежность». Данный критерий определяет уместность и эффективность, надежность выбранных методов исследования: что и как они измеряют и характеризуют, какую картину отражают, для чего производится оценка.

Чем ближе исследователь подбирается к главному признаку проблемы, который позволяет оценить ее характер и влияние с помощью определенной методики, тем выше ее валидность. Сам процесс проверки действенности (качества) и эффективности, применимости методов исследования называется валидизацией.

Виды валидности методов исследования

Выбор методов научного исследования зависит от ряда фактов: области наук (гуманитарные или прикладные), необходимость проведения анализа с расчетной частью или простое сопоставление фактов, наличие конкретных данных для анализа и пр.

Следует отметить, что в одном исследовании выбранный метод может быть валидным, а в ином – вовсе неэффективен. Поэтому валидность выбранной методики следует оценивать в рамках конкретной научной работы, а не в сравнении с иными исследованиями.

В науке выделяют несколько разновидностей валидности методов исследования:

Виды валидности

Теоретическая валидность.

Данный вид определяется сопоставлением показателей, рассчитанных с помощью выбранной методики, с аналогичными показателями, рассчитанными по другому методу. Важно, чтобы рассчитанные параметры были теоретически зависимы, то есть оценивали один и тот же предмет, учитывали одни и те же факторы или схожие факторы влияния, демонстрировали теоретическую зависимость (то есть имели принадлежность к конкретному объекту или суждению).

Этот показатель определяют с помощью корреляции одно и того же показателя или свойства, рассчитываемого с помощью разных методов исследования. При этом важно соблюдение: обе методики должны быть связаны с одной и той же гипотезой или теорией.

Данный критерий рассчитывается или проявляется благодаря действию опытно-логического метода исследования. В частности, он находит отражение на реакции, мышлении, эмоциях, поведении испытуемых объектов. Данный способ применим больше в психологической отрасли, когда требуется оценить реакцию или психологическое состояние человека в конкретной ситуации.

Эмпирическая валидность методов исследования будет выше тогда, когда выбранная методика продемонстрирует тот факт, что полученные данные соответствуют реальным данным испытуемого, то есть во время проведения «чистого» или «естественного» эксперимента: когда поведение объекта в рамках исследования будет полностью совпадать с поведением в реальной жизни.

Нужна помощь преподавателя?

Мы всегда рады Вам помочь!

Данный критерий имеет сходства с эмпирической валидность. Его особенностью является то, что здесь важно установить связь между конкретными параметрами выбранного метода исследования с внешними проявлениями испытуемого (поведением) в реальной жизни.

Этот показатель проявляется в том, что выбранная методика позволяет достичь поставленной цели исследования, доказывает или опровергает эффективность выдвинутой гипотезы. Фактически, внутренняя валидность демонстрирует соответствие методики исследования его содержанию. Валидность выбранного метода выше тогда, когда он показывает, что все коэффициенты и действия измеряют именно то, что требуется, связывая эти проявления с внешними признаками проблемы (ее симптомами).

Как оценить валидность методов исследования?

Ученые выделяют следующие критерии эффективности и применимости (то есть валидности) выбранной методики исследования:

Методика исследования

Критерии исполнения.

Этот параметр зависит от конкретных результативных показателей. Например, объем выполненных заданий, успеваемость, время (на протяжении которого выполнялось упражнение или задание), полученные навыки и пр.

Эти элементы связаны с отношением испытуемого к конкретным обстоятельствам, положениям и заданиям. Это можно оценить в ходе интервью, опросов, тестирований и др.

Они оценивают факторы воздействия на объект исследования, то есть, то что могло оказать влияние при решении вопроса: обстановка и комфорт (свет или шум и пр.), сложность задания, наличие знаний и умений для выполнения задания и пр.

Эти параметры применимы в психологических исследованиях. Например, когда требуется подобрать объект исследования или испытуемое лицо, которое чаще или реже подвергалось различным ЧП.

Для оценки методик используют различные параметры. Они зависят от типа исследования в зависимости от области наук (экономическое, техническое, психологическое, юридическое и пр.).

Среди наиболее распространенных критериев валидности также выделяют:

— поведенческие: эмоции, поведение, реакция в определенных условиях или ситуации;

— успехи в различных видах деятельности: на работе, учебе, творческом поприще, в социуме (авторитет) и пр.;

— самостоятельность и самоорганизация: умение организовывать и проводить различные действия (взятие проб, проведение эксперимента, разработка заданий и пр.);

— подбор методики в зависимости от ситуации или адаптация исследователя: анализ полученных данных и координация действий в зависимости от ситуации.

Следует отметить, что рассмотреть валидность только что разработанной методики очень сложно, а на практике практически невозможно. Доказательство ее валидности фактически приводится в рекомендательной части научной работы, когда исследователь доказывает эффективность предложенных мер, проводит апробацию результатов исследования.

Трудности с учебой?

Помощь в написании студенческих и
аспирантских работ!

Источник

ПОВЫШЕНИЕ ВНУТРЕННЕЙ ВАЛИДНОСТИ С ПОМОЩЬЮ ПЕРВИЧНОГО КОНТРОЛЯ

Термин «контроль» используется в нашей книге для обозначения любого способа усовершенствования экспериментов, который приближает их к безупречному. Здесь мы будем иметь дело с угрозами внутренней валидности эксперимента и мерами, которые позволяют их устранить. Если контроль в эксперименте недостаточен, то внутренняя валидность может нарушиться двояким образом. Она может пострадать от ненадежности и от систематического смешения. Ниже мы рассмотрим способы первичного контроля (применимые к любой экспериментальной схеме), которые могут повысить надежность эксперимента и сократить систематическое смешение.

Предположим, что исследование в ткацком цехе проводилось лишь в течение 11-й и 14-й недель из 26. Для выбора, в какую из этих недель давать наушники, просто бросали монету (чтобы избежать предубеждений) Случилось так, что выбор пал на четырнадцатую неделю. А теперь посмотрите на рис 2.1. На этой неделе испытуемая Д. работала плохо: она пропускала более 1400 ударов за час. С другой стороны, одиннадцатая неделя была для нее удачной: менее 800 пропущенных ударов за час Объективность такого эксперимента сомнений не вызывает, он просто слишком короткий. За две другие недели ткачиха покажет иные результаты и т д. Двухнедельный эксперимент весьма далек от бесконечного, а 26-недельный гораздо ближе к нему, и у нас есть все основания надеяться, что другой эксперимент в 26 недель даст примерно те же результаты Конечно, если разброс будет невелик, то большего количества проб не потребуется.

Когда мы говорим о надежности среднего значения зависимой переменной для каждого из условии независимой переменной, то имеем в виду его устойчивость при повторении эксперимента второй, третий, четвертый и т.д. раз. Итак, если надежность высокая, то при многократном повторении эксперимента будет воспроизводиться примерно одно и то же значение зависимой переменной.

Выбор адекватного количества проб. Для достижения высокой надежности эксперимента количество проб должно соответствовать изменчивости изучаемого поведения. В эксперименте с временем реакции, как можно судить по рис. 2.2, требуется много проб — 50, 100 или даже больше. Ведь экспериментальные данные сильно варьируют от пробы к пробе. Джеку Моцарту в эксперименте с заучиванием фортепьянных пьес проб нужно гораздо меньше, поскольку каждая проба включает довольно много отдельных действий, и результат измерения оказывается более стабильным. Таким образом, необходимое количество проб зависит от разброса результатов измерений.

Сокращение изменчивости во времени

Увеличение количества проб — лишь один из способов повышения надежности. Другой — сокращение самой изменчивости изучаемого поведения. Достигается оно прежде всего с помощью организации хода эксперимента и его протоколирования, уже обсуждавшихся в главе 1. Процедура эксперимента должна строго соблюдаться, а значимая информация о ней (учитывая возможность ошибок при воспроизведении по памяти) — фиксироваться документально. Кроме последовательного выполнения запланированных действий уменьшения разброса экспериментальных данных можно достичь, соблюдая точность в эксперименте.

Любые меры, которые позволяют сделать эксперимент более точным, сокращают изменчивость поведения во времени. Так, чтобы не увеличивать эту изменчивость за счет поведения экспериментатора, везде, где это возможно, применяются автоматические методы. Например, в эксперименте с временем реакции выбора экспериментатор сам мог бы давать испытуемому команду «Приготовьтесь!» примерно за секунду до предъявления сигнала. Разумеется, время подачи такой команды, громкость голоса экспериментатора не могут не изменяться. Поэтому гораздо лучше использовать для предупреждения испытуемого прибор-автомат, зажигающий стандартную световую точку. Далее, экспериментатор мог бы измерять время реакции с помощью обычного секундомера: включать его при предъявлении сигнала и останавливать, увидев, что испытуемый дал ответ. Но это, несомненно, увеличило бы различие между пробами. Использование же электрических или электронных часов, которые автоматически включаются вместе с сигналом и останавливаются с выдачей ответа, позволяет практически предотвратить подобные вариации.

Из сказанного вполне понятно, что любые способы стабилизации побочных переменных повышают надежность эксперимента. Джеку Моцарту, конечно, не следует во время своих занятий то закрывать окна, то широко раскрывать их. Если у него есть возможность поддерживать в комнате нормальную температуру, то окна лучше всегда держать закрытыми, чтобы уменьшить шум транспорта и, что более важно, сократить колебания в уровне этого шума. Мы помним, как внимательно следила Йоко за тем, чтобы томатный сок, который она пила, имел постоянную температуру.

Однако на самом деле ненадежность — еще не самый худший вариант нарушения внутренней валидности. В принципе этот недостаток всегда можно исправить путем увеличения числа проб. В тех же случаях, когда этого сделать нельзя, мы используем термин «систематическое смешение». План «неудачного» эксперимента с ткачихами — работа в первые 13 недель с наушниками и следующие 13 без них — не позволяет улучшить эксперимент путем увеличения количества проб. Можно повторить эксперимент полностью, но и тогда останется сомнение, не пришелся ли один из этих 13-недельных периодов на времена, когда зависимая переменная испытывала благоприятные (или неблагоприятные) влияния. Напротив, с помощью плана чередования недель, который применялся в действительности, можно продлить эксперимент настолько, насколько потребуется для достижения надежности. Следовательно, «неудачный» план приводит к систематическому смешению Независимой переменной (использование или неиспользование наушников) с другими факторами, изменяющимися во времени (в первые или вторые 13 недель.

Систематическое смешение означает, что независимая переменная постоянно сопровождается некоторыми побочными переменными. Использование наушников сопровождается изменениями в состоянии ткачихи за первые 13 недель, их неиспользование — изменениями в ее состоянии за вторьте 13 недель. По данным такого эксперимента мы не сможем судить о том, была ли высокая производительность труда (за первые 13 недель) результатом воздействия независимой переменной (использования заглушек) или каких-то других факторов.

Теперь нам понятно, почему описанный эффект (в отличие от ненадежности) назван систематическим. Надежность можно повысить, увеличивая число проб, ведь в течение долгого времени любые благоприятные (или неблагоприятные) влияния окажутся размытыми. Если же эксперимент страдает от систематического смешения, то с увеличением проб этот недостаток лишь усугубится.

Довольно много подобных влияний может возникнуть в случае, если не принять необходимых мер против предубеждений экспериментатора. Если экспериментаторы надеялись на повышение производительности труда с помощью наушников, то они могли передать свою веру рабочим, а быть может, и ошибаться в снятии показаний счетчика ударов. Все это явно нарушило бы равновесие между двумя состояниями независимой переменной. Одно из этих состояний (использование наушников) сопровождалось бы одним уровнем побочной переменной — благоприятным предубеждением экспериментатора, а второе состояние (неиспользование наушников) — другим ее уровнем — неблагоприятным предубеждением. При этом экспериментатору вовсе не обязательно проявлять свои склонности постоянно. Даже эпизодические случаи будут порождать систематические влияния, приводящие к неравенству двух состояний независимой переменной.

Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет

Источник